CN117813818A - 基于帧内预测模式执行参考样本滤波的图像编码/解码方法和装置以及用于发送比特的方法 - Google Patents

基于帧内预测模式执行参考样本滤波的图像编码/解码方法和装置以及用于发送比特的方法 Download PDF

Info

Publication number
CN117813818A
CN117813818A CN202280055534.7A CN202280055534A CN117813818A CN 117813818 A CN117813818 A CN 117813818A CN 202280055534 A CN202280055534 A CN 202280055534A CN 117813818 A CN117813818 A CN 117813818A
Authority
CN
China
Prior art keywords
intra prediction
current block
intra
prediction
samples
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280055534.7A
Other languages
English (en)
Inventor
崔璋元
林宰显
朴婡利
柳先美
南廷学
张炯文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN117813818A publication Critical patent/CN117813818A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Abstract

提供了一种图像编码/解码方法和装置。一种由图像解码装置执行的图像解码方法可以包括：确定当前块的帧内预测模式；基于帧内预测模式是平面预测模式来执行平面帧内预测；以及根据基于平面帧内预测获得的预测样本来获得当前块的重构样本。执行平面帧内预测可以包括将滤波应用于当前块的帧内预测参考样本。

Description

基于帧内预测模式执行参考样本滤波的图像编码/解码方法 和装置以及用于发送比特的方法
技术领域
本公开涉及图像编码/解码方法和装置，并且更具体地，涉及用于基于帧内预测模式执行参考样本滤波的图像编码/解码方法和装置以及发送由本公开的图像编码方法/装置生成的比特流的方法。
背景技术
最近，各个领域对高分辨率和高质量图像，例如高清(HD)图像和超高清(UHD)图像的需求正在增加。随着图像数据的分辨率和质量的提高，与现有图像数据相比，发送的信息量或比特量相对增加。发送的信息或比特量的增加导致传输成本和存储成本的增加。
因此，需要高效的图像压缩技术来有效地发送、存储和再现关于高分辨率和高质量图像的信息。
发明内容
技术问题
本公开的一个目的是为了提供一种具有提高的编码/解码效率的图像编码/解码方法和装置。
此外，本公开的目的是提供一种用于基于帧内预测模式来执行参考样本滤波的图像编码/解码方法和装置。
此外，本公开的目的是提供一种用于基于多个滤波器之一来执行参考样本滤波的图像编码/解码方法和装置。
此外，本公开的目的是提供一种用于基于特定帧内预测模式来执行参考样本滤波的图像编码/解码方法和装置。
此外，本公开的目的是提供一种发送由根据本公开的图像编码方法或装置生成的比特流的方法。
此外，本公开的目的是提供一种存储由根据本公开的图像编码方法或装置生成的比特流的记录介质。
本公开的另一目的是提供一种存储由根据本公开的图像解码装置接收、解码并且用于重构图像的比特流的记录介质。
由本公开解决的技术问题不限于上述技术问题，并且本文中未描述的其他技术问题对于本领域技术人员将从以下描述中变得显而易见。
技术方案
根据本公开的实施例，一种由图像解码装置执行的图像解码方法可以包括：确定当前块的帧内预测模式；基于所述帧内预测模式是平面预测模式来执行平面帧内预测；以及根据基于所述平面帧内预测获得的预测样本来获得所述当前块的重构样本。其中，执行所述平面帧内预测可以包括将滤波应用于所述当前块的帧内预测参考样本。
根据本公开的实施例，可以通过从包括第一滤波器或第二滤波器的多个滤波器中适配地选择一个来执行所述滤波。
根据本公开的实施例，基于帧内预测参考样本的所述数量，所述一个滤波器可以被选择。
根据本公开的实施例，所述第一滤波器可以是3抽头滤波器，并且所述第二滤波器可以是5抽头滤波器。
根据本公开的实施例，所述3抽头滤波器可以是[1,2,1]。
根据本公开的实施例，所述5抽头滤波器可以是[1,4,6,4,1]。
根据本公开的实施例，基于所述当前块的大小，可以确定帧内预测参考样本的数量。
根据本公开的实施例，基于在所述当前块的大小与一定值之间的比较，可以确定帧内预测参考样本的数量。
根据本公开的实施例，基于是否应用解码器侧帧内模式导出(DIMD)，可以确定所述滤波的应用。
根据本公开的实施例，基于是否应用组合的帧间帧内预测(CIIP)，可以确定所述滤波的应用。
根据本公开的实施例，无论所述当前块的颜色分量如何，所述滤波都被应用。
根据本公开的实施例，无论所述当前块的大小如何，所述滤波都被应用。
根据本公开的实施例，用于所述滤波的所有滤波器系数可以是正数。
根据本公开的实施例，一种图像解码装置可以包括存储器和至少一个处理器。所述至少一个处理器可以：确定当前块的帧内预测模式；基于所述帧内预测模式是平面预测模式，执行平面帧内预测；以及根据基于从所述平面帧内预测获得的预测样本，获得所述当前块的重构样本。通过将滤波应用于所述当前块的帧内预测参考样本，所述平面帧内预测可以被执行。
根据本公开的实施例，一种由图像编码装置执行的图像编码方法可以包括：确定当前块的帧内预测模式；基于所述帧内预测模式是平面预测模式，执行平面帧内预测；以及基于从所述平面帧内预测获得的预测样本，获得所述当前块的重构样本。执行所述平面帧内预测可以包括将滤波应用于所述当前块的帧内预测参考样本。
根据本公开的实施例，由图像编码装置或图像编码方法生成的比特流可以被发送。
根据本公开的实施例，在发送由图像编码方法生成的比特流的方法中，所述图像编码方法可以包括：确定当前块的帧内预测模式；基于所述帧内预测模式是平面预测模式，执行平面帧内预测；以及基于从所述平面帧内预测获得的预测样本，获得所述当前块的重构样本。执行所述平面帧内预测可以包括将滤波应用于所述当前块的帧内预测参考样本。
根据本公开的实施例，由图像编码方法生成的比特流可以在计算机可读介质中被存储并且记录。
上面关于本公开简要概括的特征仅仅是本公开下面详细描述的示例性方面，并且不限制本公开的范围。
有益效果
根据本公开，可以提供一种具有改进的编码/解码效率的图像编码/解码方法和装置。
此外，根据本公开，能够提供一种用于基于帧内预测模式执行参考样本滤波的图像编码/解码方法和装置。
此外，根据本公开，能够提供一种用于基于平面帧内预测模式执行参考样本滤波的图像编码/解码方法和装置。
此外，根据本公开，可以提供一种发送由根据本公开的图像编码方法或装置生成的比特流的方法。
此外，根据本公开，可以提供一种存储由根据本公开的图像编码方法或装置生成的比特流的记录介质。
此外，根据本公开，可以提供一种存储由根据本公开的图像解码装置接收、解码并且用于重构图像的比特流的记录介质。
本领域技术人员将领会，通过本公开能够实现的效果不限于已经在上文中特别描述的内容，并且从详细描述中将更清楚地理解本公开的其他优点。
附图说明
图1是示意性地示出本公开的实施例适用于的视频编译系统的视图。
图2是示意性地示出本公开的实施例适用于的图像编码装置的视图。
图3是示意性地示出本公开的实施例适用于的图像解码装置的视图
图4是示出根据多类型树结构的块的分区类型的视图。
图5是示出根据本公开的具有嵌套多类型树结构的四叉树中的分区分割信息的信令机制的视图。
图6是图示基于帧内预测的视频/图像编码方法的流程图。
图7是图示根据本发明的帧内预测单元185的配置的视图。
图8是图示基于帧内预测的视频/图像解码方法的流程图。
图9是图示根据本公开的帧内预测器265的配置的视图。
图10是图示图像编码装置中的帧内预测模式信令过程的流程图。
图11是图示图像解码装置中的帧内预测模式确定过程的流程图。
图12是更详细地图示帧内预测模式导出过程的流程图。
图13是图示根据本发明的实施例的帧内预测方向的视图。
图14是图示根据本发明的另一实施例的帧内预测方向的视图。
图15是图示根据本发明的实施例的用于广角帧内预测模式的参考样本的视图。
图16是图示根据本公开的实施例的一些广角帧内预测方向的视图。
图17是示出可以在CIIP(组合的帧间和帧内预测)中使用的邻近块的视图。
图18是图示MRL帧内预测的视图。
图19a和图19b是图示帧内子分区(ISP)的视图。
图20是图示根据本公开的实施例的平面帧内预测模式过程的视图。
图21是图示根据本发明的另一实施例的平面帧内预测模式过程的视图。
图22是图示根据本发明的实施例的基于帧内预测模式执行参考样本滤波的图像编码或解码过程的视图。
图23是用于解释根据本公开的实施例的图像编码/解码装置的视图
图24是示出本公开的实施例适用于的内容流传输系统的视图。
具体实施方式
以下，将结合附图对本公开的实施例进行详细描述，以易于本领域技术人员实施。然而，本公开可以以各种不同的形式实施，并且不限于这里描述的实施例。
在描述本公开时，如果确定相关已知功能或构建的详细描述使本公开的范围不必要地含糊不清，则将省略其详细描述。在附图中，省略了与本公开的描述无关的部分，并且相似的附图标记被赋予相似的部分。
在本公开中，当一个组件“连接”、“耦合”或“链接”到另一组件时，它不仅可以包括直接连接关系，还可以包括中间组件存在的间接连接关系。另外，当一个组件“包括”或“具有”其他组件时，除非另有说明，否则是指还可以包括其他组件，而不是排除其他组件。
在本公开中，术语第一、第二等仅用于将一个组件与其他组件区分开的目的，并且不限制组件的顺序或重要性，除非另有说明。相应地，在本公开的范围内，一个实施例中的第一部件在另一实施例中可以被称为第二部件，类似地，一个实施例中的第二部件在另一实施例中可以被称为第一部件。
在本公开中，相互区分的组件旨在清楚地描述每个特征，并不意味着组件必须分开。即，多个组件可以集成在一个硬件或软件单元中实现，或者一个组件可以在多个硬件或软件单元中分布和实现。因此，即使没有特别说明，这些组件集成或分布式的实施例也包括在本公开的范围内。
在本公开中，各个实施例中所描述的组件并不一定是必不可少的组件，一些组件可以是可选的组件。因此，由实施例中描述的组件的子集组成的实施例也包括在本公开的范围内。此外，除了在各种实施例中描述的组件之外还包括其他组件的实施例包括在本公开的范围内。
本公开涉及图像的编码(encoding)和解码，除非在本公开中重新定义，否则本公开中使用的术语可以具有本公开所属技术领域中常用的一般含义。
在本公开中，“图片”一般是指表示特定时间段内的一个图像的单元，而切片(slice)/拼块(tile)是构成图片的一部分的编译(coding)单元，一个图片可以由一个或多个切片/拼块组成。此外，切片/拼块可以包括一个或多个编译树单元(CTU)。
在本公开中，“像素”或“像元(pel)”可以意指构成一个图片(或图像)的最小单个。此外，“样本”可以用作对应于像素的术语。一个样本一般可以表示像素或像素的值，也可以仅表示亮度分量的像素/像素值或仅表示色度分量的像素/像素值。
在本公开中，“单元”可以表示图像处理的基本单元。该单元可以包括图片的特定区域和与该区域相关的信息中的至少一个。在某些情况下，该单元可以与诸如“样本阵列”、“块”或“区域”的术语互换使用。在一般情况下，M×N块可以包括M列N行的样本(或样本阵列)或变换系数的集合(或阵列)。
在本公开中，“当前块”可以意指“当前编译块”、“当前编译单元”、“编译目标块”、“解码目标块”或“处理目标块”之一。当执行预测时，“当前块”可以意指“当前预测块”或“预测目标块”。当执行变换(逆变换)/量化(解量化)时，“当前块”可以意指“当前变换块”或“变换目标块”。当执行滤波时，“当前块”可以意指“滤波目标块”。
此外，在本公开中，除非明确声明为色度块，否则“当前块”可以意指“当前块的亮度块”。“当前块的色度块”可以通过包括对诸如“色度块”或“当前色度块”的色度块的显式描述来表达。
在本公开中，斜线“/”或“，”可以解释为指示“和/或”。例如，“A/B”和“A，B”可以意指“A和/或B”。此外，“A/B/C”和“A/B/C”可以意指“A、B和/或C中的至少一个”。
在本公开中，术语“或”应被解释以指示“和/或”。例如，表达“A或B”可以包括1)仅“A”，2)仅“B”，或3)“A和B”两者。换言之，在本公开中，“或”应被解释以指示“附加地或可替选地”。
视频编译系统概述
图1是示意性地示出根据本公开的视频编译系统的视图。
根据实施例的视频编译系统可以包括编码装置10和解码装置20。编码装置10可以将编码的视频和/或图像信息或数据以文件或流的形式经由数字存储介质或网络递送到解码装置20。
根据实施例的编码装置10可以包括视频源生成器11、编译单元12和发射器13。根据实施例的解码装置20可以包括接收器21、解码单元22和渲染器23。编译单元12可以称为视频/图像编译单元，解码单元22可以称为视频/图像解码单元。发射器13可以被包括在编译单元12中。接收器21可以被包括在解码单元22中。渲染器23可以包括显示器并且显示器可以被配置为单独的装置或外部组件。
视频源生成器11可以通过捕获、合成或生成视频/图像的过程来获取视频/图像。视频源生成器11可以包括视频/图像捕获装置和/或视频/图像生成装置。视频/图像捕获装置可以包括例如一个或多个相机、包括先前捕获的视频/图像的视频/图像档案等。视频/图像生成装置可以包括例如计算机、平板计算机和智能电话，并且可以(以电子方式)生成视频/图像。例如，可以通过计算机等生成虚拟视频/图像。在这种情况下，视频/图像捕获过程可以被生成相关数据的过程代替。
编译单元12可以对输入视频/图像进行编码。为了压缩和编译效率，编译单元12可以执行一系列过程，例如预测、变换和量化。编译单元12可以以比特流的形式输出编码数据(编码视频/图像信息)。
发射器13可以通过数字存储介质或网络以文件或流的形式将编码的视频/图像信息或以比特流的形式输出的数据传输到解码装置20的接收器21。数字存储介质可以包括各种存储介质，例如USB、SD、CD、DVD、蓝光、HDD、SSD等。发射器13可以包括用于通过预定文件格式生成媒体文件的元件并且可以包括用于通过广播/通信网络传输的元件。接收器21可以从存储介质或网络中提取/接收比特流并将比特流传输到解码单元22。
解码单元22可以通过执行与编译单元12的操作对应的一系列过程，例如解量化、逆变换和预测来解码视频/图像。
渲染器23可以渲染解码的视频/图像。渲染的视频/图像可以通过显示器显示。
图像编码装置概要
图2是示意性地示出本公开的实施例可适用于的图像编码装置的视图。
如图2所示，图像编码装置100可以包括图像分区器110、减法器115、变换器120、量化器130、解量化器140、逆变换器150、加法器155、滤波器160、存储器170、帧间预测单元180、帧内预测单元185和熵编码器190。帧间预测单元180和帧内预测单元185可以统称为“预测单元”。变换器120、量化器130、解量化器140和逆变换器150可以被包括在残差处理器中。残差处理器还可以包括减法器115。
在一些实施例中，配置图像编码装置100的多个组件中的全部或至少一些可以由一个硬件组件(例如，编码器或处理器)来配置。此外，存储器170可以包括解码图片缓冲器(DPB)并且可以由数字存储介质配置。
图像分区器110可将输入到图像编码装置100的输入图像(或图片或帧)分区成一个或多个处理单元。例如，处理单元可以称为编译单元(CU)。可以通过根据四叉树二叉树三叉树(QT/BT/TT)结构递归地分区编译树单元(CTU)或最大编译单元(LCU)来获取编译单元。例如，可以基于四叉树结构、二叉树结构和/或三叉树结构将一个编译单元分区为更深深度的多个编译单元。对于编译单元的分区，可以首先应用四叉树结构，然后可以应用二叉树结构和/或三叉树结构。可以基于不再分区的最终编译单元来执行根据本公开的编译过程。可以将最大编译单元用作最终编译单元，也可以将通过分区最大编译单元获取的更深深度的编译单元用作最终编译单元。这里，编译过程可以包括稍后将描述的预测、变换和重构的过程。作为另一示例，编译过程的处理单元可以是预测单元(PU)或变换单元(TU)。预测单元和变换单元可以从最终编译单元分割或分区。预测单元可以是样本预测单元，变换单元可以是用于导出变换系数的单元和/或用于从变换系数导出残差信号的单元。
预测单元(帧间预测单元180或帧内预测单元185)可以对要处理的块(当前块)执行预测，并且生成包括当前块的预测样本的预测块。预测单元可以在当前块或CU的基础上确定是应用帧内预测还是帧间预测。预测单元可以生成与当前块的预测有关的各种信息，并且将生成的信息传输到熵编码器190。关于预测的信息可以在熵编码器190中被编码并且以比特流的形式输出。
帧内预测单元185可以通过参考当前图片中的样本来预测当前块。根据帧内预测模式和/或帧内预测技术，参考样本可以位于当前块的邻居中或者可以被分开放置。帧内预测模式可以包括多个非定向模式和多个定向模式。非定向模式可以包括例如DC模式和平面模式。根据预测方向的详细程度，定向模式可以包括例如33个定向预测模式或65个定向预测模式。然而，这仅仅是示例，可以根据设置使用更多或更少的定向预测模式。帧内预测单元185可以通过使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
帧间预测单元180可以基于由参考图片上的运动向量指定的参考块(参考样本阵列)来导出当前块的预测块。在这种情况下，为了减少在帧间预测模式下传输的运动信息量，可以基于邻近块和当前块之间的运动信息的相关性以块、子块或样本为单元来预测运动信息。运动信息可以包括运动向量和参考图片索引。运动信息还可以包括帧间预测方向(L0预测、L1预测、Bi预测等)信息。在帧间预测的情况下，邻近块可以包括当前图片中存在的空间邻近块和参考图片中存在的时间邻近块。包括参考块的参考图片和包括时间邻近块的参考图片可以相同或不同。时间邻近块可以被称为并置参考块、并置CU(colCU)等。包括时间邻近块的参考图片可以被称为并置图片(colPic)。例如，帧间预测单元180可基于邻近块配置运动信息候选列表并生成指定使用哪个候选来导出当前块的运动向量和/或参考图片索引的信息。可以基于各种预测模式来执行帧间预测。例如，在跳过模式和合并模式的情况下，帧间预测单元180可以使用邻近块的运动信息作为当前块的运动信息。在跳过模式的情况下，与合并模式不同，可以不传输残差信号。在运动向量预测(MVP)模式的情况下，邻近块的运动向量可以用作运动向量预测子，并且当前块的运动向量可以通过编码运动向量差和运动向量预测子的指示符来用信号通知当前块的运动向量。运动向量差可以意指当前块的运动向量与运动向量预测子之间的差。
预测单元可以基于以下描述的各种预测方法和预测技术来生成预测信号。例如，预测单元不仅可以应用帧内预测或帧间预测，还可以同时应用帧内预测和帧间预测，以预测当前块。同时应用帧内预测和帧间预测两者来预测当前块的预测方法可以称为组合的帧间和帧内预测(CIIP)。此外，预测单元可以执行帧内块复制(IBC)以预测当前块。帧内块复制可以用于游戏等的内容图像/视频编译，例如，屏幕内容编译(SCC)。IBC是一种在与当前块相隔预定距离的位置处使用当前图片中先前重构的参考块来预测当前图片的方法。当应用IBC时，参考块在当前图片中的位置可以被编码为对应于预定距离的向量(块向量)。IBC基本上在当前图片中执行预测，但是可以类似于帧间预测来执行，因为在当前图片内导出参考块。即，IBC可以使用本公开中描述的帧间预测技术中的至少一种。IBC基本上在当前图片中执行预测，但是可以类似于帧间预测来执行，因为在当前图片内导出参考块。即，IBC可以使用本公开中描述的帧间预测技术中的至少一种。
预测单元生成的预测信号可用于生成重构信号或生成残差信号。减法器115可以通过从输入图像信号(原始块或原始样本阵列)中减去从预测单元输出的预测信号(预测块或预测样本阵列)来生成残差信号(残差块或残差样本阵列)。生成的残差信号可以被传输到变换器120。
变换器120可以通过将变换技术应用于残差信号来生成变换系数。例如，变换技术可以包括离散余弦变换(DCT)、离散正弦变换(DST)、karhunen-loève变换(KLT)、基于图的变换(GBT)或条件非线性变换(CNT)中的至少一种。这里，GBT是指当像素之间的关系信息由图形表示时从图形获得的变换。CNT是指基于使用所有先前重构的像素生成的预测信号获取的变换。另外，变换过程可以应用于具有相同大小的方形像素块或者可以应用于具有可变大小而不是方形的块。
量化器130可以对变换系数进行量化并且将它们传输到熵编码器190。熵编码器190可以对量化的信号(关于量化的变换系数的信息)进行编码并且输出比特流。关于量化变换系数的信息可以被称为残差信息。量化器130可基于系数扫描顺序将块形式的量化变换系数重新排列为一维向量形式，并基于一维向量形式的量化变换系数生成关于量化变换系数的信息。
熵编码器190可以执行各种编码方法，例如指数哥伦布、上下文自适应可变长度编码(CAVLC)、上下文自适应二进制算术编码(CABAC)等。熵编码器190可以一起或单独地编码除量化变换系数之外的视频/图像重构所需的信息(例如，语法元素的值等)。编码的信息(例如，编码的视频/图像信息)可以比特流的形式以网络抽象层(NAL)为单元进行传输或存储。视频/图像信息还可以包括关于各种参数集的信息，例如自适应参数集(APS)、图片参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)。此外，视频/图像信息还可以包括通用约束信息。本公开中描述的用信号通知的信息、传输的信息和/或语法元素可以通过上述编码过程被编码并且被包括在比特流中。
比特流可以通过网络传输或者可以存储在数字存储介质中。网络可以包括广播网络和/或通信网络，数字存储介质可以包括USB、SD、CD、DVD、蓝光、HDD、SSD等各种存储介质。可以包括传输从熵编码器190输出的信号的发射器(未示出)和/或存储该信号的存储单元(未示出)作为图像编码装置100的内部/外部元件。替代地，可以提供发射器作为熵编码器190的组件。
从量化器130输出的量化变换系数可用于生成残差信号。例如，可以通过解量化器140和逆变换器150对量化的变换系数应用解量化和逆变换来重构残差信号(残差块或残差样本)。
加法器155将重构残差信号与从帧间预测单元180或帧内预测单元185输出的预测信号相加，生成重构信号(重构图像、重构块、重构样本阵列)。如果要被处理的块没有残差，例如应用跳过模式的情况，则可以将预测块用作重构块。加法器155可以称为重构器或重构块生成器。生成的重构信号可以用于当前图片中要处理的下一个块的帧内预测，并且可以用于通过如下所述的滤波对下一个图片进行帧间预测。
滤波器160可以通过对重构信号应用滤波来提高主观/客观图像质量。例如，滤波器160可以通过对重构图片应用各种滤波方法来生成修改的重构图片，并将修改的重构图片存储在存储器170中，具体地，存储器170的DPB中。各种滤波方法可以包括，例如，去块滤波、样本自适应偏移、自适应环路滤波、双边滤波等。滤波器160可以生成与滤波有关的各种信息并将所生成的信息传输到熵编码器190，如稍后在每种滤波方法的描述中所描述的。与滤波相关的信息可以由熵编码器190编码并以比特流的形式输出。
传输到存储器170的修改的重构图片可以用作帧间预测单元180中的参考图片。当通过图像编码装置100应用帧间预测时，可以避免图像编码装置100和图像解码装置之间的预测失配并且可以提高编码效率。
存储器170的DPB可以存储修改的重构图片以用作帧间预测单元180中的参考图片。存储器170可以存储从其中导出(或编码)当前图片中的运动信息的块的运动信息和/或图片中已经重构的块的运动信息。存储的运动信息可以被传输到帧间预测单元180并用作空间邻近块的运动信息或时间邻近块的运动信息。存储器170可以存储当前图片中重构块的重构样本并且可以将重构样本传送到帧内预测单元185。
图像解码装置概要
图3是示意性地示出本公开的实施例可适用的图像解码装置的视图。
如图3所示，图像解码装置200可以包括熵解码器210、解量化器220、逆变换器230、加法器235、滤波器240、存储器250、帧间预测单元260和帧内预测单元265。帧间预测单元260和帧内预测单元265可以统称为“预测单元”。解量化器220和逆变换器230可以被包括在残差处理器中。
根据实施例，配置图像解码装置200的多个组件中的全部或至少一些可以由硬件组件(例如，解码器或处理器)来配置。此外，存储器170可以包括解码图片缓冲器(DPB)或者可以由数字存储介质配置。
已经接收到包括视频/图像信息的比特流的图像解码装置200可以通过执行与由图2的图像编码装置100执行的处理对应的处理来重构图像。例如，图像解码装置200可以使用在图像编码装置中应用的处理单元来执行解码。因此，解码的处理单元例如可以是编译单元。编译单元可以通过分区编译树单元或最大编译单元来获得。通过图像解码装置200解码和输出的重构图像信号可以通过再现装置(未示出)再现。
图像解码装置200可以接收以比特流的形式从图2的图像编码装置输出的信号。接收到的信号可以通过熵解码器210进行解码。例如，熵解码器210可以解析比特流以导出图像重构(或图片重构)所需的信息(例如，视频/图像信息)。视频/图像信息还可以包括关于各种参数集的信息，例如自适应参数集(APS)、图片参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)。此外，视频/图像信息还可以包括通用约束信息。图像解码装置还可以基于参数集信息和/或通用约束信息对图片进行解码。本公开中描述的用信号通知/接收的信息和/或语法元素可以通过解码过程被解码并从比特流中获得。例如，熵解码器210基于诸如指数哥伦布编码、CAVLC或CABAC的编码方法对比特流中的信息进行解码，并输出图像重构所需的语法元素的值和残差的变换系数的量化值。更具体地，CABAC熵解码方法可以接收与比特流中每个语法元素对应的bin，使用解码目标语法元素信息、邻近块和解码目标块的解码信息或前一阶段解码的符号/bin的信息来确定上下文模型，根据确定的上下文模型通过预测bin的出现概率，对bin进行算术解码，生成与每个语法元素的值对应的符号。在这种情况下，CABAC熵解码方法可以在确定上下文模型后，通过将解码的符号/bin的信息用于下一个符号/bin的上下文模型来更新上下文模型。由熵解码器210解码的信息中与预测相关的信息可以被提供给预测单元(帧间预测单元260和帧内预测单元265)，以及在熵解码器210中对其执行熵解码的残差值，即，量化的变换系数和相关的参数信息可以被输入到解量化器220。另外，可以将关于熵解码器210解码的信息当中的滤波的信息提供给滤波器240。同时，用于接收从图像编码装置输出的信号的接收器(未示出)可以进一步被配置为图像解码装置200的内部/外部元件，或者接收器可以是熵解码器210的组件。
同时，根据本公开的图像解码装置可以被称为视频/图像/图片解码装置。图像解码装置可以分为信息解码器(视频/图像/图片信息解码器)和样本解码器(视频/图像/图片样本解码器)。信息解码器可以包括熵解码器210。样本解码器可以包括解量化器220、逆变换器230、加法器235、滤波器240、存储器250、帧间预测单元160或帧内预测单元265中的至少一个。
解量化器220可以对量化的变换系数进行解量化并输出变换系数。解量化器220可以以二维块的形式重新排列量化的变换系数。在这种情况下，可以基于在图像编码装置中执行的系数扫描顺序来执行重新排列。解量化器220可以通过使用量化参数(例如，量化步长信息)对量化的变换系数执行解量化并获得变换系数。
逆变换器230可以对变换系数进行逆变换以获得残差信号(残差块、残差样本阵列)。
预测单元可以对当前块执行预测并生成包括当前块的预测样本的预测块。预测单元可以基于关于从熵解码器210输出的预测的信息来确定是将帧内预测还是帧间预测应用于当前块，并且可以确定特定的帧内/帧间预测模式(预测技术)。
与在图像编码装置100的预测单元中描述的相同的是，预测单元可以基于稍后描述的各种预测方法(技术)来生成预测信号。
帧内预测单元265可以通过参考当前图片中的样本来预测当前块。帧内预测单元185的描述同样适用于帧内预测单元265。
帧间预测单元260可以基于由参考图片上的运动向量指定的参考块(参考样本阵列)来导出当前块的预测块。在这种情况下，为了减少在帧间预测模式下传输的运动信息量，可以基于邻近块和当前块之间的运动信息的相关性以块、子块或样本为单元来预测运动信息。运动信息可以包括运动向量和参考图片索引。运动信息还可以包括帧间预测方向(L0预测、L1预测、Bi预测等)信息。在帧间预测的情况下，邻近块可以包括当前图片中存在的空间邻近块和参考图片中存在的时间邻近块。例如，帧间预测单元260可以基于邻近块配置运动信息候选列表，并且基于接收到的候选选择信息导出当前块的运动向量和/或参考图片索引。可以基于各种预测模式来执行帧间预测，并且关于预测的信息可以包括指示当前块的帧间预测模式的信息。
加法器235可以通过将获得的残差信号与从预测单元(包括帧间预测单元260和/或内预测单元265)输出的预测信号(预测块、预测样本阵列)相加生成重构块。如果要处理的块没有残差，诸如在应用跳过模式时，则可以将预测块用作重构块。加法器155的描述同样适用于加法器235。加法器235可以称为重构器或重构块生成器。生成的重构信号可以用于当前图片中要处理的下一个块的帧内预测，并且可以用于通过如下所述的滤波对下一个图片进行帧间预测。
滤波器240可以通过对重构信号应用滤波来提高主观/客观图像质量。例如，滤波器240可以通过对重构图片应用各种滤波方法来生成修改的重构图片，并将修改的重构图片存储在存储器250中，具体地，存储器250的DPB中。各种滤波方法可以包括，例如，去块滤波、样本自适应偏移、自适应环路滤波、双边滤波等。
存储在存储器250的DPB中的(修改的)重构图片可以用作帧间预测单元260中的参考图片。存储器250可以存储从其中导出(或解码)当前图片中的运动信息的块的运动信息和/或图片中已经重构的块的运动信息。存储的运动信息可以被传输到帧间预测单元260，以用作空间邻近块的运动信息或时间邻近块的运动信息。存储器250可以存储当前图片中重构块的重构样本并将重构样本传送到帧内预测单元265。
在本公开中，在图像编码装置100的滤波器160、帧间预测单元180和帧内预测单元185中描述的实施例可以同等地或对应地应用于图像解码装置200的滤波器240、帧间预测单元260和帧内预测单元265。
CTU的分区概述
如上所述，可通过根据四叉树/二叉树/三叉树(QT/BT/TT)结构递归地分区编译树单元(CTU)或最大编译单元(LCU)来获取编译单元。例如，CTU可以首先被分区为四叉树结构。此后，四叉树结构的叶节点可以进一步通过多类型树结构分区。
根据四叉树的分区意指当前CU(或CTU)被平均分区为四个。通过根据四叉树的分区，当前CU可以被分区为具有相同宽度和相同高度的四个CU。在当前CU不再被分区为四叉树结构时，当前CU对应于四叉树结构的叶节点。对应于四叉树结构的叶节点的CU可以不再被分区并且可以被用作上文描述的最终编译单元。可替选地，对应于四叉树结构的叶节点的CU可以进一步通过多类型树结构分区。
图4是示出根据多类型树结构的块的分区类型的视图。根据多类型树结构的分区可以包括根据二叉树结构的两种分割的类型和根据三叉树结构的两种分割的类型。
根据二叉树结构的两个分割的类型可以包括垂直二元分割(SPLIT_BT_VER)和水平二元分割(SPLIT_BT_HOR)。垂直二元分割(SPLIT_BT_VER)意指当前CU在垂直方向上被平均分割成两个。如图所图4中所示，通过垂直二元分割，可以生成具有与当前CU相同的高度并且具有当前CU的宽度的一半宽度的两个CU。水平二元分割(SPLIT_BT_HOR)意指当前CU在水平方向上被平均分割为两个。如图5中所示，通过水平二元分割，可以生成具有当前CU的高度的一半高度并且具有与当前CU相同的宽度的两个CU。
根据三元树结构的两种分割的类型可以包括垂直三元分割(SPLIT_TT_VER)和水平三元分割(SPLIT_TT_HOR)。在垂直三元分割(SPLIT_TT_VER)中，当前CU以1:2:1的比例在垂直方向中被分割。如图4中所示，通过垂直三元分割，可以生成两个具有与当前CU相同高度并且具有当前CU的宽度的1/4的CU，以及一个与当前CU相同高度并且具有当前CU的宽度的一半的CU。在水平三元分割(SPLIT_TT_HOR)中，当前CU以1:2:1的比例在水平方向中被分割。如图5中所示，通过水平三元分割，可以生成两个具有当前CU的高度的1/4的高度并且具有与当前CU相同宽度的CU，以及一个具有当前CU的高度的一半的高度并且具有与当前CU相同宽度的CU。
图5是示出根据本公开的具有嵌套多类型树结构的四叉树中的分区分割信息的信令机制的视图。
这里，CTU被视为四叉树的根节点，并且第一次被分区为四叉树结构。可以用信号通知指示是否相对于当前CU(四叉树的CTU或节点(QT_node))执行四叉树分割的信息(例如，qt_split_flag)。例如，当qt_split_flag具有第一值(例如，“1”)时，当前CU可以被进行四叉树分区。另外，当qt_split_flag具有第二值(例如，“0”)时，当前CU不被进行四叉树分区，而是变成四叉树的叶节点(QT_leaf_node)。然后，每个四叉树叶节点可以进一步被分区为多类型树结构。也就是说，四叉树的叶节点可以变成多类型树的节点(MTT_node)。在多类型树结构中，可以用信号通知第一标志(例如，Mtt_split_cu_flag)以指示当前节点是否被另外分区。如果相应的节点被另外分区(例如，如果第一标志是1)，则可以用信号通知第二标志(例如，Mtt_split_cu_vertical_flag)以指示分割方向。例如，如果第二标志是1，则分割方向可以是垂直方向，以及如果第二标志是0，则分割方向可以是水平方向。然后，可以用信号通知第三标志(例如，Mtt_split_cu_binary_flag)以指示分割类型是否是二元分割类型或三元分割类型。例如，当第三标志是1时，分割类型可以是二元分割类型，以及当第三标志是0时，分割类型可以是三元分割类型。由二元分割或三元分割获取的多类型树的节点可以进一步被分区为多类型树结构。然而，多类型树的节点可以不被分区为四叉树结构。如果第一标志是0，则多类型树的相应节点不再被分割，而是变成多类型树的叶节点(MTT_leaf_node)。对应于多类型树的叶节点的CU可以被用作上文描述的最终编译单元。
如下面的表1所示，基于mtt_split_cu_vertical_flag和mtt_split_cu_binary_flag，CU的多类型树分割模式(MttSplitMode)可以被导出。
[表1]
MttSplitMode mtt_split_cu_vertical_flag mtt_split_cu_binary_flag
SPLIT_TT_HOR 0 0
SPLIT_BT_HOR 0 1
SPLIT_TT_VER 1 0
SPLIT_BT_VER 1 1
一个CTU可以包括亮度样本的编译块(在下文中被称作“亮度块”)和与其对应的两个色度样本的编译块(在下文中被称作“色度块”)。上文描述的编译树方案可以同等地或单独地被应用于当前CU的亮度块和色度块。特定地，一个CTU中的亮度和色度块可以被分区为相同的块树结构，并且在这种情况下，该树结构可以被表示为SINGLE_TREE。可替选地，一个CTU中的亮度和色度块可以被分区为单独的块树结构，并且在这种情况下，树结构可以被表示为DUAL_TREE。也就是说，当CTU被分区为双树时，用于亮度块的块树结构和用于色度块的块树结构可以单独存在。在这种情况下，用于亮度块的块树结构可以被称为DUAL_TREE_LUMA，并且用于色度分量的块树结构可以被称为DUAL_TREE_CHROMA。对于P和B切片/拼块组，一个CTU中的亮度和色度块可能被限制为具有相同的编译树结构。然而，对于I切片/拼块组，亮度和色度块可以具有彼此单独的块树结构。如果单独的块树结构被应用，则亮度CTB可以基于特定编译树结构被分区为CU，并且色度CTB可以基于另一编译树结构被分区为色度CU。也就是说，这意指对其应用单独的块树结构的I切片/拼块组中的CU可以由亮度分量的编译块或两个色度分量的编译块组成。另外，对其应用相同的块树结构的I切片/拼块组中的CU以及P或B切片/拼块组的CU可以由三个颜色分量(一个亮度分量和两个色度分量)的块组成。
虽然已经描述具有嵌套多类型树的四叉树编译树结构，但是CU被分区的结构不限于此。例如，BT结构和TT结构可以被解释为包括在多分区树(MPT)结构中的概念，并且CU可以被解释为通过QT结构和MPT结构被分区。在CU通过QT结构和MPT结构被分区的示例中，包括关于QT结构的叶节点被分区为多少块的信息的语法元素(例如，MPT_split_type)以及包括关于QT结构的叶节点被分区成垂直方向和水平方向中的哪个方向上的信息的语法元素(例如，MPT_split_mode)可以被用信号通知以确定分区结构。
在另一示例中，可以以与QT结构、BT结构或TT结构不同的方式来分区CU。也就是说，不同于较低深度的CU根据QT结构被分区为较高深度的CU的1/4，较低深度的CU根据BT结构被分区为较高深度的CU的1/2，或者较低深度的CU根据TT结构被分区为较高深度的CU的1/4或1/2，在一些情况下，较低深度的CU可以被分区为较高深度的CU的1/5、1/3、3/8、3/5、2/3或5/8，并且分区CU的方法不限于此。
帧内预测概要
在下文中，将描述根据本公开的帧内预测。
帧内预测可以指示基于当前块所属于的图片(以下称为当前图片)中的参考样本为当前块生成预测样本的预测。当帧内预测应用于当前块时，可以导出要用于当前块的帧内预测的邻近参考样本。当前块的邻近参考样本可以包括与具有nWxnH大小的当前块的左边界相邻的样本和与左底部邻近的总共2xnH个样本、与当前块的顶部边界相邻的样本以及与右顶部邻近的总共2xnW个样本和与当前块的左顶部邻近的一个样本。可替选地，当前块的邻近参考样本可以包括多列顶部邻近样本和多行左邻近样本。另外，当前块的邻近参考样本可以包括与具有nWxnH大小的当前块的右边界相邻的总共nH个样本、与当前块的底部边界相邻的总共nW个样本和与当前块右底部邻近的一个样本。
然而，当前块的一些邻近参考样本尚未被解码或者可能不可用。在这种情况下，解码装置可以通过用可用样本取代不可用样本来构建要用于预测的邻近参考样本。或者，可以使用可用样本的插值来构建要用于预测的邻近参考样本。
当邻近参考样本被导出时，(i)可以基于当前块的邻近参考样本的平均或插值导出预测样本，并且(ii)可以基于当前块的邻近参考样本当中相对于预测样本存在于特定(预测)方向上的参考样本导出预测样本。可以将(i)的情况称为非定向模式或非角度模式并且可以将(ii)的情况称为定向模式或角度模式。
另外，可以用邻近参考样本当中基于当前块的预测样本位于当前块的帧内预测模式的预测方向的相反方向上的第二邻近样本和第一邻近样本，通过插值生成预测样本。可以将上述情况称为线性插值帧内预测(LIP)。
另外，可以使用线性模型来基于亮度样本生成色度预测样本。可以将此情况称作LM模式。
另外，可以基于滤波的邻近参考样本导出当前块的时间预测样本，并且可以通过将该时间预测样本和现有邻近参考样本当中根据帧内预测模式导出的至少一个参考样本即未滤波的邻近参考样本进行加权求和来导出当前块的预测样本。可以将上述情况称为位置相关帧内预测(PDPC)。
另外，可以从当前块的多条邻近参考样本线中选择具有最高预测准确度的参考样本线以使用对应线中位于预测方向上的参考样本来导出预测样本，并且此时，关于所使用的参考样本线的信息(例如，intra_luma_ref_idx)可以被编码在比特流中并用信号发送。可以将上述情况称为多参考线(MRL)帧内预测或基于MRL的帧内预测。当不应用MRL时，参考采样可以从与当前区块直接相邻的参考采样线导出，并且在这种情况下，关于参考采样线的信息可以不用信号发送。
另外，可以将当前块划分成垂直或水平子分区以基于每个子分区相同的帧内预测模式执行帧内预测。在这种情况下，可以以子分区为单位导出帧内预测的邻近参考样本。也就是说，编码/解码顺序中前一个子分区的重构样本可用作当前子分区的邻近参考样本。在这种情况下，当前块的帧内预测模式被同等地应用于子分区，但在某些情况下，可以以子分区为单位导出和使用邻近参考样本，从而提高帧内预测性能。可以将这样的预测方法称为帧内子分区(ISP)或基于ISP的帧内预测。
这些帧内预测技术可以被称为帧内预测类型或附加帧内预测模式，以区别于定向或非定向帧内预测模式。帧内预测技术(帧内预测类型、附加帧内预测模式等)可以被称为各种术语，诸如帧内预测技术或附加帧内预测模式。例如，帧内预测类型(或附加帧内预测模式)可以包括LIP、PDPC、MRL、ISP或MIP中的至少一种。关于帧内预测类型的信息可以由编码装置编码、被包括在比特流中并且用信号通知给解码装置。可以以各种形式实现关于帧内预测类型的信息，所述各种形式诸如指示是否应用每种帧内预测类型的标志信息或指示若干帧内预测类型之一的索引信息。同时，必要时，可以相对于所导出的预测样本执行后滤波。具体地，帧内预测过程可以包括帧内预测模式/类型确定步骤、邻近参考样本导出步骤和基于帧内预测模式/类型的预测样本导出步骤。另外，必要时，可以相对于所导出的预测样本执行后滤波。
具体地，帧内预测过程可以包括帧内预测模式/类型确定步骤、邻近参考样本导出步骤以及基于帧内预测模式/类型的预测样本导出步骤。另外，如果需要，可以对导出的预测样本执行后滤波步骤。
图6是图示基于帧内预测的视频/图像编码方法的流程图。
图6的编码方法可以由图2的图像编码装置执行。具体地，步骤S610可以由帧内预测单元185执行，并且步骤S620可以由残差处理器执行。具体地，步骤S620可以由减法器115执行。步骤S630可以由熵编码器190执行。步骤S630的预测信息可以由帧内预测单元185导出，并且步骤S630的残差信息可以残差处理器导出。残差信息是关于残差样本的信息。残差信息可以包括关于用于残差样本的量化变换系数的信息。如上文所描述，残差样本可以通过编码装置的变换器120被导出为变换系数，并且变换系数可以通过量化器130被导出为量化变换系数。关于量化变换系数的信息可以由熵编码编码器190通过残差编译过程编码。
编码装置可以相对于当前块执行帧内预测(S610)。编码装置可以导出用于当前块的帧内预测模式/类型，导出当前块的邻近参考样本，并且基于帧内预测模式/类型和邻近参考样本来生成当前块中的预测样本。这里，用于确定帧内预测模式/类型的过程、用于导出邻近参考样本的过程和用于生成预测样本的过程可以被同时执行，或者可以在另一过程之前执行任何一个过程。
图7是图示根据本发明的帧内预测单元(帧内预测器)185的配置的视图。
如图7中所示，编码装置的帧内预测单元185可以包括帧内预测模式/类型确定单元186、参考样本导出单元187、预测样本导出单元188。帧内预测模式/类型确定单元186可以确定用于当前块的帧内预测模式/类型，参考样本导出单元187可以导出当前块的邻近参考样本，并且预测样本导出单元188可以导出当前块的预测样本。同时，虽然未示出，但是当执行下面描述的预测样本滤波过程时，帧内预测单元185可以进一步包括预测样本滤波器(未示出)。
图像编码装置可以从多个帧内预测模式/类型之中确定应用于当前块的模式/类型。编码装置可以比较帧内预测模式/类型的RD成本并且确定用于当前块的最佳帧内预测模式/类型。
同时，编码装置可以执行预测样本滤波过程。可以将预测样本滤波称为后滤波。通过预测样本滤波过程，一些或所有预测样本可以被滤波。在一些情况下，可以省略预测样本滤波过程。
再次参考图6，图像编码装置可以基于预测样本或滤波的预测样本来生成用于当前块的残差样本(S620)。图像编码装置可以通过从当前块的原始样本减去预测样本来导出残差样本。也就是说，图像编码装置可以通过从原始样本值减去预测样本值来导出残差样本值。
图像编码装置可以编码包括关于帧内预测的信息(预测信息)和残差样本的残差信息的图像信息(S630)。预测信息可以包括帧内预测模式信息和帧内预测类型信息。编码装置可以以比特流的形式输出编码的图像信息。输出比特流可以通过存储介质或网络被发送到解码装置。
残差信息可以包括下面描述的残差编译语法。编码装置可以对残差样本进行变换/量化并且导出量化变换系数。残差信息可以包括关于量化变换系数的信息。
同时，如上所述，编码装置可以生成重构图片(包括重构样本和重构块)。为此，编码装置可以相对于量化变换系数执行逆量化/逆变换并且导出(修改的)残差样本。对残差样本进行变换/量化然后执行逆量化/逆变换的原因是为了导出与由解码装置如上所述导出的残差样本相同的残差样本。编码装置可以基于预测样本和(修改的)残差样本生成包括当前块的重构样本的重构块。基于重构块，可以生成当前图片的重构图片。如上所述，环内滤波过程适用于重构图片。
图8是图示基于帧内预测的视频/图像解码方法的流程图。
图像解码装置可以执行与图像编码装置执行的操作相对应的操作。
图8的解码方法可以由图3的图像解码装置执行。S810至S830可以由解码装置的帧内预测器265执行，并且S810的预测信息和S840的残差信息可以由解码装置的熵解码器210从比特流获得。图像解码装置的残差处理器可以基于残差信息导出用于当前块的残差样本(S840)。具体地，残差处理器的解量化器220可以根据基于残差信息导出的量化变换系数来执行解量化以导出变换系数，并且残差处理器的解量化器230可以相对于变换系数执行逆变换以导出用于当前块的残差样本。步骤S850可以由解码装置的加法器235或重构器来执行。
具体地，图像解码装置可以基于接收到的预测信息(帧内预测模式/类型信息)导出用于当前块的帧内预测模式/类型(S810)。图像解码装置可以导出当前块的邻近参考样本(S820)。图像解码装置可以基于帧内预测模式/类型和邻近参考样本来生成当前块中的预测样本(S830)。在这种情况下，图像解码装置可以执行预测样本滤波过程。预测样本滤波可以被称为后滤波。可以通过预测样本滤波过程来滤波一些或全部预测样本。在一些情况下，可以省略预测样本滤波过程。
图像解码装置基于接收到的残差信息生成用于当前块的残差样本(S840)。图像解码装置可以基于预测样本和残差样本来生成用于当前块的重构样本，并且导出包括重构样本的重构块(S850)。可以基于重构块来生成用于当前图片的重构图片。如上文所描述，环路内滤波过程进一步适用于重构图片。
图9是图示根据本公开的帧内预测器265的配置的视图。
如图9中所示，图像解码装置的帧内预测器(帧内预测单元)265可以包括帧内预测模式/类型确定单元266、参考样本导出单元267和预测样本导出单元268，帧内预测模式/类型确定单元266可以基于由图像编码装置的帧内预测模式/类型确定单元186获得的帧内预测模式/类型信息来确定用于当前块的帧内预测模式/类型，参考样本导出单元266可以导出当前块的邻近参考样本，并且预测样本导出单元268可以导出当前块的预测样本。同时，虽然未示出，但是当执行上文描述的预测样本滤波过程被执行时，帧内预测器265可以进一步包括预测样本滤波器(未示出)。
帧内预测模式信息可以包括例如指示是否将最可能模式(MPM)或剩余模式应用于当前块的标志信息(例如，intra_luma_mpm_flag)，并且当MPM被应用于当前块时，预测模式信息还可以包括指示帧内预测模式候选(MPM候选)之一的索引信息(例如，intra_luma_mpm_idx)。帧内预测模式候选(MPM候选)可以配置MPM候选列表或MPM列表。例如，MPM候选列表可以包括邻近块的帧内预测模式或预设基本帧内预测模式。另外，当MPM未被应用于当前块时，帧内预测模式信息还可以包括指示排除帧内预测模式候选(MPM候选)的剩余帧内预测模式之一的剩余模式信息(例如，intra_luma_mpm_remainder)。解码装置可以基于帧内预测模式信息确定当前块的帧内预测模式。
另外，帧内预测技术信息可以以各种形式实现。例如，帧内预测技术信息可以包括指定帧内预测技术之一的帧内预测技术索引信息。作为另一示例，帧内预测技术信息可以包括以下各项之一：指定MRL是否应用于当前块以及如果应用则使用哪个参考样本行的参考样本行信息(例如，intra_luma_ref_idx)、指定ISP是否应用于当前块的ISP标志信息(例如，intra_subpartitions_mode_flag)、指定当ISP应用时子分区的分割类型的ISP类型信息(例如，intra_subpartitions_split_flag)、指定PDPC是否应用的标志信息或者指定LIP是否应用的标志信息。在本公开中，ISP标志信息可以被称为ISP应用指示符。
可以通过本发明中描述的编译方法编码/解码帧内预测模式信息和/或帧内预测类型信息。例如，帧内预测模式信息和/或帧内预测类型信息可以通过基于截断(莱斯(Rice))二进制码的熵编码(例如，CABAC或CAVLC)来编码/解码。
在下文中，将更详细地描述根据本公开的帧内预测模式/类型确定方法。
当帧内预测被应用于当前块时，可以使用邻近块的帧内预测模式来确定应用于当前块的帧内预测模式。例如，图像解码装置可以构建基于帧内预测模式和当前块的邻近块(例如，左和/或上邻近块)的附加候选模式而导出的最可能模式(mpm)列表，并且选择一个基于接收到的MPM索引的mpm列表中的mpm候选者。可替选地，图像解码装置可以基于剩余的帧内预测模式信息来选择未包括在mpm列表中的剩余帧内预测模式之一。例如，可以基于mpm标记(例如，intra_luma_mpm_flag)来指示应用于当前块的帧内预测模式是在mpm候选中(也就是说，被包括在mpm列表中)还是在剩余模式中。mpm标志的值为1可以指示用于当前块的帧内预测模式在mpm候选(mpm列表)中，并且mpm标志的值为0可以指示用于当前块的帧内预测模式不在mpm候选(mpm列表)中。mpm索引可以以mpm_idx或intra_luma_mpm_idx语法元素的形式用信号发送，并且剩余帧内预测模式信息可以以rem_intra_luma_pred_mode或intra_luma_mpm_remainder语法元素的形式用信号发送。例如，剩余帧内预测模式信息可以指示所有帧内预测模式当中未包括在按预测模式编号的顺序索引的mpm候选(mpm列表)中的剩余帧内预测模式之一。帧内预测模式可以是针对亮度分量(样本)的帧内预测模式。在下文中，帧内预测模式信息可以包括mpm标志(例如，intra_luma_mpm_flag)、mpm索引(例如，mpm_idx或intra_luma_mpm_idx)或剩余帧内预测模式信息(rem_intra_luma_pred_mode或intra_luma_mpm_remainder)中的至少一个。在本公开中，MPM列表可以被称为各种术语，诸如MPM候选列表和candModeList。
图10是图示图像编码装置中的帧内预测模式信令过程的流程图。
参考图10，图像编码装置可以配置用于当前块的MPM列表(S1010)。MPM列表可以包括极可能被应用于当前块的候选帧内预测模式(MPM候选)。MPM列表可以包括邻近块的帧内预测模式或者可以进一步包括根据预确定方法的特定帧内预测模式。
图像编码装置可以确定当前块的帧内预测模式(S1020)。图像编码装置可以基于各种帧内预测模式来执行预测，并且可以通过基于预测执行率失真优化(RDO)来确定最佳帧内预测模式。在这种情况下，图像编码装置可以仅使用MPM列表中包括的MPM候选来确定最佳帧内预测模式，或者可以使用剩余的帧内预测模式以及MPM中包括的MPM候选来确定最佳帧内预测模式。具体地，例如，如果当前块的帧内预测类型是特定类型(例如，LIP、MRL或ISP)而不是正常帧内预测类型，则图像编码装置可以仅使用MPM候选来确定最佳帧内预测模式。也就是说，在这种情况下，可以仅从MPM候选之中确定用于当前块的帧内预测模式，并且在这种情况下，可以不编码/用信号通知mpm标志。在特定类型的情况下，图像解码装置可以估计mpm标志是1而不单独接收mpm标志。
同时，通常，在当前块的帧内预测模式是MPM列表中的MPM候选之一时，图像编码装置可以生成指示MPM候选之一的mpm索引。如果当前块的帧内预测模式不被包括在MPM列表中，则可以生成指示MPM列表中不包括的剩余帧内预测模式之中的与当前块的帧内预测模式相同的模式的剩余帧内预测模式信息。
图像编码装置可以编码帧内预测模式信息并且以比特流的形式输出它(S1030)。帧内预测模式信息可以包括前述的mpm标记、mpm索引和/或剩余帧内预测模式信息。通常，mpm索引和剩余帧内预测模式信息具有替代关系，并且在指示用于一个块的帧内预测模式时不同时用信号通知。也就是说，当mpm标志值是1时可以用信号通知mpm索引，并且当mpm标志值是0时可以用信号通知剩余帧内预测模式信息。然而，如上文所描述，当特定帧内预测类型被应用于在当前块中时，mpm标志不被发信号通知并且其值被推断为1，并且仅mpm索引可以被发信号通知。也就是说，在这种情况下，帧内预测模式信息可以仅包括mpm索引。
虽然，在图10所示的示例中，S1020被示出为在S1010之后被执行，但是这是一个示例，并且S1020可以在S1010之前或者与S1010同时被执行。
图11是图示图像解码装置中的帧内预测模式确定过程的流程图。
图像解码装置可以基于由图像编码装置确定并且用信号通知的帧内预测模式信息来确定当前块的帧内预测模式。
参考图11，图像解码装置可以从比特流获得帧内预测模式信息(S1110)。如上文所描述，帧内预测模式信息可以包括mpm标志、mpm索引或剩余帧内预测模式中的至少一个。
图像解码装置可以配置MPM列表(S1120)。MPM列表被配置为与图像编码装置中配置的MPM列表相同。也就是说，MPM列表可以包括邻近块的帧内预测模式，或者可以进一步包括根据预确定方法的特定帧内预测模式。
虽然，在图11中所示的示例中，S1120被示出为在S1110之后被执行，但是这是示例，并且S1120可以在S1110之前或者与S1110同时被执行。
图像解码装置基于MPM列表和帧内预测模式信息来确定当前块的帧内预测模式(S1130)。将参考图12更详细地描述步骤S1130。
图12是更详细地图示帧内预测模式导出过程的流程图。
图12的步骤S1210和S1220可以分别对应于图11的步骤S1110和S1120。因此，将省略步骤S1210和S1220的详细描述。
图像解码装置可以从比特流获得帧内预测模式信息，配置MPM列表(S1210和S1220)，并且确定预确定条件(S1230)。具体地，如图12中所示，当mpm标志的值是1时(S1230中为是)，图像解码装置可以导出由MPM列表中的MPM候选之中的mpm索引指示的候选作为当前块的帧内预测模式(S1240)。作为另一示例，当mpm标志的值是0时(S1230中为否)，图像解码装置可以导出由MPM列表中未包括的剩余帧内预测模式之中的剩余帧内预测模式信息指示的帧内预测模式作为当前块的帧内预测模式(S1250)。同时，作为另一示例，在当前块的帧内预测类型是特定类型(例如，LIP、MRL或ISP)时(S1230中的是)，图像解码装置可以导出由在MPM列表中的mpm索引指示的候选作为当前块的帧内预测模式，而不检查mpm标志(S1240)。
同时，当对当前块执行帧内预测时，可以执行对当前块的亮度分量块(亮度块)的预测和对当前块的色度分量块(色度块)的预测。在这种情况下，可以与用于亮度分量(亮度块)的帧内预测模式分开地设置色度分量的帧内预测模式。
例如，可以基于帧内色度预测模式信息来指示用于色度分量的帧内预测模式，并且可以以intra_chroma_pred_mode语法元素的形式用信号通知帧内色度预测模式信息。作为示例，帧内色度预测模式信息可以指示候选模式之一，该候选模式包括平面模式、DC模式、垂直模式、水平模式、导出模式(DM)、L_CCLM、T_CCLM或LT_CCLM模式。DM也可以称为直接模式。CCLM可以被称为LM。CCLM可以被称为LM。
图13是图示根据本发明的实施例的帧内预测方向的视图。
帧内预测模式可以包括两种非定向帧内预测模式和33种定向帧内预测模式。非定向帧内预测模式可以包括平面模式和DC模式，并且定向帧内预测模式可以包括帧内预测模式#2至#34。平面帧内预测模式可以被称为平面模式，并且DC帧内预测模式可以被称为DC模式。
可替选地，为了捕捉自然视频中呈现的任何边缘方向，如图14中所示，帧内预测模式可以包括两个非定向帧内预测模式和65个扩展定向帧内预测模式。非定向帧内预测模式可以包括平面预测模式和DC预测模式，定向帧内预测模式可以包括帧内预测模式#2至#66。扩展帧内预测模式适用于具有所有大小的块并且适用于亮度分量(亮度块)和色度分量(色度块)两者。
可替选地，帧内预测模式可以包括两个非定向帧内预测模式和129个定向帧内预测模式。非定向帧内预测模式可以包括平面预测模式和DC预测模式，并且定向帧内预测模式可以包括帧内预测模式#2至#130。
同时，除了上述帧内预测模式之外，帧内预测模式还可以包括用于色度样本的交叉分量线性模型(CCLM)模式。CCLM模式可以根据为了LM参数导出是考虑左样本、上样本还是两者而分割成L_CCLM、T_CCLM、LT_CCLM并且可以被仅应用于色度分量。
帧内预测模式可以被索引，例如，如下面的表2所示。
[表2]
帧内预测模式 关联名称
0 INTRA_PLANAR
1 INTRA_DC
2..66 INTRA_ANGULAR2..INTRA_ANGULAR66
81..83 INTRA_LT_CCLM、INTRA_L_CCLM、INTRA_T_CCLM
图14是图示根据本发明的另一实施例的帧内预测方向的视图。在图14中，虚线方向示出仅应用于非正方形块的广角模式。如图14中所示，为了捕捉自然视频中呈现的任何边缘方向，根据实施例的帧内预测模式可以包括两种非定向帧内预测模式和93种定向帧内预测模式。非定向帧内预测模式可以包括平面预测模式和DC预测模式，定向帧内预测模式可以包括帧内预测模式#2至#80至#-1至#-14，由图15中的箭头表示。平面模式可以由INTRA_PLANAR表示，并且DC模式可以由INTRA_DC表示。另外，定向帧内预测模式可以由INTRA_ANGULAR-14至INTRA_ANGULAR-1和INTRA_ANGULAR2至INTRA_ANGULAR80表示。
同时，MPM列表可以被配置为包括N个MPM。在这种情况下，N可以是5或6。
为了构建MPM列表，可以考虑下面描述的三种模式的类型。
-默认帧内模式
-邻近帧内模式
-导出帧内模式
对于上述邻近帧内模式，可以考虑两个邻近块：左邻近块(A)和上邻近块(B)。
另外，可以考虑以下初始化的默认MPM以配置MPM列表。
默认6MPM模式＝{A、平面(0)或DC(1)、垂直(50)、水平(18)、VER-4(46)、VER+4(54)}
可以通过对两个邻近帧内模式执行修剪(pruning)过程来配置MPM列表。如果两个邻近帧内模式彼此相等并且邻近帧内模式大于DC(1)模式，则MPM列表可以包括{A，Planar，DC}模式并且包括3个导出帧内模式。可以通过将预确定的偏移值添加到邻近帧内模式和/或执行模操作来获得三个导出帧内模式。当两个邻近帧内模式彼此不同时，两个邻近帧内模式被分配到第一MPM模式和第二MPM模式，并且剩余的4个MPM模式可以从默认模式和/或邻近帧内模式导出。在生成MPM列表的过程中，可以执行修剪过程以防止相同模式在MPM列表中重叠。截断二进制码(TBC)可以被用于除MPM模式之外的模式的熵编码。
图15是图示根据本发明的实施例的用于广角帧内预测模式的参考样本的视图。
如上文所描述，帧内预测的预测方向可被定义为顺时针方向的45度至-135度。然而，如果当前块是非正方形块，则一些现有的定向帧内预测模式可以适配地被广角帧内预测模式替换。当替代广角帧内预测被应用时，可以用信号通知关于现有帧内预测的信息，并且在该信息被解析之后，该信息可以被重新映射到广角帧内预测模式的索引。相应地，用于特定块(例如，具有特定大小的非正方形块)的帧内预测模式总数可以不改变，也就是说，帧内预测模式总数为67个，并且用于特定块的帧内预测模式编译可以不改变。
如图15中所示，可以定义具有2W+1的长度的上参考样本和具有2H+1的长度的左参考样本以支持广角预测方向。同时，当广角帧内预测被应用时，由广角帧内预测模式替换的帧内预测模式可以取决于当前块的宽高比而不同。可以如下表所示导出根据宽高比替换为广角帧内预测模式的帧内预测模式。
[表3]
图16是图示根据本公开的实施例的一些广角帧内预测方向的视图。
同时，当如图16中所示执行超过45度的广角帧内预测时，可以基于两个不相邻的参考样本来预测两个垂直相邻的预测样本。因此，低通参考样本滤波器和侧平滑可以被应用于广角预测以减少增加的间隙Δpα的负面影响。
同时，可以存在广角模式表现出非分数偏移的情况。满足该条件的广角模式可以包括[-14、-12、-10、-6、72、76、78、80]的模式。作为示例，如果如上所述以广角模式预测块，则可以直接复制参考缓冲器中的样本而不应用任何插值。因此，可以减少用于平滑所需的样本的数量。另外，在现有的预测模式和广角模式中，可以设计非分数模式。
邻近参考样本导出的概要
当帧内预测应用于当前块时，可以导出要被用于当前块的帧内预测的邻近参考样本。当前块的邻近参考样本可以包括与具有nWxnH的大小的当前块的左边界相邻的样本和与左底部邻近的总共2xnH个样本、与当前块的顶部边界相邻的样本和与当前块右顶部邻近的总共2xnW个样本，以及与当前块左顶部邻近的一个样本。可替选地，当前块的邻近参考样本可以包括多列顶部邻近样本和多行左邻近样本。另外，当前块的邻近参考样本可以包括具有nWxnH的大小的当前块的右边界相邻的总共nH个样本、与当前块的底部边界相邻的总共nW个样本以及与当前块的右底部邻近的一个样本。
同时，当MRL被应用时，参考样本可以位于不同的行，例如，行1至3，而不是与在左/顶部的当前块相邻的行0，在这种情况下，邻近参考样本的数量可以进一步增加。稍后将描述特定邻近参考样本的面积和数量。
同时，当稍后描述的ISP被应用时，可以基于子分区来导出邻近参考样本。
同时，可以应用插值滤波器来导出扩展帧内参考样本。当前块的一些邻近参考样本可以尚未被解码或者可以不可用。在这种情况下，解码器可以通过可用样本的插值来配置要被用于预测的邻近参考样本。
同时，可以应用外推来导出扩展帧内参考样本。当前块的一些邻近参考样本可以尚未被解码或者可以不可用。在这种情况下，解码器可以通过可用样本的外推来配置要被用于预测的邻近参考样本。可以通过利用最后可用的样本替换或填充尚未解码或不可用的像素来配置它们，同时从左下开始直至到达右顶部参考样本将可引用样本更新为最新样本(最后可用样本)。
参考样本滤波的概要
同时，滤波可以被应用于当前块的邻近参考样本。这可以被称为预滤波，因为它在帧内预测之前被应用于邻近参考样本，这不同于后滤波，其是在帧内预测之后被应用于预测样本的滤波。针对邻近参考样本的滤波可以被称为平滑滤波，并且可以被执行，例如，如以下等式。
滤波的样本值p[x][y]，其中x＝-1、y＝-1..refH-1和x＝0..refW-1、y＝-1被导出如下：
p[-1][-1]＝(refUnfilt[-1][0]+2*refUnfilt[-1][-1]+refUnfilt[0][-1]+2)>>2(1.3.4-1)
p[-1][y]＝(refUnfilt[-1][y+1]+2*refUnfilt[-1][y]+refUnfilt[-1][y-1]+2)>>2
对于y＝0..refH-2 (1.3.4-2)
p[-1][refH-1]＝refUnfilt[-1][refH-1] (1.3.4-3)
p[x][-1]＝(refUnfilt[x-1][-1]+2*refUnfilt[x][-1]+refUnfilt[x+1][-1]+2)>>2
对于x＝0..refW-2 (1.3.4-4)
p[refW-1][-1]＝refUnfilt[refW-1][-1] (1.3.4-5)
这里，refUnfilt表示尚未滤波的邻近参考样本，并且[x][y]表示样本的x、y坐标。例如，这可以表示在当前块的左顶部样本位置坐标是(0,0)时的坐标。
如果滤波被应用于邻近参考样本，则滤波的邻近参考样本可以被用作预测样本导出步骤中的参考样本，并且如果滤波不被应用于邻近参考样本，则未滤波的邻近参考样本可以被用作预测样本导出步骤中的参考样本。
例如，当满足以下特定条件的一些或全部时，可以应用如上文所描述的邻近参考样本的滤波。
–nTbW*nTbH大于32
–cIdx等于0
–IntraSubPartitionsSplitType等于ISP_NO_SPLIT
–以下条件一项或多项是真：
–predModeIntra等于INTRA_PLANAR
–predModeIntra等于INTRA_ANGULAR34
–predModeIntra等于INTRA_ANGULAR2并且nTbH大于或等于nTbW
–predModeIntra等于INTRA_ANGULAR66并且nTbW大于或等于nTbH
作为示例，诸如帧内预测模式/类型确定、邻近参考样本导出和预测样本导出的过程都可以在CU的基础上被执行。作为另一示例，帧内预测模式/类型确定在CU的基础上被执行，但是邻近参考样本导出和预测样本导出过程可以在CU内的TU基础上被执行。在这种情况下，CU内的TU可以共享相同的帧内预测模式/类型。因此，考虑到这种情况，可以通过考虑作为TU(或TB)的宽度和高度的nTbW和nTbH来确定是否滤波邻近参考样本。
编码装置/解码装置的预测单元可以根据当前块的邻近参考样本之中的当前块的帧内预测模式来导出参考样本，并且可以基于参考样本来生成当前块的预测样本。
例如，可以基于当前块的邻近参考样本的平均或插值来导出预测样本，并且(ii)对于当前块的邻近参考样本的预测样本，可以基于特定(预测)方向上存在的参考样本来导出预测样本。(i)可以被称为非定向模式或非角度模式，并且(ii)可以被称为定向模式或角度模式。另外，通过基于邻近参考样本之中的当前块的预测样本，在位于当前块的帧内预测模式的预测方向相反方向的第二邻近样本和第一邻近样本之间的插值，预测样本可以被生成。上文描述的情况可以被称为线性插值帧内预测(LIP)。另外，基于滤波的邻近参考样本来导出当前块的临时预测样本，并且可以通过根据现有的邻近参考样本(也就是说，未滤波的邻近参考样本，以及临时预测样本)之中的帧内预测模式导出的至少一个参考样本的加权和，来导出当前块的预测样本。上文描述的情况可以被称为PDPC(位置相关帧内预测)。另外，从当前块的邻近多个参考样本行之中选择具有最高预测精度的参考样本行，以使用位于该行的预测方向中的参考样本来导出预测样本，并且此时，可以通过向解码装置指示(用信号通知)使用的参考样本行来执行帧内预测编码。上文描述的情况可以被称为多参考行帧内预测(MRL)或基于MRL的帧内预测。另外，可以通过将当前块分区为为垂直或水平子分区以基于相同的帧内预测模式来执行帧内预测，并且可以以子分区为单位导出和使用邻近参考样本。也就是说，在这种情况下，用于当前块的帧内预测模式被同样地应用于子分区，但是在一些情况下能够通过以子分区为单位导出和使用邻近参考样本来改进帧内预测性能。这个预测方法可以被称为帧内子分区(ISP)或基于ISP的帧内预测。稍后将描述特定细节。另外，当预测方向基于邻近参考样本之间的预测样本点时，也就是说，当预测方向指向分数样本位置时，可以通过位于预测方向周围(围绕分数样本位置)的参考样本之间的多个参考样本的插值导出预测样本的值。
上文描述的帧内预测方法可以被称为帧内预测类型，以区别于图13和图14中的帧内预测模式。帧内预测类型可以被称为各种术语，诸如帧内预测技术或附加帧内预测模式。例如，帧内预测类型(或附加帧内预测模式等)可以包括上文描述的LIP、PDPC、MRL或ISP的至少一种。关于帧内预测类型的信息可以在编码装置中被编码、被包括在比特流中并且被用信号通知给解码装置。关于帧内预测类型的信息可以以各种形式被实现，诸如指示是否应用每个帧内预测类型的标志信息或者指示几个帧内预测类型之一的索引信息。
用于导出上文描述的帧内预测模式的MPM列表可以取决于帧内预测类型而被不同地配置。可替选地，MPM列表可以被共同配置，而不管帧内预测类型。
同时，当通过参考样本的插值产生当前块的预测样本时，可以通过各种方法导出用于插值的插值滤波器。例如，可以基于预确定条件来确定插值滤波器。例如，可以基于用于当前块的帧内预测模式和/或当前块的大小来确定插值滤波器。插值滤波器可以包括例如高斯滤波器和三次滤波器。作为示例，如果用于当前块的帧内预测模式是左下对角帧内预测模式(#2)、左上对角帧内预测模式(#34)或右上对角帧内预测模式(#66)，则可以确定不应用插值滤波器或者应用高斯滤波器而不是三次滤波器。另外，例如，如果MRL的参考行索引是0，则可以应用三次滤波器，并且如果参考行索引大于0，则可以确定不应用插值滤波器或者应用高斯滤波器。另外，在帧内预测模式中，如果根据基于当前预测样本的位置的帧内预测模式的预测方向指向邻近参考样本的分数样本点而不是整数样本点，则插值滤波器可以被应用于生成对应于分数样本点的参考样本值。
同时，在增强压缩模型的6抽头插值滤波器中，4抽头三次插值可以由6抽头三次插值滤波器替换，以从参考样本导出预测样本。对于参考样本滤波，6抽头高斯滤波器被应用于较大的块(W>＝32并且H>＝32)，否则现有的VVC 4抽头高斯插值滤波器可以被应用。可以使用4抽头插值滤波器而不是最近邻舍入来导出扩展帧内参考样本。
同时，如果根据基于当前块中的当前预测样本(目标预测样本)的位置的帧内预测模式的预测方向指向邻近参考样本的分数样本点而不是整数样本点，则插值滤波器可以被应用以生成对应于分数样本点的参考样本值。
同时，在执行帧内预测之后，可以应用松弛块边界的滤波器以减小当前块的预测样本与已经重构的邻近样本之间的误差。例如，此滤波器可以取决于预测模式和块大小来确定是否应用滤波器以及滤波器的类型。
同时，在解码器侧帧内模式导出(DIMD)中，可以通过两个导出的方向和平面之间的加权平均来导出帧内预测。可以从当前块的相邻像素计算的梯度直方图(HoG)中选择两种角度模式。当两种模式被选择时，该模式的预测器和平面预测器被计算，并且然后加权平均可以被用作用于该块的最终预测器。HoG的相应幅度可以被用于两种模式中的每一种以确定权重。
由于导出的帧内模式可以被包括在帧内MPM(最可能模式)的主列表中，因此可以在构建MPM列表之前执行DIMD过程。DIMD块的主要导出帧内模式与该块一起被存储并且可以被用于构建邻近块的MPM列表。
组合的帧间和帧内预测(CIIP)的概要
同时，帧内预测可以与帧间预测组合并且被应用于当前块，这被称为CIIP(组合的帧间和帧内预测)模式。图17是示出可以在CIIP(组合的帧间和帧内预测)中使用的邻近块的视图。可以用信号通知附加标志(例如，ciip_flag)以指示是否将组合帧间/帧内预测(CIIP)模式应用于当前块(例如，CU)。例如，在当前块以合并模式被编译时，该块包含至少64个亮度样本(即，块宽度*块高度大于或等于64)，并且如果块宽度和/或块高度小于128个亮度样本，则可以用信号通知附加标志来指示是否将组合帧间/帧内预测(CIIP)模式应用于当前块。CIIP预测可以组合的帧间和帧内预测信号，并且可以使用被应用于正常合并模式的相同帧间预测过程来导出CIIP模式中的帧间预测信号P_inter。可以根据使用平面模式的帧内预测过程来导出帧内预测信号P_intra。然后，如图17所示，可以使用加权平均来组合帧内和帧间预测信号，其中可以根据顶部和左侧邻近块的编译模式来计算权重。
作为示例，如果顶部邻近块可用并且被帧内编译，则isIntraTop可以被设置为1，否则isIntraTop可以被设置为0。
作为另一示例，如果左邻近块可用并且被帧内编译，则isIntraLeft可以被设置为1，否则isIntraLeft可以被设置为0。
作为另一示例，如果(isIntraLeft+isIntraLeft)是2，则wt可以被设置为3。
否则，如果(isIntraLeft+isIntraLeft)是1，则wt可以被设置为2。
在其他情况下，wt可以被设置为1。
同时，CIIP预测可以通过以下等式导出。
PCIIP＝((4-wt)*Pinter+wt*Pntra+2)>>2
作为示例，左侧的PCIIP可以表示CIIP信号，Pinter可以表示帧间预测信号，并且P_intra可以表示帧内预测信号。
MRL(多参考行)帧内预测
在传统的帧内预测中，仅将当前块的顶部第一行和左侧第一行的邻近样本用作用于帧内预测的参考样本。然而，在多参考行(MRL)方法中，可以使用位于与当前块的上侧和/或左侧相隔一至三个样本的样本行上的邻近样本作为参考样本来执行帧内预测。图18是图示MRL帧内预测的视图并且是示出多参考行的示例的视图。这里，多参考行索引(例如，mrl_idx)指示哪行被用于当前块的帧内预测。例如，可以如下通过编译单元语法来用信号通知多参考行索引。多参考行索引可以以intra_luma_ref_idx语法元素的形式被配置。
[表4]
如下表5中所指定，intra_luma_ref_idx[x0][y0]可以指定帧内参考行索引IntraLumaRefLineIdx[x0][y0]。如果intra_luma_ref_idx[x0][y0]不存在，则可以认为它等于0。
intra_luma_ref_idx可以被称为(帧内)参考样本行索引或mrl_idx。另外，intra_luma_ref_idx也可以被称为intra_luma_ref_line_idx。
[表5]
intra_luma_ref_idx[x0][y0] IntraLumaRefLineIdx[x0][y0]
0 0
1 1
2 3
如果intra_luma_mpm_flag[x0][y0]不存在，则可以认为它等于1。
对于CTU内第一行(排)上的块，MRL可以被禁用。这是为了防止当前CTU行之外的扩展参考行被使用。另外，当上文描述的附加参考行被使用时，PDPC可以被禁用。
帧内子分区(ISP)预测
在传统的帧内预测中，当前要被编码的块被视为一个编译单元并且编译被执行而不分割。然而，帧内子分区(ISP)预测方法在水平或垂直方向上分割当前要被编码的块并且执行帧内预测编码。图19A和图19B是用于解释根据本公开的帧内子分区(ISP)过程的视图。此时，在分区的块的基础上执行编码/解码以生成重构块，并且重构块被用作用于下一个分区的块的参考块。当前，如表5中所示，在帧内子分区(ISP)中，根据块大小执行分割。
[表6]
块大小(CU) 分割数
4x4 不可用
4x8、8x4 2
在所有其他情况下 4
更具体地，图19A是用于解释4×8和8×4块(CU)的分区示例的图，并且图19B是用于解释除了4×8、8×4和4×4块(CU)之外的所有块的分区示例的视图。
[表7]
块大小 系数组大小
1×N，N≥16 1×16
N×1，N≥16 16×1
2×N，N≥8 2×8
N×2，N≥8 8×2
所有其他可能的M×N个情况 4×4
为了降低编译复杂度，帧内子分区方法根据每种分区方法(水平分区和垂直分区)生成MPM列表，并且从率失真优化(RDO)的视角比较生成的MPM列表中的预测模式的适当预测模式以生成最优模式。另外，如果使用多参考行(MRL)帧内预测，则不能使用上文描述的帧内子分区方法。也就是说，仅当使用第0参考行(即，intra_luma_ref_idx值0)时才应用帧内子分区方法。另外，当上文描述的帧内子分区方法被使用时，上文描述的PDPC不能被使用。
帧内子分区方法首先以块为单位发送是否应用帧内子分区，并且如果当前块使用帧内子分区(intra_subpartitions_mode_flag)，则再编码/解码关于其是水平还是垂直分割的信息(intra_subpartitions_split_flag)。
当应用帧内子分区方法时，用于当前块的帧内预测模式被同样地应用于子分区，并且能够通过在子分区的基础上导出和使用邻近参考样本来改进帧内预测性能。也就是说，当应用帧内子分区方法时，在子分区的基础上执行残差样本处理过程。换句话说，针对每个子分区导出帧内预测样本，并且用于相应子分区的残差信号(残差样本)被添加以获得重构样本。可以基于上文描述比特流中的残差信息(量化变换系数信息或残差编译语法)通过解量化/逆变换过程来导出残差信号(残差样本)。也就是说，导出用于第一子分区的预测样本和残差样本，并且基于此，可以导出用于第一子分区的重构样本。在这种情况下，当导出用于第二子分区的预测样本时，第一子分区中的一些重构样本(例如，第二子分区的左侧或顶部邻近参考样本)可以被用作用于第二子分区的邻近参考样本。类似地，导出用于第二子分区的预测样本和残差样本，并且基于此，可以导出用于第二子分区的重构样本。在这种情况下，当导出用于第三子分区的预测样本时，第二子分区中的一些重构样本(例如，第三子分区的左侧或顶部邻近参考样本)可以被用作用于第三子分区的邻近参考样本。以下同样适用。
在帧内预测中，当参考行索引是0时，也就是说，当不应用基于MRL(多参考行)的帧内预测并且块中的像素的数量是32或更多时，在当前块的颜色分量是亮度颜色分量时，当不应用ISP(帧内子分区)时，并且当帧内预测模式是0、-14、-12、-10、-6、2、34、66、72、76、78、80中的任意一个时，可以应用参考样本滤波。
也就是说，当前帧内参考样本滤波可以不被应用于具有一定大小或更小的块。例如，它不被应用于诸如4x4、4x8和8x4的块，并且即使当前块的帧内预测模式是MRL或应用ISP，也可以不应用参考样本滤波。另外，当帧内预测模式是平面模式或特定定向模式时，例如，帧内参考样本滤波可以仅被应用于整数方向模式或特定广角方向模式，并且存在一定限制性的应用条件。另外，如在用于未来编解码器标准化的ECM(增强压缩模型)中所提出的，可以如上文所描述应用6抽头三次滤波器或6抽头高斯滤波器，并且因此极大地降低了现有的帧内参考样本滤波的效果。
因此，本公开提出一种更精巧或更简单地应用帧内参考样本滤波的方法。根据本公开的实施例，应用于帧内参考样本滤波的滤波器可以被适配地选择为多个滤波器之一。例如，可以基于包括当前块的大小或参考样本的数量的特定条件来选择滤波器。另外，根据本公开的另一实施例，可以仅在特定帧内预测模式中应用帧内参考样本滤波，并且当生成帧内预测像素时可以执行参考样本滤波。同时，根据本公开的另一实施例，无论包括帧内预测模式的其他条件如何，都可以或可以不总是应用帧内参考样本滤波。
实施例1
在本实施例中，提出通过使适用于参考样本滤波的滤波器多样化来更精确地应用滤波的方法。更具体地，在本实施例中，提出一种或多种用于参考样本滤波的滤波器，其中滤波器可以具有不同的滤波器系数，或者滤波器系数的数量，即抽头的数量可以不同，并且滤波器系数可以全部为正。
在下文中，为了解释清楚，每个滤波器被称为第n滤波器，诸如第一滤波器或第二滤波器，但是滤波器的顺序或类型不被限制。另外，为了解释清楚，在下面的描述中仅使用第一滤波器和第二滤波器，但是这不一定意指仅存在两个滤波器，并且可以存在更多样的滤波器，并且因此本公开不限于此。
作为示例，可用于参考样本滤波的滤波器可以包括3抽头滤波器作为第一滤波器。例如，3抽头滤波器可以是[1,2,1]滤波器。另外，可以包括n抽头滤波器(而不是n＝3)作为第二滤波器。例如，n可以是5或6。可替选地，n可以是奇数。当n是6时，6抽头滤波器的滤波器系数可以是[1,4,6,4,1,0]。作为另一示例，当n是5时，5抽头滤波器的滤波器系数可以是[1,4,6,4,1]。作为示例，第二滤波器是高斯滤波器并且可以被应用于整数样本位置。也就是说，它可以是n抽头高斯滤波器。
作为示例，如果5抽头滤波器是[1,4,6,4,1]，则其被应用如下。
-ref_filtered[x]＝(ref[x-2]+4*ref[x-1]+6*ref[x]+4*ref[x+1]+ref[x+2])/16
在上面的等式中，ref[x]是指其当前应用参考样本滤波的x位置的参考样本，并且ref_filtered[x]可以是指其应用参考样本滤波的像素。换句话说，能够通过适配地应用更复杂的[1,4,6,4,1]平滑滤波器而不是3抽头滤波器(例如，[1,2,1]平滑滤波器)来增加编码和解码效率。
同时，当选择多个滤波器之一时，取决于参考样本的数量适配地应用第一滤波器(例如，[1,2,1]滤波器)和第二滤波器(例如，[1,4,6,4])，进一步改进参考样品滤波效率。
作为示例，帧内参考样本滤波可以总是使用第二滤波器来执行。也就是说，如果第一滤波器是3抽头滤波器，则可以使用除了第一滤波器之外的滤波器来执行帧内参考样本滤波。假设此时使用的另一个滤波器是第二滤波器，则第二滤波器可以是n抽头滤波器(n>3)。作为示例，如果第二滤波器是[1,4,6,4,1]滤波器，则可以总是应用第二滤波器。
作为另一示例，当执行参考样本滤波时，可以考虑块的大小或面积来选择滤波器。例如，如果当前块的宽度和/或高度大于或等于特定值(例如，32或16)，则可以使用一个滤波器，否则可以使用不同的滤波器。此时，对于其大小或面积大于或等于特定值的当前块的参考样本滤波，可以选择任意的k抽头滤波器，并且在其他情况下，可以选择任意的j抽头滤波器，其中k>j。换句话说，块的大小可以是用于滤波器的选择标准。例如，如果当前块的宽度和/或高度大于或等于特定值，则可以应用5抽头滤波器(例如，[1,4,6,4,1])，否则，可以应用3抽头滤波器(例如，[1,2,1])。作为另一示例，如果块的大小或面积(例如，宽度乘以块高度的值)大于特定值(例如，1024或256)，则5抽头滤波器(例如，[1,4,6,4,1])可以被应用，否则3抽头滤波器(例如，[1,2,1])可以被应用。
根据本实施例，能够通过适配地选择滤波器并且执行参考样本滤波来改进滤波性能。
同时，如上文所描述，参考样本滤波应用条件可以包括针对是否应用ISP/MRL、当前块的颜色分量或帧内预测模式的条件，但是也可以遵循改变的参考样本滤波应用条件。同时，在改变的参考样品滤波应用条件中，可以添加或改变上文描述的一些条件，并且可以排除一些条件。下面将详细描述改变的参考样品滤波应用条件。
实施例2
在本实施例中，提出一种简化参考样本滤波应用条件的方法。下面的表8使用[1,2,1]滤波器作为示例示出当不应用参考样本滤波时的性能。
[表8]
上述实验结果示出所有帧内预测种的性能。如上表所示，对于Y分量，intra[1,2,1]参考样本滤波的性能是0.03％。
同时，当参考样本滤波条件被改变并且仅在特定帧内模式(例如，平面帧内模式)应用参考样本滤波时，对于Y分量出现0.02％的性能改进。换句话说，考虑到上文描述的先前的实验结果，即使当在特定帧内模式中应用帧内参考样本滤波时，也能够预期性能改进。
因此，在本实施例中，提出如下仅在特定帧内模式(例如，平面帧内模式)中应用参考样本滤波的方法。
作为示例，当参考行索引是0(即，不应用MRL)时，在当前块中的像素的数量为32或更多时，在当前块的颜色分量是亮度颜色分量时，当ISP未被应用于当前块时，以及当帧内预测模式索引时0时，即，当帧内方向是0(平面帧内模式)时，帧内参考样本滤波是可应用的。
同时，在上文描述的应用条件中，可以去除或添加除了最后条件(也就是说，当帧内方向是0时)之外的条件，以改进编码性能并且降低复杂度。
例如，为了获得更高的编码性能，可以应用用于应用参考样本滤波的条件，而不管块的大小。例如，当参考行索引是0时(当不应用MRL时)，在当前块的颜色分量是亮度颜色分量时，当ISP未被应用于当前块时，以及当帧内方向是平面帧内模式时，可以应用参考样本滤波。
作为另一示例，为了获得更高的编码性能，用于应用参考样本滤波的条件可以被应用，而不管块的颜色分量如何。例如，当参考行索引是0时(不应用MRL)、在当前块中的像素的数量是32或更多时，当ISP不被应用于当前块时、以及当帧内方向是平面帧内模式时，可以应用参考样本滤波。
作为另一示例，为了获得更高的编码性能，可以通过考虑是否应用上文描述的DIMD和/或CIIP来应用用于应用参考样本滤波的条件。可以基于在上文描述的DIMD和CIIP中是否执行平面帧内预测来确定是否执行参考样本滤波。例如，当参考行索引是0(不应用MRL)时，在当前块中的像素的数量是32或更多时，当ISP不被应用于当前块时，当DIMD不被应用时，以及当帧内方向是平面帧内模式时，可以应用参考样本滤波。作为另一示例，当参考行索引时0(不应用MRL)时，在当前块中的像素的数量是32或更多时，当ISP不被应用于当前块时，当CIIP不被应用时，以及当帧内方向是平面帧内模式时，可以应用参考样本滤波。可替选地，仅当不应用DIMD或CIIP时，才可以应用参考样本滤波。
作为另一示例，与以上示例相反，可以仅当CIIP被应用于当前块时，当DIMD被应用时，或者当CIIP或DIMD被应用时，应用参考样本滤波。作为示例，此时的帧内预测模式可以是平面帧内预测。
作为另一示例，当诸如CIIP或DIMD的帧内预测器(例如，平面帧内预测器)与其他帧内/帧间预测组合时，可以在帧内预测中确定是否应用参考样本滤波。
同时，作为示例，当仅在平面帧内模式中应用参考样本滤波时，提出将参考样本滤波过程与帧内平面预测相结合的方法。也就是说，参考样本滤波不作为单独的过程存在，并且参考样本滤波可以是平面预测的内部过程。图20和图21示出参考样本滤波过程被添加到平面预测的两个规范的示例。作为示例，在平面帧内预测模式中，可以输入参考样本宽度和参考样本高度并且用于参考样本滤波。
同时，当仅在平面帧内模式中应用参考样本滤波时，可以仅使用单个滤波器，但是如实施例1可以适配地应用多个滤波器。例如，当适配地应用第一滤波器(例如，[1,2,1]滤波器)和第二滤波器(例如，[1,4,6,4,1]滤波器)时，可以总是应用第一滤波器(例如，[1,2,1]滤波器)或总是应用第二滤波器(例如，[1,4,6,4,1]滤波器)，如果块宽度和/或高度大于或等于特定值(例如，32或16)，则可以应用第二滤波器，否则应用第一滤波器，或者当块的大小或面积(例如，块宽度*块高度)大于或等于特定值(例如，1024或256)时，可以应用第二滤波器，否则，可以应用第一滤波器。
根据上述实施例，能够改进参考样本滤波的性能，并且因此能够改进编码和解码效率。
实施例3
在本实施例中，提出另一种简化参考样本滤波应用条件的方法。
作为示例，如上文所描述，无论帧内预测模式、当前块的颜色分量或者是否应用ISP/MRL，当帧内预测被应用于当前块时，可以总是应用参考样本滤波。
作为另一示例，如上文所描述，无论帧内预测模式、当前块的颜色分量或者是否应用ISP/MRL，当将帧内预测被应用于当前块时，可以不总是应用参考样本滤波。
同时，作为示例，当总是应用参考样本滤波时，参考样本滤波器是单个滤波器(例如，[1,2,1]滤波器)，或者除了单个滤波器之外，上面提出的多个滤波器可以被进一步考虑。例如，可以考虑第一滤波器(例如，[1,2,1]滤波器)和第二滤波器(例如，[1,4,6,4,1]滤波器)。同时，即使不管任何条件而执行参考样本滤波本身，当适配地选择并且应用多个滤波器之一时，诸如上面提到的当前块的大小、帧内预测模式等的其他条件也可以被考虑。
当总是应用或不应用参考样本滤波时，不需要检查诸如块大小条件、是否使用ISP/MRL以及帧内预测方向条件等条件。换句话说，无论上文描述的条件如何，当应用帧内预测时可以总是执行参考样本滤波。因此，减少了与整个帧内预测算法的复杂性以及是否应用参考样本滤波相关的开销，这能够具有增加图像编码/解码的效率和速度的效果。
图22是图示根据本发明的实施例的基于帧内预测模式执行参考样本滤波的图像编码或解码过程的图。作为示例，图22可以由图像编码装置或图像解码装置来执行。
作为示例，当图像编码或解码装置执行图像编码或解码时，可以确定当前块的帧内预测模式(S2201)。帧内预测模式可以基于用于确定帧内预测模式的信息被确定，可以从比特流被获得，或者可以基于其他信息被导出。作为示例，如上文所描述，用于确定帧内预测模式的信息可以包括MPM列表索引等。
同时，当确定帧内预测模式时，可以被用于帧内预测的参考样本可以被导出(S2202)。作为示例，可以基于确定的帧内预测模式来导出参考样本，并且此导出过程可以被包括在执行帧内预测的过程中。更具体地，在图22的实施例中，为了解释清楚，其被表示为单独的步骤，但是导出参考样本的过程(S2202)、确定是否对导出的参考样本执行参考样本滤波(S2203)、和/或基于关于是否执行参考样本滤波的确定(S2204)可以以被包括在执行帧内预测的过程(S2205)中的方式来实现，但是本公开不限于此。
例如，如果确定的帧内预测模式是特定帧内预测模式(例如，平面帧内预测模式)，则执行帧内预测的过程(S2205)可以包括执行参考样本滤波的过程(S2204)。也就是说，参考样本滤波可以被包括在基于特定帧内预测模式的帧内预测过程本身中。同时，只要帧内预测被应用于当前块，作为示例，可以或可以不应用参考样本滤波(S2204)，而不管其他条件(例如，帧内预测方向、块大小等)。也就是说，在一些情况下，可以省略确定是否对参考样本执行参考样本滤波的过程(S2203)。另一方面，如果不省略过程(S2203)并且确定是否执行参考样本滤波(S2203)，则可以通过基于从比特流用信号通知的信息或其他信息导出的信息来确定是否执行参考样本滤波，并且可以基于参考样本滤波应用条件来确定。例如，可以应用在上文描述的实施例中描述的用于参考样本滤波的条件。
同时，当应用参考样本滤波(S2204)时，作为示例，可以通过适配地选择多个滤波器之一来执行参考样本滤波。另外，可以基于帧内预测参考样本的数量来适配地选择滤波器。帧内预测参考样本的数量可以基于当前块的大小来确定。作为示例，如以上实施例中所描述的，可以基于当前块的大小与特定值的比较来确定帧内预测参考样本的数量。同时，多个滤波器中的一个滤波器(例如，第一滤波器)可以是3抽头滤波器，并且3抽头滤波器可以由[1,2,1]组成。另外，另一滤波器(例如，第二滤波器)是n抽头滤波器，并且n可以是大于3的值。例如，另一滤波器可以是5抽头滤波器或6抽头滤波器。作为示例，5抽头滤波器可以是[1,4,6,4,1]，并且6抽头滤波器可以是[1,4,6,4,1,0]。例如，用于滤波的所有滤波器系数可以是正数。同时，参考样本滤波应用条件可以包括是否应用DIMD(解码器侧帧内模式导出)和/或应用CIIP(组合的帧间帧内预测)。也就是说，可以基于是否应用解码器侧帧内模式导出(DIMD)和/或组合的帧间帧内预测(CIIP)来确定是否应用参考样本滤波。同时，无论当前块的颜色分量如何，都可以应用参考样本滤波，并且无论当前块的大小如何，都可以应用参考样本滤波。
当基于帧内预测模式执行帧内预测时(S2205)，可以生成帧内预测样本。可以基于生成的帧内预测样本来获得用于当前块的重构样本。如上文所描述，可以基于残差样本和预测样本来生成重构样本。
另外，由于参考图22描述的图像编码和解码方法对应于本公开的实施例，因此组合上文描述的实施例的步骤可以被添加或者一些步骤的顺序可以被改变或删除。
例如，在图像编码方法的情况下，可以进一步包括将基于预测样本和当前块获得的残差样本(即，残差信号)编码为比特流的过程，或者进一步包括将与帧内预测模式相关的信息编码为比特流的过程。另外，可以进一步包括发送比特流到图像解码装置的过程等。
图23是用于解释根据本公开的实施例的图像编码/解码装置的视图。作为示例，图像编码/解码装置可以包括存储器2302和至少一个处理器2303。
作为示例，至少一个处理器执行上文描述的实施例和图像编码/解码方法，但是一些步骤可以并行执行，或者如果可能的话，可以改变一些步骤的顺序或者可以省略一些步骤。
作为示例，至少一个处理器可以确定当前块的帧内预测模式，基于帧内预测模式执行帧内预测，并且基于由帧内预测生成的预测样本来获得重构样本。
作为示例，至少一个处理器基于帧内预测模式是平面预测模式来执行平面帧内预测，并且平面帧内预测可以包括当前块的帧内预测参考样本滤波过程。
根据本发明，通过改变或简化帧内预测参考样本滤波的条件，能够减少帧内预测参考样本滤波的开销，并且能够改进编码和解码效率。
根据本公开的各种实施例可以单独使用或与其他实施例组合使用。
虽然为了描述清楚，上文描述的本公开的示例性方法被表示为一系列操作，但是并不旨在限制其中步骤被执行的顺序，并且根据需要，该步骤可以被同时执行或者以不同的顺序被执行。为了实现根据本发明的方法，描述的步骤可以进一步包括其他步骤，可以包括除了部分步骤之外的剩余步骤，或者可以包括除了部分步骤之外的其他附加步骤。
在本公开中，执行预定操作(步骤)的图像编码装置或图像解码装置可以执行确认相应操作(步骤)的执行条件或情况的操作(步骤)。例如，如果描述了在满足预定条件时执行预定操作，则图像编码装置或图像解码装置可以在确定是否满足预定条件之后执行预定操作。
本公开的各种实施例不是所有可能组合的列表并且旨在描述本公开的代表性方面，并且在各种实施例中描述的事项可以独立地或以两个或更多个的组合应用。
本公开的各种实施例可以以硬件、固件、软件或其组合来实现。在通过硬件实现本公开的情况下，本公开可以通过专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、通用处理器、控制器、微控制器、微处理器等来实现。
此外，应用本公开的实施例的图像解码装置和图像编码装置可以包括在多媒体广播传送和接收装置、移动通信终端、家庭影院视频装置、数字影院视频装置、监控摄像头、视频聊天装置、诸如视频通信的实时通信装置、移动流传输装置、存储介质、摄像机、视频点播(VoD)服务提供装置、OTT视频(过顶视频)装置、互联网流传输服务提供装置、三维(3D)视频装置、视频电话视频装置、医疗视频装置等，并且可用于处理视频信号或数据信号。例如，OTT视频装置可以包括游戏机、蓝光播放器、互联网接入电视、家庭影院系统、智能手机、平板PC、数字录像机(DVR)等。
图24是示出可应用本公开的实施例的内容流传输系统的视图。
如图24中所示，应用本公开的实施例的内容流传输系统可以主要包括编码服务器、流传输服务器、网络服务器、媒体存储、用户装置和多媒体输入装置。
编码服务器将从诸如智能手机、相机、便携式摄像机等多媒体输入装置输入的内容压缩成数字数据以生成比特流并将该比特流发送到流服务器。作为另一示例，当智能手机、相机、摄像机等多媒体输入装置直接生成码流时，可以省略编码服务器。
比特流可以由应用本公开的实施例的图像编码方法或图像编码装置生成，并且流传送服务器可以在发送或接收比特流的过程中临时存储比特流。
流传输服务器基于用户通过网络服务器的请求将多媒体数据发送到用户装置，并且网络服务器用作向用户通知服务的媒介。当用户从网络服务器请求所需的服务时，网络服务器可以将其递送到流传输服务器，并且流传输服务器可以向用户发送多媒体数据。在这种情况下，内容流传输系统可以包括单独的控制服务器。在这种情况下，控制服务器用作控制内容流系统中装置之间的命令/响应。
流传输服务器可以从媒体存储和/或编码服务器接收内容。例如，当从编码服务器接收到内容时，可以实时接收内容。在这种情况下，为了提供平滑的流传输服务，流传输服务器可以在预定时间内存储比特流。
用户装置的示例可以包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航装置、平板PC、平板计算机、超级本、可穿戴装置(例如，智能手表、智能眼镜、头戴式显示器)、数字电视、台式计算机、数字标牌等。
内容流传输系统中的每个服务器都可以作为分布式服务器运行，在这种情况下，从每个服务器接收的数据可以被分布。
本公开的范围包括用于使根据各种实施例的方法的操作能够在装置或计算机上执行的软件或者可执行命令(例如，操作系统、应用、固件、程序等)、具有存储在其上并可在装置或计算机上执行的此类软件或命令的一种非暂时性计算机可读介质。
工业适用性
本公开的实施例可以被用于对图像进行编码或解码。

Claims (15)

1.一种由图像解码装置执行的图像解码方法，所述图像解码方法包括：
确定当前块的帧内预测模式；
基于所述帧内预测模式是平面预测模式，执行平面帧内预测；以及
根据基于所述平面帧内预测获得的预测样本，获得所述当前块的重构样本，
其中，执行所述平面帧内预测包括将滤波应用于所述当前块的帧内预测参考样本。
2.根据权利要求1所述的图像解码方法，其中，通过从包括第一滤波器或第二滤波器的多个滤波器中适配地选择一个滤波器来执行所述滤波。
3.根据权利要求2所述的图像解码方法，其中，基于帧内预测参考样本的数量，所选择的一个滤波器被选择。
4.根据权利要求3所述的图像解码方法，其中，基于所述当前块的大小，确定帧内预测参考样本的数量。
5.根据权利要求4所述的图像解码方法，其中，基于在所述当前块的大小与一定值之间的比较，确定帧内预测参考样本的数量。
6.根据权利要求1所述的图像解码方法，其中，所述第一滤波器是3抽头滤波器，并且所述第二滤波器是5抽头滤波器。
7.根据权利要求6所述的图像解码方法，其中，所述3抽头滤波器是[1,2,1]。
8.根据权利要求6所述的图像解码方法，其中，所述5抽头滤波器是[1,4,6,4,1]。
9.根据权利要求1所述的图像解码方法，其中，基于是否应用解码器侧帧内模式导出(DIMD)或是否应用组合的帧间帧内预测(CIIP)的至少一个，确定所述滤波的应用。
10.根据权利要求1所述的图像解码方法，其中，无论所述当前块的大小如何，所述滤波都被应用。
11.根据权利要求1所述的图像解码方法，其中，无论所述当前块的颜色分量如何，所述滤波都被应用。
12.根据权利要求1所述的图像解码方法，
其中，所述滤波基于[1,2,1]滤波器被执行，并且基于所述当前块的大小、所述当前块的颜色分量或者是否应用帧内子分区(ISP)中的至少一个而被执行。
13.一种由图像编码装置执行的图像编码方法，所述图像编码方法包括：
确定当前块的帧内预测模式；
基于所述帧内预测模式是平面预测模式，执行平面帧内预测；以及
基于从所述平面帧内预测获得的预测样本，获得所述当前块的重构样本，
其中，执行所述平面帧内预测包括将滤波应用于所述当前块的帧内预测参考样本。
14.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质存储通过图像编码装置执行的图像编码方法生成的比特流，其中，所述图像编码方法包括：
确定当前块的帧内预测模式；
基于所述帧内预测模式是平面预测模式，执行平面帧内预测；以及
基于从所述平面帧内预测获得的预测样本，获得所述当前块的重构样本，
其中，执行所述平面帧内预测包括将滤波应用于所述当前块的帧内预测参考样本。
15.一种发送由图像编码方法生成的比特流的方法，所述图像编码方法包括：
确定当前块的帧内预测模式；
基于所述帧内预测模式是平面预测模式，执行平面帧内预测；以及
基于从所述平面帧内预测获得的预测样本，获得所述当前块的重构样本，
其中，执行所述平面帧内预测包括将滤波应用于所述当前块的帧内预测参考样本。
CN202280055534.7A 2021-08-18 2022-08-18 基于帧内预测模式执行参考样本滤波的图像编码/解码方法和装置以及用于发送比特的方法 Pending CN117813818A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2021-0108572 2021-08-18
KR20210108572 2021-08-18
PCT/KR2022/012317 WO2023022530A1 (ko) 2021-08-18 2022-08-18 인트라 예측 모드에 기반하여 참조 샘플 필터링을 수행하는 영상 부호화/복호화 방법, 장치, 및 비트스트림을 전송하는 방법

Publications (1)

Publication Number Publication Date
CN117813818A true CN117813818A (zh) 2024-04-02

Family

ID=85239611

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280055534.7A Pending CN117813818A (zh) 2021-08-18 2022-08-18 基于帧内预测模式执行参考样本滤波的图像编码/解码方法和装置以及用于发送比特的方法

Country Status (2)

Country Link
CN (1) CN117813818A (zh)
WO (1) WO2023022530A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2012276407B2 (en) * 2011-06-28 2016-02-18 Samsung Electronics Co., Ltd. Method and apparatus for image encoding and decoding using intra prediction
KR101468078B1 (ko) * 2013-02-06 2014-12-08 성균관대학교산학협력단 화면 내 예측 방법 및 장치
BR112016013761B1 (pt) * 2014-05-23 2023-03-14 Huawei Technologies Co., Ltd Método e aparelho para reconstruir blocos de imagem utilizando predição, e meio de armazenamento legível por computador
KR20200005480A (ko) * 2018-07-06 2020-01-15 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN114270865A (zh) * 2019-06-19 2022-04-01 韩国电子通信研究院 用于对图像进行编码/解码的方法、设备和记录介质

Also Published As

Publication number Publication date
WO2023022530A1 (ko) 2023-02-23

Similar Documents

Publication Publication Date Title
JP7171875B2 (ja) Ｍｐｍリストを使用するイントラ予測基盤画像コーディング方法及びその装置
US20220060751A1 (en) Image encoding/decoding method and device for performing mip and lfnst, and method for transmitting bitstream
JP7375151B2 (ja) 映像コーディングにおけるマトリクスベースのイントラ予測のための変換
CN113853797B (zh) 使用变换索引的图像编码
JP7362786B2 (ja) 単純化されたｍｐｍリスト生成方法を用いる画像符号化／復号化方法、装置、及びビットストリームを伝送する方法
CN112385213B (zh) 基于帧间预测模式处理图像的方法和用于该方法的设备
CN112204964A (zh) 基于帧间预测模式的图像处理方法及其装置
CN116156188A (zh) 视频编码和解码方法、存储介质以及图像数据的传输方法
US20220337814A1 (en) Image encoding/decoding method and device using reference sample filtering, and method for transmitting bitstream
US11805248B2 (en) Method for processing image on basis of intra prediction mode, and device therefor
CN111903123B (zh) 基于帧间预测模式的图像处理方法和用于该方法的装置
KR20210126765A (ko) 영상 코딩 시스템에서의 인트라 예측 기반 영상 코딩
CN113615179B (zh) 图像编码/解码方法和装置以及发送比特流的方法
CN115152232A (zh) 基于变换的图像编译方法及其装置
US11924419B2 (en) Image encoding/decoding method and device using filtering, and method for transmitting bitstream
CN117813818A (zh) 基于帧内预测模式执行参考样本滤波的图像编码/解码方法和装置以及用于发送比特的方法
CN112840649A (zh) 图像编码系统中通过使用块分割对图像解码的方法及其装置
EP4322528A1 (en) Image encoding/decoding method and device for performing prediction of image on basis of multiple intra predictions, and method for transmitting bitstream
US11778192B2 (en) Video encoding/decoding method and apparatus for performing PDPC and method for transmitting bitstream
US20240163430A1 (en) Image encoding/decoding method and device using filtering, and method for transmitting bitstream
US20230093443A1 (en) Image decoding method using image information comprising tsrc available flag and apparatus therefor
CN115176465A (zh) 基于叶节点的重新配置的预测模式类型来执行预测的图像编码/解码方法和设备以及比特流传输方法
CN118018726A (zh) 图像编码/解码方法和装置以及发送比特流的方法
CN117834861A (zh) 图像编码/解码方法、存储介质及数据传输方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination