CN118355664A - 图像编码/解码方法和设备以及其中存储比特流的记录介质 - Google Patents

图像编码/解码方法和设备以及其中存储比特流的记录介质 Download PDF

Info

Publication number
CN118355664A
CN118355664A CN202280080390.0A CN202280080390A CN118355664A CN 118355664 A CN118355664 A CN 118355664A CN 202280080390 A CN202280080390 A CN 202280080390A CN 118355664 A CN118355664 A CN 118355664A
Authority
CN
China
Prior art keywords
prediction
block
boundary
partition
target boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280080390.0A
Other languages
English (en)
Inventor
张炯文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN118355664A publication Critical patent/CN118355664A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

根据本公开的图像解码/编码方法和设备可以：获取指示帧内导出模式是否被应用于当前块的第一标志；基于第一标志来获取指示BDPCM是否被应用于当前块的色度分量的第二标志；基于第二标志来导出色度分量的帧内预测模式；以及基于帧内预测模式来生成色度分量的预测样本。

Description

图像编码/解码方法和设备以及其中存储比特流的记录介质
技术领域
本公开涉及一种图像编码/解码方法和设备以及存储比特流的记录介质，并且更具体地，涉及一种使用环路滤波的图像编码/解码方法和设备以及存储比特流的记录介质。
背景技术
近来，在各种应用领域中对诸如HD(高清)图像和UHD(超高清)图像的高分辨率和高质量图像的需求已经不断增加，并且因此，高效的图像压缩技术正在被讨论。
存在多种技术，诸如利用视频压缩技术从当前图片之前或之后的图片预测当前图片中包括的像素值的帧间预测技术、通过使用当前图片中的像素信息对当前图片中包括的像素值进行预测的帧内预测技术、对出现频率高的值分配短符号并且对出现频率低的值分配长符号的熵编译技术等，并且这些图像压缩技术可以被用于有效地压缩图像数据并对其进行发送或存储。
发明内容
技术问题
本公开提出了一种考虑滤波边界块的预测模式的去块滤波方法。
本公开提出了一种用于基于滤波边界块是否通过GPM帧内预测编译来计算用于去块滤波的边界强度的方法。
技术方案
根据本公开的图像解码方法和设备可以通过划分重构图片来确定用于滤波的目标边界，基于是否通过分区合并预测来编译与目标边界相邻的块之中的至少一个块来导出用于目标边界的边界强度，并且基于边界强度来执行用于目标边界的滤波。
在根据本公开的图像解码方法和设备中，分区组合预测可以表示其中通过组合第一分区的第一预测块和第二分区的第二预测块来执行预测的模式。
在根据本公开的图像解码方法和设备中，第一预测块和第二预测块可以是其中执行不同预测的预测块。
在根据本公开的图像解码方法和设备中，第一预测块和第二预测块可以是其中执行相同预测的预测块。
在根据本公开的图像解码方法和设备中，第一预测块和第二预测块中的一个可以是其中执行帧内预测的预测块，并且另一个可以是其中执行帧间预测的预测块。
在根据本公开的图像解码方法和设备中，当通过分区组合预测来编译与目标边界相邻的块之中的至少一个块时，边界强度可以被导出为预先确定的第一值。
在根据本公开的图像解码方法和设备中，当与目标边界相邻的所有块通过分区组合预测被编译时，边界强度可以被导出为预先确定的第二值，并且当仅与目标边界相邻的块之中的一个块通过分区组合预测被编译时，边界强度可以被导出为预先确定的第三值。
根据本公开的图像解码方法和设备可以确定是否与目标边界相邻的块之中的当前块通过分区组合预测被编译。
在根据本公开的图像解码方法和设备中，当前块是否通过分区编码组合预测被编译可以基于为当前块存储的运动矢量来确定。
在根据本公开的图像解码方法和设备中，可以基于编译信息来自适应地确定与目标边界相邻的块的宽度和高度。
在根据本公开的图像解码方法和设备中，编译信息可以包括与目标边界相邻的块的大小、预先确定的网格的大小、用于分区组合预测的分区划分角度或用于分区组合预测的分区划分距离中的至少一个。
根据本公开的图像编码方法和设备可以通过划分重构图片来确定用于滤波的目标边界，基于与目标边界相邻的块之中的至少一个块是否通过分区组合预测被编译来导出用于目标边界的边界强度，并且基于边界强度来执行用于目标边界的滤波。
在根据本公开的图像编码方法和设备中，分区组合预测可以表示其中通过组合第一分区的第一预测块和第二分区的第二预测块来执行预测的模式。
在根据本公开的图像编码方法和设备中，第一预测块和第二预测块中的一个可以是其中执行帧内预测的预测块，并且另一个可以是其中执行帧间预测的预测块。
在根据本公开的图像编码方法和设备中，当通过分区组合预测对目标边界相邻的块之中的至少一个块编译时，边界强度可以被导出为预先确定的第一值。
在根据本公开的图像编码方法和设备中，当与目标边界相邻的所有块通过分区组合预测被编码时，边界强度可以被导出为预先确定的第二值，并且当仅与目标边界相邻的块之中的一个块通过分区组合预测被编译时，边界强度可以被导出为预先确定的第三值。
根据本公开的图像编码方法和设备可以确定是否与目标边界相邻的块之中的当前块通过分区组合预测被编译。
在根据本公开的图像编码方法和设备中，当前块是否通过分区编码组合预测被编译可以基于为当前块存储的运动矢量来确定。
在根据本公开的图像编码方法和设备中，可以基于编译信息来自适应地确定与目标边界相邻的块的宽度和高度。
在根据本公开的图像编码方法和设备中，编译信息可以包括与目标边界相邻的块的大小、预先确定的网格的大小、用于分区组合预测的分区划分角度或用于分区组合预测的分区划分距离中的至少一个。
提供了一种计算机可读数字存储介质，其存储编码的视频/图像信息，从而导致执行由于根据本公开的解码设备而产生的图像解码方法。
提供了一种根据本公开的存储根据图像编码方法生成的视频/图像信息的计算机可读数字存储介质。
技术效果
根据本公开，在确定用于去块滤波的边界强度时，滤波边界块是否通过GPM帧内预测编译可以被考虑以增加主观图像质量并改善压缩性能。
附图说明
图1示出根据本公开的视频/图像编译系统。
图2示出可以应用本公开的实施例并且执行视频/图像信号的编码的编码设备的粗略框图。
图3示出可以应用本公开的实施例并且执行视频/图像信号的解码的解码设备的粗略框图。
图4是本公开被应用于的实施例，并且示出去块滤波器的目标边界和目标像素。
图5示出由根据本公开的实施例的解码设备执行的图像解码方法。
图6是用于描述根据本公开的实施例的用于确定滤波器强度的方法的图。
图7是用于描述根据本公开的实施例的GPM帧内预测方法的图。
图8是图示根据本公开的实施例的用于确定边界强度的方法的流程图。
图9是图示根据本公开的实施例的用于确定边界强度的方法的流程图。
图10是图示本公开的实施例可以应用于的GPM划分方向的图。
图11和图12是图示根据本公开的实施例的用于确定目标边界的边界强度的方法的图。
图13是图示根据本公开的实施例的用于确定边界强度的方法的流程图。
图14是图示根据本公开的实施例的用于确定边界强度的方法的流程图。
图15是用于描述根据本公开的实施例的用于以子块为单元确定边界强度的方法的图。
图16是用于描述根据本公开的实施例的用于以子块为单元确定边界强度的方法的图。
图17示出执行根据本发明的实施例的执行图像解码方法的滤波单元的粗略配置。
图18示出根据本公开的实施例的编码设备执行的图像编码方法。
图19示出执行根据本发明的实施例的图像编码方法的滤波单元的粗略配置。
图20示出可以应用本公开的实施例的内容流传输(streaming)系统的示例。
具体实施方式
因为本公开可以做出各种改变并且具有数个实施例，所以将在附图中图示具体实施例并在详细描述中详细描述具体实施例。然而，并不旨在将本公开限制于特定实施例，并且应当理解为包括被包括在本公开的精神和技术范围内的所有变化、等效物和替代物。在描述每个附图的同时，相似的附图标记被用于相似的组件。
诸如第一、第二等的术语可以被用于描述各种组件，但是组件不应受到这些术语的限制。这些术语仅用于区分一个组件与其他组件。例如，在不脱离本公开的权利范围的情况下，第一组件可以被称为第二组件，并且类似地，第二组件也可以被称为第一组件。术语和/或包括多个相关陈述项目中的任意一个或多个相关陈述项目的组合。
当组件被称为“连接”或“链接”到另一组件时，应当理解，其可以直接连接或链接到另一组件，但是中间也可以存在另一组件。另一方面，当一个组件被称为“直接连接”或“直接链接”到另一个组件时，应当理解在中间不存在另一个组件。
此申请中使用的术语仅用于描述具体实施例，并不旨在限制本公开。除非上下文另有明确指示，否则单数表达包括复数表达。在此申请中，应当理解，诸如“包括”或“具有”的术语旨在指派(designate)说明书中所描述的特征、数字、步骤、操作、组件、部分或其组合的存在，但是并不事先排除存在或添加一个或多个其他特征、数字、步骤、操作、组件、部分或其组合的可能性。
本公开涉及视频/图像编译。例如，这里公开的方法/实施例可以被应用于通用视频编译(VVC)标准中公开的方法。另外，本文公开的方法/实施例可以被应用于基本视频编译(EVC)标准、AOMedia视频1(AV1)标准、第二代音频视频编译标准(AVS2)或下一代视频/图像编译标准(例如H.267或H.268等)中公开的方法。
此说明书提出视频/图像编译的各种实施例，并且除非另有说明，否则这些实施例可以彼此组合来执行。
这里，视频可以指代随时间推移的一系列图像的集合。图片一般指代表示特定时间段内的一幅图像的单元，并且切片/图块是在编译中形成图片的一部分的单元。切片/图块可以包括至少一个编译树单元(CTU)。一个图片可以由至少一个切片/图块组成。一个图块是由一个图片的特定图块列和特定图块行内的多个CTU组成的矩形区域。图块列是具有与图片相同的高度和由图片参数集的语法要求指派的宽度的CTU的矩形区域。图块行是具有由图片参数集指派的高度和与图片的宽度相同的宽度的CTU的矩形区域。一个图块内的CTU可以根据CTU光栅扫描被连续排列，而一个图片内的图块可以根据图块的光栅扫描被连续排列。一个切片可以包括可以排他地包括在单个NAL单元中的图片的图块内的整数个完整的图块或者整数个连续的完整CTU行。同时，一个图片可以被划分为至少两个子图片。子图片可以是图片内的至少一个切片的矩形区域。
像素、像素或像元可以指代构成一个图片(或图像)的最小单元。另外，“样本”可以被用作与像素相对应的术语。样本通常可以表示像素或像素值，并且可以仅表示亮度分量的像素/像素值，或者仅表示色度分量的像素/像素值。
单元可以表示图像处理的基本单元。单元可以包括图片的特定区域和与相应区域相关的信息中的至少一个。一个单元可以包括一个亮度块和两个色度(例如，cb、cr)块。在一些情况下，单元可以与诸如块或区域等的术语互换使用。在一般情况下，MxN块可以包括由M列和N行组成的变换系数或样本(或样本阵列)的集合(或阵列)。
这里，“A或B”可以指代“仅A”、“仅B”或“A和B这两者”。换句话说，在此，“A或B”可以被解释为“A和/或B”。例如，在此，“A、B或C”可以指代“仅A”、“仅B”、“仅C”或“A、B和C的任意组合”。
本文使用的斜杠(/)或逗号可以指代“和/或”。例如，“A/B”可以指代“A和/或B”。因此，“A/B”可以指代“仅A”、“仅B”或“A和B这两者”。例如，“A、B、C”可以指代“A、B或C”。
在此，“A和B中的至少一个”可以指代“仅A”、“仅B”或“A和B这两者”。另外，本文中，诸如“A或B中的至少一个”或“A和/或B中的至少一个”的表述能够以与“A和B中的至少一个”相同的方式解释。
另外，在此，“A、B和C中的至少一个”可以指代“仅A”、“仅B”、“仅C”或“A、B和C的任意组合”。另外，“A、B或C中的至少一个”或“A、B和/或C中的至少一个”可以指代“A、B和C中的至少一个”。
另外，本文中使用的括号可以指代“例如”。具体地，当指示为“预测(帧内预测)”时，可以提出“帧内预测”作为“预测”的示例。换句话说，这里的“预测”不限于“帧内预测”，并且“帧内预测”可以被提出作为“预测”的示例。另外，即使当指示为“预测(即，帧内预测)”时，也可以提出“帧内预测”作为“预测”的示例。
这里，在一张附图中单独描述的技术特征可以被单独地或同时地实现。
图1示出根据本公开的视频/图像编译系统。
参考图1，视频/图像编译系统可以包括第一设备(源设备)和第二设备(接收设备)。
源设备可以通过数字存储介质或网络将编码的视频/图像信息或数据以文件或流传输的形式发送到接收设备。源设备可以包括视频源、编码设备和发送单元。接收设备可以包括接收单元、解码设备和渲染器。编码设备可以被称为视频/图像编码设备，并且解码设备可以被称为视频/图像解码设备。发射器可以被包括在编码设备中。接收器可以被包括在解码设备中。渲染器可以包括显示单元，并且显示单元可以由单独的设备或外部组件组成。
视频源可以通过捕获、合成或生成视频/图像的过程来获取视频/图像。视频源可以包括捕获视频/图像的设备和生成视频/图像的设备。捕获视频/图像的设备可以包括至少一个相机、包括先前捕获的视频/图像的视频/图像档案等。生成视频/图像的设备可以包括计算机、平板电脑、智能手机等等，并且可以(电子地)生成视频/图像。例如，可以通过计算机等生成虚拟视频/图像，并且在这种情况下，捕获视频/图像的过程可以被生成相关数据的过程取代。
编码设备可以对输入视频/图像进行编码。编码设备可以为了压缩和编译效率而执行诸如预测、变换、量化等的一系列过程。编码的数据(编码的视频/图像信息)能够以比特流的形式输出。
发送单元可以通过数字存储介质或网络以文件或流传输的形式向接收设备的接收单元发送以比特流的形式输出的编码的视频/图像信息或数据。数字存储介质可以包括各种存储介质，诸如USB、SD、CD、DVD、蓝光、HDD、SSD等。发送单元可以包括用于通过预先确定的文件格式生成媒体文件的元件并且可以包括用于通过广播/通信网络进行传输的元件。接收单元可以接收/提取比特流并将其发送到解码设备。
解码设备可以通过执行与编码设备的操作相对应的诸如解量化、逆变换、预测等的一系列过程来对视频/图像进行解码。
渲染器可以渲染经解码的视频/图像。可以通过显示单元显示经渲染的视频/图像。
图2示出可以应用本公开的实施例并且执行视频/图像信号的编码的编码设备的粗略框图。
参考图2，编码设备200可以由图像分割器210、预测器220、残差处理器230、熵编码器240、加法器250、滤波器260和存储器270组成。预测器220可以包括帧间预测器221和帧内预测器222。残差处理器230可以包括变换器232、量化器233、解量化器234和逆变换器235。残差处理器230可以进一步包括减法器231。加法器250可以被称为重构器或重构块生成器。根据实施例，上述图像分割器210、预测器220、残差处理器230、熵编码器240、加法器250和滤波器260可以由至少一个硬件组件(例如，编码器芯片组或处理器)配置。另外，存储器270可以包括解码图片缓冲器(DPB)并且可以由数字存储介质配置。硬件组件可以进一步包括存储器270作为内部/外部组件。
图像分割器210可以将输入到编码设备200的输入图像(或图片、帧)分割(partition)成至少一个处理单元。作为示例，处理单元可以被称为编译单元(CU)。在这种情况下，可以根据四叉树二叉树三叉树(QTBTTT)结构从编译树单元(CTU)或最大编译单元(LCU)递归地分割编译单元。
例如，一个编译单元可以基于四叉树结构、二叉树结构和/或三元结构被分割为具有更深深度的多个编译单元。在这种情况下，例如，可以首先应用四叉树结构，并且稍后可以应用二叉树结构和/或三元结构。可替选地，可以在四叉树结构之前应用二叉树结构。根据此说明书的编译过程可以基于不再被分割的最终编译单元来执行。在这种情况下，基于根据图像特性的编译效率等，可以直接使用最大编译单元作为最终编译单元，或者如果有必要，可以将编译单元递归地分割为更深深度的编译单元，并且可以将具有最佳大小的编译单元作为最终的编译单元。这里，编译过程可以包括稍后描述的诸如预测、变换和重构等的过程。
作为另一示例，处理单元可以进一步包括预测单元(PU)或变换单元(TU)。在这种情况下，预测单元和变换单元可以分别从上述最终编译单元划分或分割。预测单元可以是样本预测的单元，并且变换单元可以是用于导出变换系数的单元和/或用于从变换系数导出残差信号的单元。
在一些情况下，单元可以与诸如块或区域等的术语互换使用。在一般情况下，MxN块可以表示由M列和N行组成的变换系数或样本的集合。样本通常可以表示像素或像素值，并且可以仅表示亮度分量的像素/像素值，或者仅表示色度分量的像素/像素值。样本可以被用作使一个图片(或图像)对应于像素或像元的术语。
编码设备200可以从输入的图像信号(原始块、原始样本阵列)中减去从帧间预测器221或帧内预测器222输出的预测信号(预测块、预测样本阵列)以生成残差信号(残差信号、残差样本阵列)，并且所生成的残差信号被发送到变换器232。在这种情况下，在编码设备200内从输入的图像信号(原始块、原始样本阵列)减去预测信号(预测块、预测样本阵列)的单元可以被称为减法器231。
预测器220可以对要处理的块(在下文中，称为当前块)执行预测，并且生成包括用于当前块的预测样本的预测的块。预测器220可以确定以当前块或CU为单元是否应用帧内预测或者帧间预测。预测器220可以生成关于预测的各种信息，诸如预测模式信息等，并将其发送到熵编码器240，如在每个预测模式的描述中稍后所描述的。关于预测的信息可以在熵编码器240中被编码并且以比特流的形式输出。
帧内预测器222可以通过参考当前图片内的样本来预测当前块。根据预测模式，所参考的样本可以被定位在当前块的附近或者可以被定位在远离当前块一定距离。在帧内预测中，预测模式可以包括至少一个非定向模式和多个定向模式。非定向模式可以包括DC模式或平面模式中的至少一个。根据预测方向的细节级别，定向模式可以包括33个定向模式或65个定向模式。然而，这只是示例，并且可以根据配置来使用更多或更少的定向模式。帧内预测器222可以通过使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
帧间预测器221可以基于由参考图片上的运动向量指定的参考块(参考样本阵列)来导出用于当前块的预测块。在这种情况下，为了减少在帧间预测模式中发送的运动信息量，可以基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单元来预测运动信息。运动信息可以包括运动向量和参考图片索引。运动信息可以进一步包括帧间预测方向信息(L0预测、L1预测、Bi预测等)。对于帧间预测，邻近块可以包括存在于当前图片中的空间邻近块和存在于参考图片中的时间邻近块。包括参考块的参考图片和包括时间邻近块的参考图片可以相同或不同。时间邻近块可以被称为并置参考块、并置CU(colCU)等，并且包括时间邻近块的参考图片可以被称为并置图片(colPic)。例如，帧间预测器221可以基于邻近块配置运动信息候选列表，并生成指示哪个候选被用于导出当前块的运动向量和/或参考图片索引的信息。可以基于各种预测模式来执行帧间预测，并且例如，对于跳过模式和合并模式，帧间预测器221可以使用邻近块的运动信息作为当前块的运动信息。对于跳过模式，与合并模式不同，可以不发送残差信号。对于运动向量预测(MVP)模式，周围块的运动向量被用作运动向量预测器，并且用信号发送运动向量差以指示当前块的运动向量。
预测器220可以基于稍后描述的各种预测方法来生成预测信号。例如，预测器不仅可以应用帧内预测或帧间预测来对一个块进行预测，而且还可以同时应用帧内预测和帧间预测。它可以被称为组合的帧间和帧内预测(CIIP)模式。另外，预测器可以基于帧内块复制(IBC)预测模式或者可以基于用于针对块的预测的调色板模式。IBC预测模式或调色板模式可以被用于游戏等的内容图像/视频编译，诸如屏幕内容编译(SCC)等。IBC基本上执行当前图片内的预测，但是其可以类似于帧间预测被执行，因为它导出当前图片内的参考块。换言之，IBC可以使用本文描述的帧间预测技术中的至少一个。调色板模式可以被认为是帧内编译或帧内预测的示例。当应用调色板模式时，可以基于关于调色板表和调色板索引的信息来用信号发送图片内的样本值。通过预测器220生成的预测信号可以被用于生成重构信号或残差信号。
变换器232可以通过将变换技术应用于残差信号来生成变换系数。例如，变换技术可以包括离散余弦变换(DCT)、离散正弦变换(DST)、Karhunen-Loève变换(KLT)、基于图形的变换(GBT)或条件非线性变换(CNT)中的至少一个。这里，GBT指代当像素之间的关系信息被表达为图形时从此图形获得的变换。CNT指代基于通过使用所有先前重构的像素生成预测信号而获得的变换。另外，变换过程可以被应用于相同大小的正方形像素块或者可以被应用于可变大小的非正方形块。
量化器233可以对变换系数进行量化并将它们发送到熵编码器240，并且熵编码器240可以对量化的信号(关于量化的变换系数的信息)进行编码并将其输出为比特流。关于量化的变换系数的信息可以被称为残差信息。量化器233可以基于系数扫描顺序将以块形式的量化的变换系数重新布置为一维向量形式，并且可以基于一维向量形式的量化的变换系数来生成关于量化的变换系数的信息。
熵编码器240可以执行各种编码方法，诸如指数哥伦布、上下文自适应可变长度编译(CAVLC)、上下文自适应二进制算术编译(CABAC)等。熵编码器240可以对除了一起或单独量化的变换系数之外的对于视频/视频图像重构(例如，语法元素的值等)所必要的信息进行编码。
编码的信息(例如，编码的视频/图像信息)能够以比特流形式以网络抽象层(NAL)单元为单元来发送或存储。视频/图像信息可以进一步包括关于诸如自适应参数集(APS)、图片参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)等的各种参数集的信息。另外，视频/图像信息可以进一步包括一般约束信息。这里，从编码设备发送/用信号发送给解码设备的信息和/或语法元素可以被包括在视频/图像信息中。视频/图像信息可以通过上述编码过程被编码并且被包括在比特流中。比特流可以通过网络发送或者可以存储在数字存储介质中。这里，网络可以包括广播网络和/或通信网络等，并且数字存储介质可以包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等的各种存储介质。用于发送的发送单元(未示出)和/或用于存储从熵编码器240输出的信号的存储单元(未示出)可以被配置为编码设备200的内部/外部元件，或者发送单元还可以被包括在熵编码器240中。
从量化器233输出的量化的变换系数可以被用于生成预测信号。例如，可以通过解量化器234和逆变换器235将解量化和逆变换应用于量化的变换系数来重构残差信号(残差块或残差样本)。加法器250可以将重构的残差信号与从帧间预测器221或帧内预测器222输出的预测信号相加以生成重构信号(重构图片、重构块、重构样本阵列)。当不存在要处理的块的残差时，如当应用跳过模式时，预测块可以被用作重构块。加法器250可以被称为重构器或重构块生成器。生成的重构信号可以被用于当前图片内要处理的下一个块的帧内预测，并且还可以通过稍后描述的滤波被用于下一个图片的帧间预测。同时，具有色度缩放的亮度映射(LMCS)可以在图片编码和/或重构过程中被应用。
滤波器260可以通过对重构信号应用滤波来改进主观/客观图像质量。例如，滤波器260可以通过将各种滤波方法应用于重构图片来生成修改的重构图片，并且可将经修改的重构图片存储在存储器270中，具体地存储在存储器270的DPB中。各种滤波方法可以包括去块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。滤波器260可以生成关于滤波的各种信息并且将其发送到熵编码器240。关于滤波的信息可以在熵编码器240中被编码并且以比特流的形式输出。
发送到存储器270的经修改的重构图片可以被用作帧间预测器221中的参考图片。当通过其应用帧间预测时，编码设备可以避免编码设备200和解码设备中的预测失配，并且还可以改进编码效率。
存储器270的DPB可以存储修改的重构图片以将其用作帧间预测器221中的参考图片。存储器270可以存储从其中导出(或者编码)当前图片中的运动信息的块的运动信息和/或预重构图片中的块的运动信息。存储的运动信息可以被发送到帧间预测器221以被用作空间邻近块的运动信息或时间邻近块的运动信息。存储器270可以存储当前图片中的重构块的重构样本并将它们发送到帧内预测器222。
图3示出可以应用本公开的实施例并且执行视频/图像信号的解码的解码设备的粗略框图。
参考图3，解码设备300可以通过包括熵解码器310、残差处理器320、预测器330、加法器340、滤波器350和存储器360来配置。预测器330可以包括帧间预测器331和帧内预测器332。残差处理器320可以包括解量化器321和逆变换器321。
根据实施例，上述熵解码器310、残差处理器320、预测器330、加法器340和滤波器350可以由一个硬件组件(例如，解码器芯片组或处理器)配置。另外，存储器360可以包括解码图片缓冲器(DPB)并且可以由数字存储介质配置。硬件组件可以进一步包括存储器360作为内部/外部组件。
当输入包括视频/图像信息的比特流时，解码设备300可以响应于在图2的编码设备中处理视频/图像信息的过程来重构图像。例如，解码设备300可以基于从比特流获得的块分割的相关信息来导出单元/块。解码设备300可以通过使用在编码设备中应用的处理单元来执行解码。因此，解码的处理单元可以是编译单元，并且编译单元可以根据四叉树结构、二叉树结构和/或三叉树结构从编译树单元或最大编译单元分割。至少一个变换单元可以从编译单元导出。并且，通过解码设备300解码并输出的重构图像信号可以通过回放设备来播放。
解码设备300可以接收以比特流的形式从图2的编码设备输出的信号，并且接收到的信号可以通过熵解码器310解码。例如，熵解码器310可以解析比特流以导出对于图像重构(或图片重构)所必需的信息(例如，视频/图像信息)。视频/图像信息可以进一步包括关于诸如自适应参数集(APS)、图片参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)等的各种参数集的信息。另外，视频/图像信息可以进一步包括一般约束信息。解码设备可以进一步基于关于参数集的信息和/或一般约束信息来对图片进行解码。可以通过解码过程对用信号发送的/接收到的信息和/或本文稍后描述的语法元素进行解码并且从比特流获得。例如，熵解码器310可以基于诸如指数哥伦布编码、CAVLC、CABAC等的编译方法对比特流中的信息进行解码，并输出对于图像重构所必需的语法元素的值和关于残差的变换系数的量化值。更详细地，CABAC熵解码方法可以从比特流接收与每个语法元素相对应的bin，通过使用要解码的语法元素信息、周围块和要解码的块的解码信息或者前一步骤中解码的符号/bin的信息来确定上下文模型，通过根据确定的上下文模型预测bin的出现概率来对bin执行算术解码，并生成与每个语法元素的值相对应的符号。在这种情况下，在确定上下文模型之后，CABAC熵解码方法可以通过使用关于用于下一个符号/bin的上下文模型的已解码的符号/bin的信息来更新上下文模型。在熵解码器310中解码的信息之中，关于预测的信息被提供给预测器(帧间预测器332和帧内预测器331)，并且在熵解码器310中对其执行熵解码的残差值，即，量化的变换系数和相关参数信息可以被输入到残差处理器320。残差处理器320可以导出残差信号(残差块、残差样本、残差样本阵列)。另外，在熵解码器310中解码的信息之中的关于滤波的信息可以被提供给滤波器350。同时，接收从编码设备输出的信号的接收单元(未示出)可以进一步被配置为解码设备300的内部/外部元件或接收单元可以是熵解码器310的组件。
同时，根据此说明书的解码设备可以被称为视频/图像/图片解码设备，并且解码设备可以被划分为信息解码器(视频/图像/图片信息解码器)和样本解码器(视频/图像/图片样本解码器)。信息解码器可以包括熵解码器310，并且样本解码器可以包括解量化器321、逆变换器322、加法器340、滤波器350、存储器360、帧间预测器332和帧内预测器331中的至少一个。
解量化器321可以对量化的变换系数进行解量化并输出变换系数。解量化器321可以将量化的变换系数重新排列成二维块形式。在这种情况下，可以基于在编码设备中执行的系数扫描顺序来执行重新排列。解量化器321可以通过使用量化参数(例如，量化步长信息)对量化的变换系数执行解量化并获得变换系数。
逆变换器322对变换系数进行逆变换以获得残差信号(残差块、残差样本阵列)。
预测器320可以对当前块执行预测并且生成包括用于当前块的预测样本的预测块。预测器320可以基于从熵解码器310输出的关于预测的信息来确定是否对当前块应用帧内预测或者帧间预测，并且确定特定的帧内/帧间预测模式。
预测器320可以基于稍后描述的各种预测方法来生成预测信号。例如，预测器320不仅可以应用帧内预测或帧间预测来对一个块进行预测，而且还可以同时应用帧内预测和帧间预测。它可以被称为组合的帧间和帧内预测(CIIP)模式。另外，预测器可以基于帧内块复制(IBC)预测模式或者可以基于用于块的预测的调色板模式。IBC预测模式或调色板模式可以被用于游戏等的内容图像/视频编译，诸如屏幕内容编译(SCC)等。IBC基本上执行当前图片内的预测，但是其可以类似于帧间预测执行，因为它导出当前图片内的参考块。换言之，IBC可以使用本文描述的帧间预测技术中的至少一个。调色板模式可以被认为是帧内编译或帧内预测的示例。当应用调色板模式时，关于调色板表和调色板索引的信息可以被包括在视频/图像信息中并且用信号发送。
帧内预测器331可以通过参考当前图片内的样本来预测当前块。根据预测模式，所参考的样本可以被定位在当前块的附近或者可以被定位在远离当前块的一定距离。在帧内预测中，预测模式可以包括至少一个非定向模式和多个定向模式。帧内预测器331可以通过使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
帧间预测器332可以基于由参考图片上的运动向量指定的参考块(参考样本阵列)来导出用于当前块的预测块。在这种情况下，为了减少在帧间预测模式中发送的运动信息量，可以基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单元来预测运动信息。运动信息可以包括运动向量和参考图片索引。运动信息可以进一步包括帧间预测方向信息(L0预测、L1预测、Bi预测等)。对于帧间预测，邻近块可以包括存在于当前图片中的空间邻近块和存在于参考图片中的时间邻近块。例如，帧间预测器332可以基于邻近块配置运动信息候选列表，并且基于接收到的候选选择信息来导出当前块的运动向量和/或参考图片索引。可以基于各种预测模式来执行帧间预测，并且关于预测的信息可以包括指示用于当前块的帧间预测模式的信息。
加法器340可以将获得的残差信号与从预测器(包括帧间预测器332和/或帧内预测器331)输出的预测信号(预测块、预测样本阵列)相加以生成重构信号(重构图片、重构块、重构样本阵列)。当不存在要处理的块的残差时，如当应用跳过模式时，预测块可以被用作重构块。
加法器340可以被称为重构器或重构块生成器。生成的重构信号可以被用于当前图片中要处理的下一个块的帧内预测，可以通过稍后描述的滤波来输出，或者可以被用于下一个图片的帧间预测。同时，具有色度缩放(LMCS)的亮度映射可以在图片解码过程中被应用。
滤波器350可以通过对重构信号应用滤波来改进主观/客观图像质量。例如，滤波器350可以通过将各种滤波方法应用于重构图片来生成修改的重构图片，并将修改的重构图片发送到存储器360，具体地是存储器360的DPB。各种滤波方法可以包括去块滤波、采样自适应偏移、自适应环路滤波器、双边滤波器等。
存储在存储器360的DPB中的(修改的)重构图片能够被用作帧间预测单元332中的参考图片。存储器360可以将从其当前图片中的运动信息被导出(或者被解码)的块的运动信息和/或预重构的图片中的块的运动信息。存储的运动信息可以被发送到帧间预测器260以用作空间邻近块的运动信息或时间邻近块的运动信息。存储器360可以存储当前图片中的重构块的重构样本并将它们发送到帧内预测器331。
这里，在编码设备200的滤波器260、帧间预测器221和帧内预测器222中描述的实施例也可以分别同等地或相应地应用于解码设备300的滤波器350、帧间预测器332和帧内预测器331。
这里，可以省略量化/解量化和/或变换/逆变换中的至少一个。如果省略量化/解量化，则量化的变换系数可以被称为变换系数。如果省略变换/逆变换，则变换系数可以被称为系数或残差系数，或者为了表达的统一也可以仍然被称为变换系数。
这里，量化的变换系数和变换系数可以分别被称为变换系数和缩放的变换系数。在这种情况下，残差信息可以包括关于变换系数的信息，并且关于变换系数的信息可以通过残差编译语法被用信号发送。可以基于残差信息(或者关于变换系数的信息)来导出变换系数，并且可以通过针对变换系数的逆变换(缩放)来导出缩放的变换系数。可以基于针对缩放的变换系数的逆变换(变换)来导出残差样本。它也可以在本公开的其他部分中应用/表达。
如上所述，在执行视频编译时，执行预测以改进压缩效率。通过此，可以生成包括针对当前块(待被编译的块)的预测样本的预测块。这里，预测块包括空间域(或像素域)中的预测样本。预测块同样地从编码设备和解码设备导出，并且编码设备可以通过向解码设备用信号发送关于原始块和预测块之间的残差的信息(残差信息)而不是原始块的原始样本值本身来改进图像编译效率。解码装置可以基于残差信息来导出包括残差样本的残差块，通过组合残差块和预测块来生成包括重构样本的重构块，并且生成包括重构块的重构图片。
残差信息可以通过变换和量化过程被生成。例如，编码装置可以导出原始块和预测块之间的残差块，对残差块中包括的残差样本(残差样本阵列)执行变换过程以导出变换系数，并且导出通过对变换系数执行量化过程而量化的变换系数，以将相关残差信息(通过比特流)用信号发送给解码设备。这里，残差信息可以包括关于量化的变换系数的值的信息、位置信息以及关于变换技术、变换核、量化参数等的信息。解码装置可以基于该残差信息来执行解量化/逆变换过程并导出残差样本(或残差块)。解码装置可以基于预测块和残差块来生成重构图片。编码装置还可以通过对量化的变换系数进行解量化/逆变换来导出残差块以供后续图片的帧间预测参考，并且基于其来生成重构图片。
图4是应用本公开的实施例，并且示出去块滤波器的目标边界和目标像素。
图4是示出两个不同块(块P和块Q)之间的块边界420和421的图，并且相应的块边界可以被分类为垂直边界和水平边界。
在图4中，块Q区域指的是当前正在执行编码和/或解码的当前目标块的区域，并且块P区域指的是与块Q空间相邻的块作为已完成重构的预重构的块。块P和块Q是预重构的块，并且块Q可以指的是当前执行去块滤波的区域，并且块P可以指的是空间上与块Q相邻的块。
图4是概念性地示出应用去块滤波器的块P区域和块Q区域的图，并且示出位于应用去块滤波器的块P和块Q之间的边界处的像素的实施例。因此，应用本公开中提出的去块滤波器的像素的数量(在下文中，目标像素的数量)和去块滤波器的抽头的数量不限于图4，并且基于块P和块Q之间的边界，用于块P和块Q中的每一个的目标像素的数量可以是1、2、3、4、5、6、7或更多。块P中目标像素的数量与块Q中的目标像素的数量可以相同或不同。例如，块P中的目标像素的数量可以为5，并且块Q中的目标像素的数量可以为5。可替选地，块P中的目标像素的数量可以是7，并且块Q中的目标像素的数量可以是7。可替选地，块P中的目标像素的数量可以是3，并且块Q中的目标像素的数量可以是7。
在图4中，以块P和块Q中的目标像素的数量分别为3的情况作为实施例进行描述。
在用于图4中所示的垂直边界的一个实施例中，示出了其中将去块滤波器应用于块Q 400区域的第一行430的示例。
在属于第一行的四个像素(q0、q1、q2、q3)中，与垂直边界相邻的三个像素(q0、q1、q2)是执行去块滤波的目标像素。
另外，在用于图4中所示的水平边界的一个实施例中，同样在将去块滤波器应用于块Q 401区域的第一列431的示例中，与属于第一列的四个像素(q0、q1、q2、q3)之中的水平边界相邻的三个像素(q0、q1、q2)是执行去块滤波的目标像素。
然而，在对相应像素执行去块滤波器时，可以通过参考属于第一行或列的另一像素值(例如，q3)的像素值而不是对其执行去块滤波的目标像素来执行滤波。可替选地，可以通过参考第一行或第一列的邻近行或列的像素值来执行滤波。这里，邻近行或列可以属于当前目标块，或者可以属于与当前目标块空间相邻的块(例如，左/右、上/下)。空间相邻块的位置可以通过考虑滤波方向(或边界方向)来自适应地确定。通过参考，可以自适应地确定是否执行滤波、滤波强度、滤波系数、滤波系数的数量、滤波方向等。上述实施例也可以被等同地/类似地应用于稍后描述的实施例。
在示出其中将去块滤波器应用于块Q区域的示例时，图4以代表性的方式示出第一行430和第一列431，并且也对属于包括第一行的块Q区域的后续行(第二行、第三行等)和属于包括第一列的块Q区域的后续列(第二列、第三列等)等同地执行去块滤波器。
在图4中，块P区域指的是在空间上与当前执行编码和/或解码的当前目标块的垂直边界或水平边界相邻的块区域，并且示出其中将去块滤波器应用于用于图4中所示的垂直边界的实施例中的块P 410区域的第一行430的示例。
在属于第一行的四个像素(p0、p1、p2、p3)之中，与垂直边界相邻的三个像素(p0、p1、p2)是执行去块滤波的目标像素。
另外，在用于图4中所示的水平边界的一个实施例中，同样在将去块滤波器应用于块P 411区域的第一列431的示例中，与属于第一列的四个像素(p0、p1、p2、p3)之中的水平边界相邻的三个像素(p0、p1、p2)是执行去块滤波的目标像素。
然而，在对相应像素执行去块滤波时，可以通过参考p3的像素值，而不是对其执行去块滤波的目标像素，来执行滤波。
在示出其中将去块滤波器应用于块P区域的示例时，图4以代表性方式示出第一行430和第一列431，并且也对属于包括第一行的块P区域的后续行(第二行、第三行等)和属于包括第一列的块P区域的后续列(第二列、第三列等)执行去块滤波器。
图5示出根据本公开的实施例的解码装置执行的图像解码方法。
根据本公开的实施例的去块滤波过程可以被应用于重构的图片。可以按照与解码过程相同的顺序对重构的图片的每个编译单元(或变换单元)执行去块滤波过程。这里，应用去块滤波的块边界可以被称为边缘。作为实施例，在对垂直边缘执行滤波(水平滤波)后，可以对水平边缘执行滤波(垂直滤波)。去块滤波过程可以被应用于图片的所有编译块(或子块)边缘和变换块边缘。去块滤波过程的输出可以是修改的重构图片(或修改的重构样本/样本阵列)。
参考图5，解码装置可以确定重构图片内的滤波目标边界S500。换句话说，解码装置可以通过划分重构的图片来导出用于滤波的目标边界。
重构的图片可以被划分为预先确定的NxM像素网格(样本网格)。NxM像素网格可以指的是其中执行去块滤波的单元。这里，N和M可以是4、8、16或更大的整数。可以按照分量类型分别定义像素网格。例如，如果分量类型为亮度分量，则N和M可以配置为4，并且如果分量类型为色度分量，则N和M可以配置为8。无论分量类型如何，可以使用固定大小的NxM像素网格。
边缘是位于NxM像素网格上的块边界，并且其可以包括编译块边界、变换块边界、预测块边界或子块边界中的至少一个。另外，解码设备可以在下面的S510之前基于预定义的编码信息来确定是否对目标边界执行滤波。
解码设备可以导出用于目标边界的边界强度(BS)S510。可以基于与目标边界相邻的两个块来导出(或确定)BS。作为实施例，BS可以基于下面的表1来导出。
[表1]
在表1中，p和q表示与目标边界相邻的两个块的样本。例如，p0可以表示与目标边界相邻的左侧或顶部块的样本，并且q0可以表示与目标边界相邻的右侧或底部块的样本。当目标边界的边缘方向是垂直时，p0可以表示与目标边界相邻的左块的样本，并且q0可以表示与目标边界相邻的右块的样本。当目标边界的边缘方向是水平时，p0可以表示与目标边界相邻的顶部块的样本，并且q0可以表示与目标边界相邻的底部块的样本。
参考表1，可以根据颜色分量来确定示出网格大小的变量gridSize。可以根据边缘类型是否为水平或者垂直的基于gridSize值来导出用于确定BS的变量。并且，如在表1的示例中，可以基于各种预定义条件导出BS。作为实施例，预定义的条件可以包括与是否将块差分脉冲编码调制(BDPCM)应用于包括p0或q0的块、包括p0或q0的块的预测模式(帧内预测、帧间预测、CIIP预测、IBC预测等等)、块内是否包括非零变换系数、块的参考图片和块的运动矢量中的至少一个相关的条件。
表1中的示例是示例，并且本公开的实施例不限于此。例如，为了导出BS，可以不考虑表1中包括的一些条件，并且可以另外考虑除了表1中包括的条件之外的其他条件。
另外，根据本公开的实施例，可以基于与目标边界相邻的块之中的至少一个块是否通过分区组合预测被编译来导出用于目标边界的BS。这里，分区组合预测可以表示其中通过组合第一分区的第一预测块和第二分区的第二预测块来执行预测的模式。
换句话说，当前块可以被划分为多个分区，并且最终预测块可以基于划分的分区的预测块的组合(或加权和)来生成。第一预测块和第二预测块可以是在其上执行不同预测的预测块。作为示例，第一预测块和第二预测块中的一个可以是在其上执行帧内预测的预测块，并且另一个可以是在其上执行帧间预测的预测块。作为另一示例，第一预测块和第二预测块中的一个可以是在其上执行帧内预测的预测块，并且另一个可以是在其上执行帧内块复制(IBC)预测的预测块。作为另一示例，第一预测块和第二预测块中的一个可以是在其上执行帧间预测的预测块，并且另一个可以是在其上执行IBC预测的预测块。
可替选地，第一预测块和第二预测块可以是在其上执行相同预测的预测块。第一预测块和第二预测块都可以是在其上执行帧内预测的预测块，或者都可以是在其上执行帧间预测的预测块，或者都可以是在其上执行IBC预测的预测块。
当然，本公开的分区组合预测不限于其名称。在本公开中，分区组合预测可以被称为几何分区模式(GPM)预测、GPM帧内混合预测、GPM帧内预测、GPM帧内组合预测、GPM组合预测、GPM帧间/帧内组合预测、几何分区帧内混合预测等。
分区组合预测在图7中详细描述。并且，下面在图8至图16中详细描述基于与目标边界相邻的块之中的至少一个块是否通过分区组合预测被编译来确定BS的实施例。
解码装置可以基于BS执行滤波S520。作为示例，如果BS值为0，则可以不对目标边界应用滤波。另外，可以基于滤波器强度(强/弱)和/或滤波器长度来执行滤波。
图6是用于描述根据本公开的实施例的用于确定滤波器强度的方法的图。
参考图6，可以基于从量化参数导出的变量来确定(或控制)去块滤波器的滤波器强度。可以基于与图6中所示的目标边界相邻的块内的样本来确定去块滤波器的滤波器强度。具体地，可以基于根据重构样本的亮度水平确定的偏移来确定去块滤波器的滤波器强度。作为实施例，可以通过使用下面的等式1来计算重构样本的亮度水平。
[等式1]
LL＝((p0,0+p0,3+q0,0+q0,3)>>2)/(1<<bitDepth)
在等式1中，样本p和q可以如图6中所示。
图7是用于描述根据本公开的实施例的GPM帧内预测方法的图。
参考图7，当应用GPM帧内预测方法时，可以基于几何分区的分区的预测块来生成预测块。可以通过对分区的预测块进行组合或执行加权和来生成最终预测块。在本公开中，最终预测块可以被称为GPM预测块或GPM帧内预测块。
对于GPM预测块，可以首先如下面表2的语法中那样用信号发送预测信息。
[表2]
merge_gpm_partition_idx[x0][y0] ae(v)
merge_gpm_idx0[x0][y0] ae(v)
如果(MaxNumGpmMergeCand>2)
merge_gpm_idx1[x0][y0] ae(v)
参考表2，可以基于语法元素merge_gpm_partition_idx来指示GPM分区的角度和距离。在一个实施例中，可以根据merge_gpm_partition_idx通过使用表3确定GPM分区的角度和距离。
[表3]
merge_gpm_partition_idx 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
angleIdx 0 0 2 2 2 2 3 3 3 3 4 4 4 4 5 5
distanceIdx 1 3 0 1 2 3 0 1 2 3 0 1 2 3 0 1
merge_gpm_partition_idx 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31
angleIdx 5 5 8 8 11 11 11 11 12 12 12 12 13 13 13 13
distanceIdx 2 3 1 3 0 1 2 3 0 1 2 3 0 1 2 3
merge_gpm_partition_idx 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47
angleIdx 14 14 14 14 16 16 18 18 18 19 19 19 20 20 20 21
distanceIdx 0 1 2 3 1 3 1 2 3 1 2 3 1 2 3 1
merge_gpm_partition_idx 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63
angleIdx 21 21 24 24 27 27 27 28 28 28 29 29 29 30 30 30
distanceIdx 2 3 1 3 1 2 3 1 2 3 1 2 3 1 2 3
可以基于每个GPM分区的分区的预测信息单独地生成预测块。对于传统的GPM方法，仅使用帧间预测来预测每个分区。另一方面，GPM帧内预测，如图7中所示，可以通过组合第一分区的帧内预测器(或帧内预测样本)和第二分区的帧间预测器来生成最终预测样本。相反，可以通过组合第一分区的帧间预测器和第二分区的帧内预测器来生成最终预测样本。
图8是图示用于根据本公开的实施例的确定边界强度的方法的流程图。
根据本公开的实施例，解码设备可以基于与目标边界相邻的块是否通过GPM帧内预测进行编译来确定(或导出)目标边界的边界强度。换句话说，本公开的实施例提出一种用于以块为单元确定目标边界的边界强度以便于将去块滤波应用于通过使用帧内块的GPM预测方法解码的块的方法。
如上所述，现有的GPM预测方法是组合(或加权)通过帧间预测生成的两个预测块的方法，但是这两个预测块是基于从自比特流用信号发送的信息导出的距离和间隔划分的分区的帧间预测块，而GPM帧内预测方法是组合(或加权)通过帧间预测生成的预测块和通过帧内预测生成的预测块的方法，但是帧间/帧内预测块是从自比特流用信号发送的信息导出的距离和角度划分的分区的帧间/帧内预测块。
在后一种情况下，与前者不同，帧内预测可能被用于强烈地引起与相邻块的块伪影，并且这样的块伪影可能导致主观图像质量劣化。因此，为了改进主观图像质量并通过改进主观图像质量来增加压缩性能，本公开的实施例提出一种用于通过GPM帧内预测方法编码/解码的预测块的去块滤波方法。作为实施例，在如上所述的图5的S510中可以包括图8的实施例。
根据本公开的实施例，当GPM帧内预测被应用到与滤波的块边界(即，目标边界)相邻的块之中的至少一个块时，边界强度可以被导出为任意预先确定的值。
参考图8，解码装置可以检查两侧上的两个块之中的至少一个块是否是通过基于目标边界的GPM帧内预测编译的块(S800)。在本公开中，通过GPM帧内预测编译的块可以被称为GPM帧内块、GPM帧内预测块、分区组合块、分区组合预测块等。
如果与目标边界相邻的块之中的至少一个块是GPM帧内块，则解码设备可以将边界强度确定为N S810。这里，N可以是预定义的值。作为示例，如果假定可能的边界强度为0、1以及2，则N可以被定义为2。作为另一示例，如果假定可能的边界强度为0、1、2以及3，则N可以定义为2或3。它不限于此，并且N可以具有预定义的特定值。
如果与目标边界相邻的所有块都不是GPM帧内块，则解码设备可以根据预定义的边界强度确定过程来确定边界强度S820。作为示例，作为用于确定边界强度的过程，可以应用上面图5和/或表1中描述的实施例。
图9是图示根据本公开的实施例的用于确定边界强度的方法的流程图。
根据本公开的实施例，在确定边界强度时，当将GPM帧内预测应用于与被滤波的块边界(即，目标边界)相邻的两侧上的所有块时，可以将边界强度导出为任意确定的值，并且当仅将GPM帧内预测应用于与滤波后的块边界相邻的两侧上的块中的任意一个时，可以将其导出为另一任意确定的值。作为一个实施例，可以在上述图5的S510中包括图9的实施例。
参考图9，解码设备可以基于目标边界来检查两侧上的两个块是否是GPM帧内块S900。
如果与目标边界相邻的所有块都是GPM帧内块，则解码设备可以将边界强度确定为N S910。这里，N可以是预定义值。作为示例，如果假定可能的边界强度为0、1或2，则N可以定义为2。作为另一示例，如果假定可能的边界强度为0、1、2或3，则N可以定义为2或3。它不限于此，并且N可以具有预定义的特定值。
解码设备可以基于目标边界来检查两侧上的两个块之一是否是GPM帧内块(S920)。
如果与目标边界相邻的块之中的一个块是GPM帧内块，则解码设备可以将边界强度确定为M S930。这里，M可以是预定值。作为示例，如果假假定可能的边界强度为0、1或2，则M可以定义为1。换句话说，N可以为2并且M可以为1。作为另一个示例，如果假定可能的边界强度为0、1、2或3，则M可以定义为1或2。它不限于此，并且M可以具有小于(或小于或等于)N的预定义的特定值。
如果与目标边界相邻的所有块都不是GPM帧内块，则解码设备可以根据预定义的边界强度确定过程来确定边界强度S940。作为示例，作为用于确定边界强度的过程，可以应用在上面图5和/或表1中描述的实施例。
图10是图示可以应用本公开的实施例的GPM分区方向的图。
根据本公开的实施例，可以在如图10所示的方向(或角度)上执行GPM分区。如在上面的图7中所述，可以基于距离和角度来应用GPM。作为示例，图10中表达的方向可以对应于上述表3中的angleIdx。
如上所述，基于GPM的预测方法基于角度和距离对两个预测块执行混合。在本公开中，混合可以指的是组合或加权和。因为预测块通过根据角度和距离划分而混合，所以与用于去块滤波的目标边界相邻的块可以是对其执行帧内预测的块或者可以是对其执行帧间预测的块。通过根据本公开中提出的实施例考虑到边界强度来确定边界强度，可以增加主观图像质量并且可以改进压缩性能。
根据上面图5和表1的相关描述中描述的关于边界强度确定的实施例，检查与滤波目标边界相邻的当前块是否在帧内预测模式或者帧间预测模式中编译，并且如果它是帧间预测模式之中的像组合帧间帧内预测(CIIP)那样的帧间预测，但是基于帧间预测块进行混合，可以配置边界强度以确保当前块与帧内预测模式相同。
另一方面，对于GPM帧内预测，用于根据距离或角度计算边界强度的目标边界可以是帧内预测块或帧间预测块。因此，不是对应用GPM帧内预测的所有块等同地(或均匀地)配置边界强度，而是可以通过考虑分区边界自适应地导出边界强度来改进主观图像质量。下面参考附图进行描述。
图11和图12是图示根据本公开的实施例的用于确定目标边界的边界强度的方法的图。
图11假定边缘是在垂直方向中，并且图12假定边缘是在水平方向中。图11假定垂直边缘1100的左块是GPM帧内块，并且图12假定水平边缘1200的底部块是GPM帧内块。并且，图11和图12中从1至8进行编号的目标边界的相邻区域表示在用于计算边界强度的单元中划分的单元。这里，用于计算边界强度的单元可以被配置为预定义的特定值。例如，特定值可以被定义为用于存储运动信息的单元或最小编译块大小等。在本公开中，为了描述方便，假定用于计算边界强度的单元是4样本单元。
参考图11，当应用用于垂直边缘1100的边界强度确定过程时，块1至块6表示帧间预测区域，并且块7和块8表示帧内预测区域。在这种情况下，对于块1至块6，应用用于处理帧间预测边界的方法可能是有效的，并且对于块7和块8，应用用于处理帧内预测边界的方法可能是有效的。
换句话说，对于GPM帧内预测，基于GPM分区边界的与滤波目标边界相邻的块可以被分类为通过帧间预测或帧内预测编译的块，并且因此，目标边界的边界强度可以被确定。作为示例，可以应用在上面图5和/或表1中描述的实施例。另外，作为另一示例，块1至块5被处理为其中与目标边界相邻的块是帧内预测块的情况，并且块7和块8被处理为其中与目标边界相邻的块是帧间预测块的情况，但是块6可以被分类为第三种情况以确定边界强度。换句话说，可以仅针对块6单独定义用于确定边界强度的过程。
参考图12，其示出其中以与图11中相同的方式对应用了GPM的块的水平边缘1200应用边界强度确定过程的情况。这是以与图11中相同的方式处理应用了GPM的块边界的过程，但是根据GPM的角度和方向，水平边缘1200可以不与使用帧内预测的区域的边界相邻。在这种情况下，基于是否是GPM帧内预测块来以块为单元进行处理以具有相同的边界强度可能导致滤波效率降低。
因此，在确定边界强度时，可以考虑GPM分区边界是否与目标边界接壤。可替选地，在确定边界强度时，即使GPM帧内块与目标边界相邻，也可以在边界强度确定单元中考虑与目标边界相邻的块是否为帧内预测块或者帧间预测块。换句话说，即使GPM帧内块与目标边界相邻，也可以在边界强度确定单元中基于与目标边界相邻的块是否为帧内预测块或者帧间预测块来导出边界强度。
例如，即使与目标边界相邻的至少一个块是GPM帧内块，如果相应的GPM帧内块的分区边界不与目标边界相邻，则可以基于与目标边界相邻的块是否为帧内预测块或帧间预测块来另外确定边界强度。
图13是图示根据本公开的实施例的用于确定边界强度的方法的流程图。
根据本公开的实施例，可以通过使用为应用了GPM的块存储的预测信息来确定边界强度。作为实施例，预测信息可以被包括或存储在缓冲区、存储器、列表、表格等中。解码设备可以基于存储在缓冲区中的预测信息来计算边界强度，即，是否执行帧内预测或帧间预测。另外，解码设备可以针对应用了GPM的块以子块为单元计算边界强度。
参考图13，解码设备可以初始化子块索引并开始以子块为单元的边界强度确定过程S1300。在这种情况下，可以通过在边界强度确定单元中根据是否为水平边缘或者垂直边缘来划分子块的数量来确定子块的数量。边界强度确定单元可以被配置为预定义的特定值。例如，特定值可以被定义为用于存储运动信息的单元或最小编译块大小等。可替选地，例如，边界强度确定单元可以是4样本单元。
解码设备可以在按升序增加索引值的同时以与子块的数量一样多的子块为单元执行边界强度确定过程S1310。
解码设备可以检查为目标边界两侧上的子块中的至少一个存储的预测信息(或运动信息)是否包括帧内预测信息S1320。在图13中，MotionInfo[]表示在指定位置处存储预测信息(或运动信息)的缓冲区。当滤波目标边界为垂直边缘时，P表示目标边界的左侧位置处的像素，并且当目标边界为水平边缘时，P表示目标边界的顶部位置处的像素。当滤波目标边界为垂直边缘时，Q表示在目标边界的右侧位置处的像素，并且当目标边界为水平边缘时，Q表示目标边界的底部位置处的像素。
如果为至少一个子块存储的预测信息包括帧内预测信息，则解码设备可以将边界强度确定为N S1330。这里，N可以是预定义值。作为示例，如果假定可能的边界强度为0、1或2，则N可以定义为2。作为另一示例，如果假定可能的边界强度为0、1、2或3，则N可以定义为2或3。其不限于此，并且N可以具有预定义的特定值。
如果为至少一个子块存储的预测信息不包括帧内预测信息，则解码设备可以根据预定义的边界强度确定过程来确定边界强度S1340。作为示例，作为用于确定边界强度的过程，可以应用上面图5和/或表1中描述的实施例。在下面的图15和图16中，进一步描述以子块为单元确定边界强度的实施例。
图14是图示根据本公开的实施例的用于确定边界强度的方法的流程图。
参考图14，解码设备可以初始化子块索引并开始以子块为单元的边界强度确定过程S1400。在这种情况下，可以通过在边界强度确定单元中根据是否为水平边缘或者垂直边缘来划分子块的数量来确定子块的数量。边界强度确定单元可以被配置为预定义的特定值。例如，特定值可以被定义为用于存储运动信息的单元或最小编译块大小等。可替选地，例如，边界强度确定单元可以是4样本单元。
解码设备可以在以升序增加索引值的同时以与子块的数量一样多的子块为单元执行边界强度确定过程S1410。
解码设备可以检查为目标边界的两侧上的子块存储的预测信息(或运动信息)是否包括帧内预测信息S1420。在图14中，MotionInfo[]表示在指定位置处存储预测信息(或运动信息)的缓冲区。当滤波的目标边界为垂直边缘时，P表示在目标边界的左侧位置处的像素，并且当目标边界为水平边缘时，P表示在目标边界的顶部位置处的像素。当滤波的目标边界为垂直边缘时，Q表示在目标边界的右侧位置处的像素，并且当目标边界为水平边缘时，Q表示在目标边界的底部位置处的像素。
如果为目标边界的两侧上的子块存储的预测信息(或运动信息)包括帧内预测信息，则解码设备可以将边界强度确定为N S1430。这里，N可以是预定义值。作为示例，如果假定可能的边界强度为0、1或2，则N可以被定义为2。作为另一示例，如果假定可能的边界强度为0、1、2或3，则N可以定义为2或3。其不限于此，并且N可以具有预定义的特定值。
如果为目标边界的两侧上的子块存储的预测信息(或运动信息)不包括帧内预测信息，则解码设备可以检查是否为目标边界的两侧上的子块之一存储的预测信息包括帧内预测信息S1440。
如果为目标边界的两侧上的子块之一存储的预测信息包括帧内预测信息，则解码设备可以将边界强度确定为M S1450。这里，M可以是预定值。作为示例，如果假定可能的边界强度为0、1或2，则M可以定义为1。换句话说，N可以为2并且M可以为1。作为另一个示例，如果假定可能的边界强度为0、1、2或3，则M可以定义为1或2。它不限于此，并且M可以具有小于(或小于等于)N的预定义的特定值。
如果为两侧上的所有子块存储的预测信息不包括帧内预测信息，则解码设备可以根据预定义的边界强度确定过程来确定边界强度S1460。作为示例，作为确定边界强度的过程，可以应用上面图5和/或表1中描述的实施例。
在实施例中，在上面图13和图14中描述的运动向量存储是存储关于在帧间预测模式中编译的块的信息的缓冲区，并且其可以与存储帧内预测模式信息的缓冲区不同。作为示例，在存储关于通过帧间预测编译的块的信息的过程中，可以为GPM帧内块存储帧内预测模式。
图15是用于描述根据本公开的实施例的用于确定以子块为单元的边界强度的方法的图。
根据本公开的实施例，能够以子单元的大小单元和表示按照每个分量预定义的网格大小的变量gridSize来导出用于确定边界强度的单元，如上面在图5和表1中所描述的。
参考图15，解码设备可以确定用于导出如图15所示的边界强度的单元。例如，当假定如图15所示的垂直边缘时，意指网格大小的gridSize可以被定义为用于检测要滤波的垂直边界的单元。在图15中，导出的以子块(或子单元)为单元划分滤波的垂直边缘的单元表示在导出yDj的值的过程中的值(j<<2)或(j<<1)。作为示例，用于亮度分量的子块(单元)的大小可以被配置为4个像素，并且用于色度分量的子块(单元)的大小可以被配置为2个像素。
图16是用于描述根据本公开的实施例的用于确定以子块为单元的边界强度的方法的图。
图16是用于描述在不考虑基于GPM角度和距离的划分区域的情况下以预定义的子块为单元计算边界强度所引起的问题的图。考虑到GPM角度和距离，一个编译块可以被划分为两个区域，并且在这种情况下，以预定义的子单元为单元可能无法准确导出划分两个区域的边界。
根据本公开的实施例，可以基于GPM角度和距离自适应地导出子块的单元以更有效地考虑划分的区域。作为实施例，可以如下表4自适应地确定子块的大小。
[表4]
在表4中，N和M可以是预定义的。例如，N可以分别具有1、2、4、8和16的值。M可以分别具有1、2、4、8和16的值。能够以基本相同的方式应用上面在表1中描述的实施例，并且省略与其相关的重复描述。
另外，根据本公开的实施例，边界强度可以具有比现有技术更自适应的值，因此为了支持这一点，执行滤波的单元也可以被定义为要执行为自适应单元，如下表5所示。换句话说，可以通过考虑边界强度导出单元来执行滤波。
[表5]
在表5中，可以定义表示子单元(或子块)的单元的变量subUnitGrid。能够以基本相同的方式应用上面在表1中描述的实施例，并且省略与其相关的重复描述。
图17示出执行根据本公开的实施例的图像解码方法的滤波单元的大致配置。
参考图17，滤波单元350可以包括目标边界确定单元1700、BS导出单元1710和滤波单元1720。
目标边界确定单元1700可以确定重构图片内的滤波目标边界。换句话说，目标边界确定单元1700可以通过划分重构图片来导出用于滤波的目标边界。
如上所述，重构的图片可以被分区成预先确定的NxM像素网格(样本网格)。NxM像素网格可以指的是执行去块滤波的单元。这里，N和M可以是4、8、16或更大的整数。可以按照分量类型分别定义像素网格。例如，如果分量类型为亮度分量，则N和M可以配置为4，并且如果分量类型为色度分量，则N和M可以配置为8。无论分量类型如何，可以使用固定大小的NxM像素网格。
在这种情况下，边缘是位于NxM像素网格上的块边界，并且可以包括编译块边界、变换块边界、预测块边界或子块边界中的至少一个。另外，解码设备可以在导出下面的BS之前基于预定义的编码信息来确定是否对目标边界执行滤波。
BS导出单元1710可以导出用于目标边界的边界强度(BS)。可以基于与目标边界相邻的两个块来导出(或确定)BS。作为实施例，可以基于与目标边界相邻的块之中的至少一个块是否通过分区组合预测被编译来确定BS。在导出BS时，可以应用上面在图8至图16中描述的方法。
滤波单元1720可以基于BS执行滤波。作为示例，如果BS值为0，则可以不对目标边界应用滤波。另外，可以基于滤波器强度(强/弱)和/或滤波器长度来执行滤波。
图18示出根据本公开的实施例的编码设备执行的图像编码方法。
在下文中，通过参考上面图1至图16描述的图像解码方法可以被等同地/类似地应用于根据本公开的图像编码方法，并且省略重复的描述。
参考图18，编码设备(即，编码器)可以确定重构的图片内的滤波目标边界S1800。换句话说，编码设备可以通过划分重构的图片来导出用于滤波的目标边界。
如上所述，重构的图片可以被分区成预先确定的NxM像素网格(样本网格)。NxM像素网格可以指的是执行去块滤波的单元。这里，N和M可以是4、8、16或更大的整数。可以针对按照分量类型分别定义像素网格。例如，如果分量类型为亮度分量，则N和M可以配置为4，并且如果分量类型为色度分量，则N和M可以配置为8。无论分量类型如何，可以使用固定大小的NxM像素网格。
在这种情况下，边缘是位于NxM像素网格上的块边界，并且可以包括编译块边界、变换块边界、预测块边界或子块边界中的至少一个。另外，编码设备可以在下面的S1810之前基于预定义的编码信息来确定是否对目标边界执行滤波。
编码设备可以导出用于目标边界的边界强度(BS)S1810。BS可以基于与目标边界相邻的两个块来导出(或确定)。作为实施例，可以基于与目标边界相邻的块之中的至少一个块是否通过分区组合预测被编译来确定BS。在导出BS时，在上面图1至图18中的描述的方法可以等同地应用。
编码设备可以基于BS执行滤波S1820。作为示例，如果BS值为0，则可以不对目标边界应用滤波。另外，可以基于滤波器强度(强/弱)和/或滤波器长度来执行滤波。
图19示出执行根据本公开的实施例的图像编码方法的滤波单元的粗略配置。
参考图19，滤波单元260可包括目标边界确定单元1900、BS导出单元1910和滤波单元1920。
目标边界确定单元1900可以确定重构图片内的滤波目标边界。换句话说，目标边界确定单元1900可以通过划分重构图片来导出用于滤波的目标边界。
如上所述，重构图片可以被分区成预先确定的NxM像素网格(样本网格)。NxM像素网格可以指的是执行去块滤波的单元。这里，N和M可以是4、8、16或更大的整数。可以按照分量类型分别定义像素网格。例如，如果分量类型为亮度分量，则N和M可以被配置为4，并且如果分量类型为色度分量，则N和M可以被配置为8。无论分量类型如何，可以使用固定大小的NxM像素网格。
在这种情况下，边缘是位于NxM像素网格上的块边界，并且可以包括编译块边界、变换块边界、预测块边界或子块边界中的至少一个。另外，解码设备可以在导出下面的BS之前基于预定义的编码信息来确定是否对目标边界执行滤波。
BS导出单元1910可以导出用于目标边界的边界强度(BS)。可以基于与目标边界相邻的两个块来导出(或确定)BS。作为实施例，可以基于与目标边界相邻的块之中的至少一个块是否通过分区组合预测被编译来确定BS。在导出BS中，可以应用在上面图8至图16中描述的方法。
滤波单元1920可以基于BS执行滤波。作为示例，如果BS值为0，则可以不对目标边界应用滤波。另外，可以基于滤波器强度(强/弱)和/或滤波器长度来执行滤波。
在上述实施例中，基于流程图将方法描述为一系列步骤或框，但是相应的实施例不限于步骤的顺序，并且一些步骤可以同时发生或者以与如上所述的其他步骤不同的顺序发生。另外，本领域的技术人员可以理解，流程图所示的步骤并不是排他性的，并且在不影响本公开的实施例的范围的情况下可以包括其他步骤或者可以删除流程图中的一个或多个步骤。
根据本公开的实施例的上述方法能够以软件的形式实现，并且根据本公开的编码设备和/或解码设备可以被包括在执行图像处理的设备中，诸如TV、电脑、智能手机、机顶盒、显示设备等。
在本公开中，当实施例被实现为软件时，上述方法可以被实现为执行上述功能的模块(进程、功能等)。模块可以存储在存储器中并且可以由处理器执行。存储器可以位于处理器内部或外部，并且可以通过各种众所周知的手段连接到处理器。处理器可以包括专用集成电路(ASIC)、另一芯片组、逻辑电路和/或数据处理设备。存储器可以包括只读存储器(ROM)、随机存取存储器(RAM)、闪存、存储器卡、存储介质和/或其他存储设备。换句话说，本文描述的实施例可以通过在处理器、微处理器、控制器或芯片上实现来执行。例如，每个附图中所示的功能单元可以通过在计算机、处理器、微处理器、控制器或芯片上实现来执行。在这种情况下，用于实现的信息(例如，关于指令的信息)或算法可以被存储在数字存储介质中。
另外，应用本公开的实施例的解码设备和编码设备可以被包括在多媒体广播发送和接收设备、移动通信终端、家庭影院视频设备、数字影院视频设备、监控摄像头、视频会话设备、如视频通信的实时通信设备、移动流传输设备、存储介质、摄像机、用于提供视频点播(VoD)服务的设备、顶置视频(OTT)设备、用于提供互联网流传输服务的设备、三维(3D)视频设备、虚拟现实(VR)设备、增强现实(AR)设备、可视电话视频设备、运输工具终端(例如，车辆(包括自动驾驶车辆)终端、飞机终端、轮船终端等)和医疗视频设备等，可以被用于处理视频信号或数据信号。例如，顶置视频(OTT)设备可以包括游戏控制台、蓝光播放器、联网的TV、家庭影院系统、智能手机、平板电脑、数字录像机(DVR)等等。
另外，应用本公开的实施例的处理方法能够以由计算机执行的程序的形式产生，并且可以被存储在计算机可读记录介质中。具有根据本公开的实施例的数据结构的多媒体数据也可以存储在计算机可读记录介质中。计算机可读记录介质包括存储计算机可读数据的所有类型的存储设备和分布式存储设备。计算机可读记录介质可以包括例如蓝光盘(BD)、通用串行总线(USB)、ROM、PROM、EPROM、EEPROM、RAM、CD-ROM、磁带、软盘以及光学媒体存储设备。另外，计算机可读记录介质包括以载波形式实现的介质(例如，经由互联网传输)。另外，通过编码方法生成的比特流可以被存储在计算机可读记录介质中或者可以通过有线或无线通信网络来发送。
另外，本公开的实施例可以通过程序代码由计算机程序产品来实现，并且该程序代码可以由本公开的实施例在计算机上执行。该程序代码可以存储在计算机可读载体上。
图20示出可以应用本公开的实施例的内容流传输系统的示例。
参考图20，应用本公开的实施例的内容流传输系统可以主要包括编码服务器、流传输服务器、web服务器、媒体存储、用户设备和多媒体输入设备。
编码服务器通过将从诸如智能手机、相机、摄像机等的多媒体输入设备输入的内容压缩成数字数据来生成比特流，并将其发送到流传输服务器。作为另一示例，当诸如智能手机、相机、摄像机等的多媒体输入设备直接生成比特流时，可以省略编码服务器。
可以通过应用本公开的实施例的编码方法或比特流生成方法来生成比特流，并且流传输服务器可以在发送或接收比特流的过程中临时存储比特流。
流传输服务器基于用户的请求通过web服务器将多媒体数据发送到用户设备，并且web服务器用作通知用户什么服务可用的媒介。当用户向web服务器请求所需的服务时，web服务器将其递送到流传输服务器，并且流传输服务器将多媒体数据发送给用户。在这种情况下，内容流传输系统可以包括单独的控制服务器，并且在这种情况下，控制服务器控制内容流传输系统中的每个设备之间的命令/响应。
流传输服务器可以从媒体存储和/或编码服务器接收内容。例如，当从编码服务器接收内容时，可以实时接收内容。在这种情况下，为了提供平滑的流媒体服务，流传输服务器可以在某个时间段内存储比特流。
用户设备的示例可以包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航、平板PC、平板电脑、超级本、可穿戴设备(例如，智能手表、智能眼镜、头戴式显示器(HMD)、数字电视、台式机、数字标牌等)。
内容流传输系统中的每个服务器可以被操作为分布式服务器，并且在这种情况下，从每个服务器接收到的数据可以被分发和处理。
本文阐述的权利要求能够以各种方式组合。例如，本公开的方法权利要求的技术特征可以组合并实现为设备，并且本公开的设备权利要求的技术特性可以被组合并实现为方法。另外，本公开的方法权利要求的技术特性和设备权利要求的技术特性可以组合并实现为设备，并且本公开的方法权利要求的技术特性和设备权利要求的技术特性可以被组合并实现为方法。

Claims (13)

1.一种图像解码方法，所述方法包括：
通过对重构图片进行划分来确定用于滤波的目标边界；
基于与所述目标边界相邻的块之中的至少一个块是否通过分区组合预测进行编译来导出用于所述目标边界的边界强度，其中所述分区组合预测表示通过组合第一分区的第一预测块和第二分区的第二预测块来执行预测的模式；以及
基于所述边界强度，对所述目标边界执行滤波。
2.根据权利要求1所述的方法，其中：
所述第一预测块和所述第二预测块是其中执行不同预测的预测块。
3.根据权利要求2所述的方法，其中：
所述第一预测块和所述第二预测块中的一个是其中执行帧内预测的预测块，并且另一个是其中执行帧间预测的预测块。
4.根据权利要求1所述的方法，其中：
所述第一预测块和所述第二预测块是其中执行相同预测的预测块。
5.根据权利要求1所述的方法，其中：
当通过所述分区组合预测对与所述目标边界相邻的所述块之中的所述至少一个块进行编译时，导出所述边界强度作为预先确定的第一值。
6.根据权利要求1所述的方法，其中：
当与所述目标边界相邻的所有块都通过所述分区组合预测进行编译时，导出所述边界强度作为预先确定的第二值，
当通过所述分区组合预测仅对与所述目标边界相邻的所述块之中的一个块进行编译时，导出所述边界强度作为预先确定的第三值。
7.根据权利要求1所述的方法，其中：
导出所述边界强度包括确定与所述目标边界相邻的所述块之中的当前块是否是通过所述分区组合预测来编译的。
8.根据权利要求7所述的方法，其中：
基于为所述当前块存储的运动向量来确定所述当前块是否通过所述分区组合预测被编译。
9.根据权利要求1所述的方法，其中：
基于编译信息来自适应地确定与所述目标边界相邻的块的宽度和高度。
10.根据权利要求9所述的方法，其中：
所述编译信息包括与所述目标边界相邻的所述块的大小、预先确定的网格的大小、用于所述分区组合预测的分区划分角度或用于所述分区组合预测的分区划分距离中的至少一个。
11.一种图像编码方法，所述方法包括：
通过划分重构图片来确定用于滤波的目标边界；
基于与所述目标边界相邻的所述块之中的至少一个块是否通过分区组合预测编译来导出用于所述目标边界的边界强度，其中所述分区组合预测表示通过组合第一分区的第一预测块和第二分区的第二预测块来执行预测的模式；以及
基于所述边界强度对所述目标边界执行滤波。
12.一种计算机可读存储介质，所述计算机可读存储介质存储通过根据权利要求11所述的图像编码方法生成的比特流。
13.一种用于发送用于图像信息的数据的方法，所述方法包括：
通过划分重构图片来确定用于滤波的目标边界；
基于与所述目标边界相邻的块之中的至少一个块是否通过分区组合预测编译来导出用于目标边界的边界强度，其中所述分区组合预测表示通过组合第一分区的第一预测块和第二分区的第二预测块来执行预测的模式；
基于所述边界强度，对所述目标边界执行滤波；
通过基于滤波的重构图片对当前块进行编码来生成比特流；以及
发送包括所述比特流的数据。
CN202280080390.0A 2021-12-06 2022-12-05 图像编码/解码方法和设备以及其中存储比特流的记录介质 Pending CN118355664A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2021-0173189 2021-12-06
KR20210173189 2021-12-06
PCT/KR2022/019607 WO2023106761A1 (ko) 2021-12-06 2022-12-05 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체

Publications (1)

Publication Number Publication Date
CN118355664A true CN118355664A (zh) 2024-07-16

Family

ID=86730875

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280080390.0A Pending CN118355664A (zh) 2021-12-06 2022-12-05 图像编码/解码方法和设备以及其中存储比特流的记录介质

Country Status (4)

Country Link
EP (1) EP4447455A1 (zh)
KR (1) KR20240121215A (zh)
CN (1) CN118355664A (zh)
WO (1) WO2023106761A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110123651A (ko) * 2010-05-07 2011-11-15 한국전자통신연구원 생략 부호화를 이용한 영상 부호화 및 복호화 장치 및 그 방법
CN109547787A (zh) * 2011-11-04 2019-03-29 Lg 电子株式会社 用于编码/解码图像信息的方法和装置
CN112514402B (zh) * 2018-07-30 2024-08-02 三星电子株式会社 用于图像编码的方法和设备以及用于图像解码的方法和设备
JP2022513433A (ja) * 2018-12-11 2022-02-08 インターデジタル ヴイシー ホールディングス， インコーポレイテッド 画像をデブロッキングするための方法及び装置
CN113330743A (zh) * 2019-01-25 2021-08-31 华为技术有限公司 编码器、解码器及去块效应滤波器自适应的对应方法

Also Published As

Publication number Publication date
KR20240121215A (ko) 2024-08-08
WO2023106761A1 (ko) 2023-06-15
EP4447455A1 (en) 2024-10-16

Similar Documents

Publication Publication Date Title
EP3944618B1 (en) Transform for matrix-based intra-prediction in image coding
KR20230159640A (ko) 변환에 기반한 영상 코딩 방법 및 그 장치
CN112956201B (zh) 使用句法来执行编码的句法设计方法和设备
CN113491115B (zh) 基于cclm预测的图像解码方法及其装置
EP3952313B1 (en) Transform in intra prediction-based image coding
CN113767625B (zh) 基于mpm列表的帧内预测方法及其设备
CN113273192B (zh) 使用mpm列表的基于帧内预测的视频编码方法及装置
CN113853797A (zh) 使用变换索引的图像编码
CN114128276A (zh) 图像编译中指示变换核集的信息的信令
CN114127789A (zh) 关于变换核集的信息的编译
CN114258677A (zh) 编译色度量化参数偏移相关信息的图像解码方法和设备
CN113316938B (zh) 使用去块滤波的图像编译方法和装置
CN114556949B (zh) 帧内预测装置和方法
CN114600451A (zh) 基于矩阵帧内预测的图像编码设备和方法
CN113812156B (zh) 在视频编译系统中使用简化的残差数据编译解码视频的方法及其设备
CN114128267A (zh) 图像编译系统中用于关于变换核集的信息的上下文编译
CN112840649A (zh) 图像编码系统中通过使用块分割对图像解码的方法及其装置
CN113273210B (zh) 用于编译关于合并数据的信息的方法和装置
CN118355664A (zh) 图像编码/解码方法和设备以及其中存储比特流的记录介质
EP4459988A1 (en) Image encoding/decoding method and device, and recording medium on which bitstream is stored
CN118661417A (zh) 图像编码/解码方法和装置以及具有存储在其中的比特流的记录介质
CN118476218A (zh) 图像编码/解码方法和装置及存储比特流的记录介质
CN118525517A (zh) 图像编码/解码方法和设备及存储有比特流的记录介质
CN118679737A (zh) 图像编码/解码方法和设备以及在其上存储比特流的记录介质
CN118525508A (zh) 图像编码/解码方法和装置及存储比特流的记录介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication