CN113316938A - 使用去块滤波的图像编译方法和装置 - Google Patents

使用去块滤波的图像编译方法和装置 Download PDF

Info

Publication number
CN113316938A
CN113316938A CN202080010032.3A CN202080010032A CN113316938A CN 113316938 A CN113316938 A CN 113316938A CN 202080010032 A CN202080010032 A CN 202080010032A CN 113316938 A CN113316938 A CN 113316938A
Authority
CN
China
Prior art keywords
block
boundary
prediction
prediction mode
boundary strength
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080010032.3A
Other languages
English (en)
Other versions
CN113316938B (zh
Inventor
张炯文
南廷学
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Priority to CN202311591779.4A priority Critical patent/CN117676169A/zh
Publication of CN113316938A publication Critical patent/CN113316938A/zh
Application granted granted Critical
Publication of CN113316938B publication Critical patent/CN113316938B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

根据本文件，一种解码装置通过其对图像进行解码的方法包括以下步骤：基于编译块的预测样本来生成重建图片；导出所述重建图片中的所述编译块的边界的边界强度(BS)；基于所述边界强度来对所述编译块的边界执行去块滤波；以及基于所述去块滤波来导出针对所述重建图片的修改后的重建图片，其中，所述边界强度是基于与所述编译块的边界相邻的第一块和第二块的预测模式而导出的，并且所述第一块或所述第二块的预测模式是基于所述第一块或所述第二块的预测模式是否是要参考当前图片编译的当前图片参考(CPR)模式而导出的。

Description

使用去块滤波的图像编译方法和装置
技术领域
本文件涉及图像编译(coding)技术，并且更具体地，涉及使用去块滤波处理的图像编译方法和设备。
背景技术
近来在各种领域中对诸如超高清(HUD)图像和4K或8K或更大视频这样的高分辨率且高质量的图像和视频的需求日益增加。随着图像和视频数据变成高分辨率和高质量，与现有图像和视频数据相比，相对发送的信息量或位数增加。因此，如果使用诸如现有有线或无线宽带线这样的介质来传输图像数据或者使用现有存储介质来存储图像和视频数据，则传输成本和存储成本增加。
此外，近来对诸如虚拟现实(VR)、人工现实(AR)内容或全息图这样的沉浸式媒体的兴趣和需求日益增加。诸如游戏图像这样的图像特性与真实图像的图像特性不同的图像和视频的广播日益增加。
因此，为了有效地压缩并传输或存储并回放具有这样的各种特性的高分辨率且高质量的图像和视频的信息，需要高效的图像和视频压缩技术。
发明内容
技术问题
本文件的一个目的是为了提供用于提高图像编译效率的方法和设备。
本文件的另一目的是为了提供用于改善图像的图像质量的方法和设备。
本文件的再一目的是为了提供用于在执行去块滤波处理的过程中考虑到块的特性来设计边界强度的方法和设备。
技术方案
本文件的示例性实施方式提供了一种由解码(decoding)设备执行的图像解码方法。该方法包括：基于编译块的预测样本来生成重构图片，导出重构图片中的编译块的边界的边界强度(bs)，基于边界强度来对编译块的边界执行去块滤波，以及基于去块滤波来导出针对重构图片的修改后的重构图片，其中边界强度是基于与编译块的边界相邻的第一块和第二块的预测模式而导出的，并且是基于第一块的预测模式或第二块的预测模式是否是参考当前图片编译的当前图片参考(CPR)模式而导出的。
本文件的另一示例性实施方式提供了一种由编码(encoding)设备执行的图像编码方法。该方法包括：基于编译块的预测样本来生成重构图片，导出重构图片中的编译块的边界的边界强度(bs)，基于边界强度来对编译块的边界执行去块滤波，基于去块滤波来导出针对重构图片的修改后的重构图片，以及对包括关于编译块的信息的图像信息进行编码，其中边界强度是基于与编译块的边界相邻的第一块和第二块的预测模式而导出的，并且是基于第一块的预测模式或第二块的预测模式是否是参考当前图片编译的当前图片参考(CPR)模式而导出的。
本公开的再一示例性实施方式提供了一种用于存储使图像解码方法被执行的编码图像信息的数字存储介质，作为计算机可读数字存储介质。
有益效果
本文件可以提高整体图像/视频压缩效率。
本文件可以提高图像/视频的图像质量。
本文件可以在执行去块滤波处理的过程中考虑到块的特性来设计边界强度以高效地去除块之间的边界的伪影，从而改善主观/客观图像质量。
附图说明
图1示意性地例示了适用于本文件的示例性实施方式的视频/图像编译系统的示例。
图2是用于示意性地说明适用于本文件的示例性实施方式的视频/图像编码设备的配置的示图。
图3是用于示意性地说明适用于本文件的示例性实施方式的视频/图像解码设备的配置的示图。
图4例示了本文件的示例性实施方式适用于的示意性图片解码过程的示例。
图5例示了本文件的示例性实施方式适用于的示意性图片编码过程的示例。
图6示例性地例示了用于执行去块滤波处理的方法的示例性实施方式。
图7是示意性地例示了根据本文件的示例性实施方式的可以由编码设备执行的编码方法的流程图。
图8是示意性地例示了根据本文件的示例性实施方式的可以由解码设备执行的解码方法的流程图。
图9例示了本文件中公开的示例性实施方式适用于的内容流传输系统的示例。
具体实施方式
该文件可以以各种方式修改并且可以具有各种实施方式，并且特定的实施方式将在附图中例示并详细地描述。然而，这并不旨在将该文件限制于特定实施方式。本说明书中通常使用的术语用于描述特定的实施方式，而不是用来限制该文件的技术精神。除非在上下文中另外明确表示，否则单数的表述包括复数的表述。该说明书中的诸如“包括”或“具有”这样的术语应该被理解为指示存在本说明书中描述的特性、数字、步骤、操作、元件、组件或其组合，而没有排除存在或添加一个或更多个特性、数字、步骤、操作、元件、组件或其组合的可能性。
此外，为了便于与不同特征功能相关的描述，独立地例示了该文件中描述的附图中的元件。这并不意指各个元件被实现为单独的硬件或单独的软件。例如，至少两个元件可以被组合，以形成单个元件，或者单个元件可以被划分成多个元件。其中元件被组合和/或分开的实施方式也被包括在该文件的权利范围内，除非它偏离了该文件的实质。
下文中，参照附图更具体地描述该文件的优选实施方式。下文中，在附图中，相同的附图标记被用于相同的元件，并且可以省略对相同元件的冗余描述。
图1示意性地例示了可以应用该文件的实施方式的视频/图像编码系统的示例。
参照图1，视频/图像编码系统可以包括第一装置(源装置)和第二装置(接收装置)。源装置可以经由数字存储介质或网络以文件或流传输的形式将编码后的视频/图像信息或数据传递到接收装置。
源装置可以包括视频源、编码设备和发送器。接收装置可以包括接收器、解码设备和渲染器。编码设备可以被称为视频/图像编码设备，并且解码设备可以被称为视频/图像解码设备。发送器可以被包括在编码设备中。接收器可以被包括在解码设备中。渲染器可以包括显示器，并且显示器可以被配置为单独的装置或外部组件。
视频源可以通过捕获、合成或生成视频/图像的处理来获得视频/图像。视频源可以包括视频/图像捕获装置和/或视频/图像生成装置。视频/图像捕获装置可以包括例如一个或更多个相机、包括先前捕获的视频/图像的视频/图像档案等。视频/图像生成装置可以包括例如计算机、平板计算机和智能电话，并且可以(电子地)生成视频/图像。例如，可以通过计算机等生成虚拟视频/图像。在这种情况下，视频/图像捕获处理可以被生成相关数据的处理取代。
编码设备可以对输入视频/图像进行编码。编码设备可以执行诸如针对压缩和编译效率的预测、变换和量化这样的一系列过程。编码后的数据(编码后的视频/图像信息)可以以比特流的形式输出。
发送器可以通过数字存储介质或网络以文件或流传输的形式将以比特流的形式输出的编码后的视频/图像信息或数据发送到接收装置的接收器。数字存储介质可以包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等这样的各种存储介质。发送器可以包括用于通过预定文件格式生成媒体文件的元件，并且可以包括用于通过广播/通信网络进行发送的元件。接收器可以接收/提取比特流，并且将接收/提取的比特流发送到解码设备。
解码设备可以通过执行与编码设备的操作对应的诸如反量化、逆变换、预测等这样的一系列过程来解码视频/图像。
渲染器可以渲染解码后的视频/图像。可以通过显示器显示渲染后的视频/图像。
本文件涉及视频/图像编译。例如，本文件中公开的方法/实施方式可以应用于以通用视频编译(VVC)标准、基本视频编译(EVC)标准、AOMedia Video 1(AV1)标准、第二代音频视频编译标准(AVS2)或下一代视频/图像编译标准(例如，H.267或H.268等)公开的方法。
在本文件中，可以提供与视频/图像编译相关的各种实施方式，并且除非相反地指定，否则这些实施方式可以被彼此组合并执行。
在本文件中，视频可以意指随时间推移的一系列图像的集合。通常，图片意指表示特定时间区域的图像的单元，并且切片/图块(tile)是构成编译中的图片的一部分的单元。切片/图块可以包括一个或更多个编译树单元(CTU)。一幅图片可以由一个或更多个切片/图块构成。一幅图片可以由一个或更多个图块组构成。一个图块组可以包括一个或更多个图块。块部(brick)可以表示图片中的图块内的CTU行的矩形区域。图块可以被分割成多个块部，各块部由图块内的一个或更多个CTU行组成。没有被分割成多个块部的图块也可以称为块部。块部扫描可以是如下的分割图片的CTU的特定顺序排序：在块部中按CTU光栅扫描对CTU进行连续排序，按图块的块部的光栅扫描对图块内的块部进行连续排序，并且按图片的图块的光栅扫描对图片中的图块进行连续排序。图块是图片中的特定图块列和特定图块行内的CTU的矩形区域。图块列是CTU的高度等于图片的高度并且宽度由图片参数集中的语法元素指定的矩形区域。图块行是CTU的高度由图片参数集中的语法元素指定并且宽度等于图片的宽度的矩形区域。图块扫描可以是以下的分割图片的CTU的特定顺序排序：可以在图块中按CTU光栅扫描对CTU进行连续排序，而可以按图片的图块的光栅扫描对图片中的图块进行连续排序。切片包括图片的可以被排他性地包含在单个NAL单元中的整数个块部。切片可以由多个完整图块组成或者仅由一个图块的连续序列的完整块部组成。在本文件中，可以将图块组与切片彼此互换地使用。例如，在本文件中，图块组/图块组头可以被称为切片/切片头。
像素或pel可以意指构成一幅图片(或图像)的最小单元。另外，“样本”可以被用作与像素对应的术语。样本通常可以表示像素或像素的值，并且可以仅表示亮度分量的像素/像素值，或仅表示色度分量的像素/像素值。
单元可以表示图像处理的基本单元。单元可以包括特定区域和与该区域相关的信息中的至少一个。一个单元可以包括一个亮度块和两个色度(例如，cb、cr)块。根据情况，可以将单元和诸如块、区域等这样的术语互换地使用。在通常情况下，MxN块可以包括由M列和N行组成的样本(或样本阵列)或变换系数的集合(或阵列)。
在本文件中，术语“/”和“，”应该被解释为指示“和/或”。例如，表述“A/B”可以意指“A和/或B”。另外，“A、B”可以意指“A和/或B”。另外，“A/B/C”可以意指“A、B和/或C中的至少一个”。另外，“A/B/C”可以意指“A、B和/或C中的至少一个”。
另外，在该文件中，术语“或”应该被解释为指示“和/或”。例如，表述“A或B”可以包括1)“仅A”、2)“仅B”和/或3)“A和B”二者。换句话说，本文件中的术语“或”应该被解释为指示“另外地或另选地”。
图2是示意性地描述可以应用本文件的视频/图像编码设备的配置的图。下文中，所谓的视频编码设备可以包括图像编码设备。
参照图2，编码设备200可以包括图像分割器210、预测器220、残差处理器230、熵编码器240、加法器250、滤波器260和存储器270。预测器220可以包括帧间预测器221和帧内预测器222。残差处理器230可以包括变换器232、量化器233、反量化器234、逆变换器235。残差处理器230还可以包括减法器231。加法器250可以被称为重构器或重构块生成器。根据实施方式，上面已描述的图像分割器210、预测器220、残差处理器230、熵编码器240、加法器250和滤波器260可以由一个或更多个硬件组件(例如，编码器芯片组或处理器)构成。另外，存储器270可以包括解码图片缓冲器(DPB)，并且可以由数字存储介质构成。硬件组件还可以包括存储器270作为内部/外部组件。
图像分割器210将输入到编码设备200的输入图像(或图片或帧)分割成一个或更多个处理单元。作为一个示例，处理单元可以被称为编译单元(CU)。在这种情况下，从编译树单元(CTU)或最大编译单元(LCU)开始，可以根据四叉树二叉树三叉树(QTBTTT)结构来递归地分割编译单元。例如，可以基于四叉树结构、二叉树结构和/或三叉树结构将一个编译单元划分成深度更深的多个编译单元。在这种情况下，例如，可以首先应用四叉树结构，随后可以应用二叉树结构和/或三叉树结构。另选地，可以首先应用二叉树结构。可以基于没有被进一步分割的最终编译单元来执行根据本文件的编译过程。在这种情况下，基于根据图像特性的编译效率，可以将最大编译单元直接用作最终编译单元。另选地，可以按需要将编译单元递归地分割成深度进一步更深的编译单元，使得可以将最佳大小的编译单元用作最终编译单元。这里，编译过程可以包括随后将描述的诸如预测、变换和重构这样的过程。作为另一示例，处理单元还可以包括预测单元(PU)或变换单元(TU)。在这种情况下，可以从上述的最终编译单元划分或分割预测单元和变换单元。预测单元可以是样本预测的单元，并且变换单元可以是用于导出变换系数的单元和/或用于根据变换系数导出残差信号的单元。
根据情况，可以将单元和诸如块、区域等这样的术语互换地使用。在常规情况下，MxN块可以表示由M列和N行组成的样本或变换系数的集合。样本通常可以表示像素或像素的值，并且可以仅表示亮度分量的像素/像素值，或仅表示色度分量的像素/像素值。样本可以被用作与一个图片(或图像)的像素或pel对应的术语。
在编码设备200中，从输入图像信号(原始块、原始样本阵列)中减去从帧间预测器221或帧内预测器222输出的预测信号(预测块、预测样本阵列)以生成残差信号(残差块、残差样本阵列)，并且所生成的残差信号被发送到变换器232。在这种情况下，如所示出的，在编码器200中从输入图像信号(原始块、原始样本阵列)中减去预测信号(预测块、预测样本阵列)的单元可以被称为减法器231。预测器可以对处理目标块(下文中，被称为“当前块”)执行预测，并且可以生成包括针对当前块的预测样本的预测块。预测器可以确定以当前块或CU为基础应用帧内预测还是帧间预测。如随后在对每种预测模式的描述中所讨论的，预测器可以生成诸如预测模式信息这样的与预测相关的各种信息，并且将所生成的信息发送到熵编码器240。关于预测的信息可以在熵编码器240中被编码并且以比特流的形式被输出。
帧内预测器222可以通过参考当前图片中的样本来预测当前块。根据预测模式，参考样本可以位于当前块的附近或与当前块分开。在帧内预测中，预测模式可以包括多种非定向模式和多种定向模式。非定向模式可以包括例如DC模式和平面模式。根据预测方向的详细程度，定向模式可以包括例如33种定向预测模式或65种定向预测模式。然而，这仅仅是示例，并且根据设置，可以使用更多或更少的定向预测模式。帧内预测器222可以通过使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
帧间预测器221可以基于参考图片上的运动向量所指定的参考块(参考样本阵列)来导出针对当前块的预测块。此时，为了减少在帧间预测模式下发送的运动信息的量，可以基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为基础来预测运动信息。运动信息可以包括运动向量和参考图片索引。运动信息还可以包括帧间预测方向(L0预测、L1预测、Bi预测等)信息。在帧间预测的情况下，邻近块可以包括当前图片中存在的空间邻近块和参考图片中存在的时间邻近块。包括参考块的参考图片和包括时间邻近块的参考图片可以彼此相同或彼此不同。时间邻近块可以被称为并置参考块、并置CU(colCU)等，并且包括时间邻近块的参考图片可以被称为并置图片(colPic)。例如，帧间预测器221可以基于邻近块来配置运动信息候选列表，并且生成指示哪个候选被用于导出当前块的运动向量和/或参考图片索引的信息。可以基于各种预测模式来执行帧间预测。例如，在跳过模式和合并模式的情况下，帧间预测器221可以使用邻近块的运动信息作为当前块的运动信息。在跳过模式下，与合并模式不同，不能发送残差信号。在运动信息预测(运动向量预测、MVP)模式的情况下，邻近块的运动向量可以被用作运动向量预测项，并且可以通过发信号通知运动向量差来指示当前块的运动向量。
预测器220可以基于各种预测方法来生成预测信号。例如，预测器可以将帧内预测或帧间预测应用于对一个块的预测，并且也可以同时应用帧内预测和帧间预测。这可以被称为组合的帧间和帧内预测(CIIP)。另外，预测器可以基于块内复制(IBC)预测模式或调色板模式，以便对块执行预测。IBC预测模式或调色板模式可以被用于诸如屏幕内容编译(SCC)这样的游戏等的内容图像/视频编译。尽管IBC基本上在当前图片中执行预测，但是其执行方式与帧间预测的相似之处在于，它导出当前图片中的参考块。即，IBC可以使用本文件中描述的帧间预测技术中的至少一种。调色板模式可以被视为帧内编译或帧内预测的示例。当应用调色板模式时，可以基于关于调色板索引和调色板表的信息来发信号通知图片中的样本值。
通过预测器(包括帧间预测器221和/或帧内预测器222)生成的预测信号可以被用于生成重构信号或者生成残差信号。变换器232可以通过向残差信号应用变换技术来生成变换系数。例如，变换技术可以包括离散余弦变换(DCT)、离散正弦变换(DST)、Karhunen-LoSve变换(KLT)、基于图的变换(GBT)或有条件非线性变换(CNT)中的至少一种。这里，GBT意指当用曲线图表示像素之间的关系信息时从曲线图获得的变换。CNT是指基于使用所有先前重构的像素生成的预测信号而获得的变换。另外，变换处理可以被应用于大小相同的正方形像素块，或者可以应用于大小可变的块而非正方形的块。
量化器233可以对变换系数进行量化并且将它们发送到熵编码器240，并且熵编码器240可以对量化后的信号(关于量化后的变换系数的信息)进行编码并且输出比特流中的编码后的信号。关于量化后的变换系数的信息可以被称为残差信息。量化器233可以基于系数扫描顺序将块类型的量化后的变换系数重新布置成一维向量形式，并且基于一维向量形式的量化后的变换系数来生成关于量化后的变换系数的信息。熵编码器240可以执行诸如例如指数哥伦布(exponential Golomb)、上下文自适应可变长度编码(CAVLC)、上下文自适应二进制算术编码(CABAC)等这样的各种编码方法。熵编码器240可以对除了量化后的变换系数(例如，语法元素的值等)之外的视频/图像重构所需的信息一起或分别进行编码。编码后的信息(例如，编码后的视频/图像信息)可以以比特流的形式在网络抽象层(NAL)的单元基础上进行发送或存储。视频/图像信息还可以包括关于诸如适应参数集(APS)、图片参数集(PPS)、序列参数集(SPS)、视频参数集(VPS)等这样的各种参数集的信息。另外，视频/图像信息还可以包括常规约束信息。在本文件中，从编码设备发送到/发信号通知给解码设备的信息和/或语法元素可以被包括在视频/图片信息中。视频/图像信息可以通过上述编码过程进行编码并且被包括在比特流中。可以通过网络传输比特流，或者将其存储在数字存储介质中。这里，网络可以包括广播网络、通信网络和/或类似物，并且数字存储介质可以包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等这样的各种存储介质。发送从熵编码器240输出的信号的发送器(未示出)或存储其的存储器(未示出)可以被配置为编码设备200的内部/外部元件，或者发送器可以被包括在熵编码器240中。
从量化器233输出的量化后的变换系数可以被用于生成预测信号。例如，通过利用反量化器234和逆变换器235向量化后的变换系数应用反量化和逆变换，可以重构残差信号(残差块或残差样本)。加法器155将重构后的残差信号与从帧间预测器221或帧内预测器222输出的预测信号相加，使得可以生成重构信号(重构图片、重构块、重构样本阵列)。当如在应用跳过模式的情况下一样没有针对处理目标块的残差时，可以将预测块用作重构块。加法器250可以被称为重构器或重构块生成器。所生成的重构信号可以被用于当前图片中的下一处理目标块的帧内预测，并且如随后描述的，可以被用于通过滤波进行的下一图片的帧间预测。
此外，在图片编码和/或重构处理中，可以应用具有色度缩放的亮度映射(LMCS)。
滤波器260可以通过向重构信号应用滤波来改善主观/客观视频质量。例如，滤波器260可以通过向重构图片应用各种滤波方法来生成修改后的重构图片，并且可以将修改后的重构图片存储在存储器270中，尤其是存储在存储器270的DPB中。各种滤波方法可以包括例如去块滤波处理、样本自适应偏移、自适应环形滤波、双边滤波等。如随后在对每种滤波方法的描述中所讨论的，滤波器260可以生成与滤波相关的各种信息，并且将所生成的信息发送到熵编码器240。关于滤波的信息可以在熵编码器240中被编码并且以比特流的形式被输出。
已发送到存储器270的修改后的重构图片可以被用作帧间预测器221中的参考图片。据此，编码设备可以避免在应用帧间预测时编码设备100和解码设备中的预测失配，并且还可以提高编码效率。
存储器270DPB可以存储修改后的重构图片，以便使用它作为帧间预测器221中的参考图片。存储器270可以存储从中已导出(或编码了)运动信息的当前图片中的块的运动信息和/或已经重构的图片中的块的运动信息。所存储的运动信息可以被发送到帧间预测器221，以被用作邻近块的运动信息或时间邻近块的运动信息。存储器270可以存储当前图片中的重构块的重构样本，并且将它们发送到帧内预测器222。
图3是示意性地描述可以应用本文件的视频/图像解码设备的配置的图。
参照图3，视频解码设备300可以包括熵解码器310、残差处理器320、预测器330、加法器340、滤波器350和存储器360。预测器330可以包括帧间预测器331和帧内预测器332。残差处理器320可以包括反量化器321和逆变换器321。根据实施方式，上面已描述的熵解码器310、残差处理器320、预测器330、加法器340和滤波器350可以由一个或更多个硬件组件(例如，解码器芯片组或处理器)构成。另外，存储器360可以包括解码图片缓冲器(DPB)，并且可以由数字存储介质构成。硬件组件还可以包括存储器360作为内部/外部组件。
当输入包括视频/图像信息的比特流时，解码设备300可以与据此已在图2的编码设备中处理视频/图像信息的处理对应地重构图像。例如，解码设备300可以基于与从比特流获得的与块分割相关的信息来导出单元/块。解码设备300可以通过使用在编码设备中应用的处理单元来执行解码。因此，解码的处理单元可以是例如编译单元，可以用编译树单元或最大编译单元顺着四叉树结构、二叉树结构和/或三叉树结构对其进行分割。可以用编译单元导出一个或更多个变换单元。并且，可以通过再现器来再现通过解码设备300解码并输出的重构图像信号。
解码设备300可以以比特流的形式接收从图2的编码设备输出的信号，并且可以通过熵解码器310对接收到的信号进行解码。例如，熵解码器310可以对比特流进行解析，以导出图像重构(或图片重构)所需的信息(例如，视频/图像信息)。视频/图像信息还可以包括关于诸如自适应参数集(APS)、图片参数集(PPS)、序列参数集(SPS)、视频参数集(VPS)等这样的各种参数集的信息。另外，视频/图像信息还可以包括常规约束信息。解码设备可以进一步基于关于参数集的信息和/或常规约束信息对图片进行解码。在本文件中，随后将描述的发信号通知/接收的信息和/或语法元素可以通过解码过程被解码并且从比特流中获得。例如，熵解码器310可以基于诸如指数哥伦布编码、CAVLC、CABAC等这样的编译方法对比特流中的信息进行解码，并且可以输出图像重构所需的语法元素的值和关于残差的变换系数的量化值。更具体地，CABAC熵解码方法可以接收与比特流中的各语法元素对应的bin，使用解码目标语法元素信息以及邻近和解码目标块的解码信息或者在先前步骤中解码的符号/bin的信息来确定上下文模型，根据所确定的上下文模型来预测bin生成概率并且对bin执行算术解码以生成与每个语法元素值对应的符号。这里，CABAC熵解码方法可以在确定上下文模型之后使用针对下一个符号/bin的上下文模型解码的符号/bin的信息来更新上下文模型。在熵解码器310中解码的信息当中的关于预测的信息可以被提供到预测器(帧间预测器332和帧内预测器331)，并且在熵解码器310中已对其执行了熵解码的残差值(即，量化后的变换系数)和关联的参数信息可以被输入到残差处理器320。残差处理器320可以导出残差信号(残差块、残差样本、残差样本阵列)。另外，在熵解码器310中解码的信息当中的关于滤波的信息可以被提供到滤波器350。此外，接收从编码设备输出的信号的接收器(未示出)还可以将解码设备300构成为内部/外部元件，并且接收器可以是熵解码器310的组件。此外，根据本文件的解码设备可以被称为视频/图像/图片解码设备，并且解码设备可以被分为信息解码器(视频/图像/图片信息解码器)和样本解码器(视频/图像/图片样本解码器)。信息解码器可以包括熵解码器310，并且样本解码器可以包括反量化器321、逆变换器322、加法器340、滤波器350、存储器360、帧间预测器332和帧内预测器331中的至少一个。
反量化器321可以通过对量化后的变换系数进行反量化来输出变换系数。反量化器321可以将量化后的变换系数重新布置为二维块的形式。在这种情况下，可以基于已在编码设备中执行的系数扫描的顺序来执行重新布置。反量化器321可以使用量化参数(例如，量化步长信息)对量化后的变换系数执行反量化，并且获得变换系数。
逆变换器322通过对变换系数进行逆变换来获得残差信号(残差块、残差样本阵列)。
预测器可以对当前块执行预测，并且生成包括针对当前块的预测样本的预测块。预测器可以基于从熵解码器310输出的关于预测的信息来确定向当前块应用帧内预测还是帧间预测，并且具体地可以确定帧内/帧间预测模式。
预测器320可以基于各种预测方法来生成预测信号。例如，预测器可以将帧内预测或帧间预测应用于对一个块的预测，并且也可以同时应用帧内预测和帧间预测。这可以被称为组合的帧间和帧内预测(CIIP)。另外，预测器可以基于块内复制(IBC)预测模式或调色板模式，以便对块执行预测。IBC预测模式或调色板模式可以被用于诸如屏幕内容编译(SCC)这样的游戏等的内容图像/视频编译。尽管IBC基本上在当前图片中执行预测，但是其执行方式与帧间预测的相似之处在于，它导出当前图片中的参考块。即，IBC可以使用本文件中描述的帧间预测技术中的至少一种。调色板模式可以被视为帧内编译或帧内预测的示例。当应用调色板模式时，关于调色板表和调色板索引的信息可以被包括在视频/图像信息中并被发信号通知。
帧内预测器331可以通过参考当前图片中的样本来预测当前块。根据预测模式，参考样本可以位于当前块的附近或与当前块分开。在帧内预测中，预测模式可以包括多种非定向模式和多种定向模式。帧内预测器331可以通过使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
帧间预测器332可以基于参考图片上的运动向量所指定的参考块(参考样本阵列)来导出针对当前块的预测块。此时，为了减少在帧间预测模式下发送的运动信息的量，可以基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为基础来预测运动信息。运动信息可以包括运动向量和参考图片索引。运动信息还可以包括帧间预测方向(L0预测、L1预测、Bi预测等)信息。在帧间预测的情况下，邻近块可以包括当前图片中存在的空间邻近块和参考图片中存在的时间邻近块。例如，帧间预测器332可以基于邻近块来配置运动信息候选列表，并且基于接收到的候选选择信息来导出当前块的运动向量和/或参考图片索引。可以基于各种预测模式来执行帧间预测，并且关于预测的信息可以包括指示针对当前块的帧间预测的模式的信息。
加法器340将所获得的残差信号与从预测器(帧间预测器332或帧内预测器331)输出的预测信号(预测块、预测样本阵列)相加，使得可以生成重构信号(重构图片、重构块、重构样本阵列)。当如在应用跳过模式的情况下一样没有针对处理目标块的残差时，可以将预测块用作重构块。
加法器340可以被称为重构器或重构块生成器。所生成的重构信号可以用于当前图片中的要处理的下一块的帧内预测，可以通过如下所述的滤波而输出，或者可以用于下一图片的帧间预测。
此外，进行色度缩放的亮度映射(LMCS)可以被应用于图片解码处理。
滤波器350可以通过向重构后的信号应用滤波来改善主观/客观图像质量。例如，滤波器350可以通过向重构图片应用各种滤波方法来生成修改后的重构图片，并且将修改后的重构图片存储在存储器360中，具体地，存储在存储器360的DPB中。各种滤波方法可以包括例如去块滤波处理、样本自适应偏移、自适应环路滤波、双边滤波等。
存储在存储器360的DPB中的(修改后的)重构图片可以被用作帧间预测器332中的参考图片。存储器360可以存储从其导出(或解码出)当前图片中的运动信息的块的运动信息和/或已经重构的图片中的块的运动信息。所存储的运动信息可以被发送到帧间预测器260，以便被用作空间邻近块的运动信息或时间邻近块的运动信息。存储器360可以存储当前图片中的重构块的重构样本，并且将重构样本传送到帧内预测器331。
在本公开中，在编码设备200的滤波器260、帧间预测器221和帧内预测器222中描述的实施方式可以与解码设备300的滤波器350、帧间预测器332和帧内预测器331相同或者被分别对应于解码设备300的滤波器350、帧间预测器332和帧内预测器331进行应用。对于单元332和帧内预测器331，也同样适用。
如上所述，在执行视频编译时，执行预测以提高压缩效率。可以通过预测生成包括当前块的预测样本的预测块，即，目标编译块。在这种情况下，预测块包括空间域(或像素域)中的预测样本。在编码设备和解码设备中同样地导出预测块。编码设备可以通过向解码设备发信号通知关于原始块而非原始块的原始样本值本身与预测块之间的残差的信息(残差信息)来提高图像编译效率。解码设备可以基于残差信息来导出包括残差样本的残差块，可以通过将残差块与预测块相加来生成包括重构样本的重构块，并且可以生成包括重构块的重构图片。
可以通过变换和量化过程来生成残余信息。例如，编码设备可以导出原始块与预测块之间的残差块，可以通过对残差块中所包括的残差样本(残差样本阵列)执行变换过程来导出变换系数，可以通过对变换系数执行量化过程来导出量化变换系数，并且可以(通过比特流)向解码设备发信号通知相关残差信息。在这种情况下，残差信息可以包括诸如值信息、位置信息、变换方案、变换核以及量化变换系数的量化参数这样的信息。解码设备可以基于残差信息执行反量化/逆变换过程，并且可以导出残差样本(或残差块)。解码设备可以基于预测块和残差块来生成重构图片。此外，编码设备可以通过对量化后的变换系数进行反量化/逆变换来导出残差块以供后续图片的帧间预测参考，并且可以生成重构图片。
另外，为了改善主观/客观图像质量，编码设备/解码设备可以对重构图片应用各种滤波方法以生成修改后的重构图片。可以将修改后的重构图片存储在存储器具体地为编码设备/解码设备的存储器270、360的DPB中。各种滤波方法可以包括例如去块滤波、样本自适应偏移、自适应环路滤波和双边滤波。
此外，在图像/视频编译中，可以按照一系列解码顺序对构成图像/视频的图片进行编码/解码。可以将与解码图片的输出顺序对应的图片顺序设置为与解码顺序不同，并且基于上文，可以在帧间预测时执行后向预测以及前向预测。
图4例示了本文件的示例性实施方式适用于的示意性图片解码过程的示例。
在图4中，S400可以由以上参照图3描述的解码设备的熵解码器310执行，S410可以由其预测器330执行，S420可以由其残差处理器320执行，S430可以由其加法器340执行，并且S440可以由其滤波器350执行。S400可以包括本文件中描述的信息解码过程，S410可以包括本文件中描述的帧间/帧内预测过程，S420可以包括本文件中描述的残差处理过程，S430可以包括本文件中描述的块/图片重构过程，并且S440可以包括本文件中描述的环路滤波过程。
参照图4，图片解码过程可以示意性地包括来自比特流的图像/视频信息获取过程(S400)(通过解码)、图片重构过程(S410至S430)和针对重构图片的环路滤波过程(S440)，如参照图3所描述的。
可以基于通过本文件中描述的帧间/帧内预测(S410)和残差处理(S420)(量化变换系数的去量化、逆变换)过程所获取的预测样本和残差样本来执行图片重构过程(S430)。可以通过针对通过图片重构过程所生成的重构图片的环路滤波过程来生成修改后的重构图片，该修改后的重构图片可以作为解码图片被输出，并且也可以被存储在解码设备或其存储器360的解码图片缓冲器中，以及在稍后对图片进行解码时用作帧间预测过程中的参考图片。在一些情况下，可以省略环路滤波过程，并且在这种情况下，重构图片可以作为解码图片被输出，并且也可以被存储在解码设备或其存储器360的解码图片缓冲器中，以及在稍后对图片进行解码时用作帧间预测过程中的参考图片。
如上所述，环路滤波过程(S440)可以包括去块滤波过程、样本自适应偏移(SAO)过程、自适应环路滤波(ALF)过程和/或双边滤波过程，并且可以省略其一些或全部。另外，去块滤波过程、样本自适应偏移(SAO)过程、自适应环路滤波(ALF)过程和双边滤波过程中的一个或一些可以被依次应用，或者也可以依次应用其全部。例如，将去块滤波过程应用于重构图片，然后可以执行SAO过程。另选地，例如，将去块滤波过程应用于重构图片，然后可以执行ALF过程。同样地，这也可以在编码设备中执行。
图5例示了本文件的示例性实施方式适用于的示意性图片编码过程的示例。
在图5中，S500可以由以上参照图2描述的编码设备的预测器220执行，S510可以由其残差处理器230执行，S520可以由其熵编码器240执行。S500可以包括本文件中描述的帧间/帧内预测过程，S510可以包括本文件中描述的残差处理过程，并且S520可以包括本文件中描述的信息编码过程。
参照图5，图片编码过程可以示意性地包括为当前图片生成重构图片的过程和将环路滤波应用于重构图片的过程(可选)以及对信息(例如，预测信息、残差信息或分割信息)进行编码以便如参照图2所描述的那样重构图片来以比特流的形式输出编码的信息的过程。
编码设备可以通过去量化器234和逆变换器235从量化变换系数导出(修改后的)残差样本，并且基于作为S500中的输出的预测样本和(修改后的)残差样本来生成重构图片。如此生成的重构图片可以与由解码设备生成的前述重构图片相同。修改后的重构图片可以通过针对重构图片的环路滤波过程来生成，并且可以被存储在解码图片缓冲器或存储器270中，并且如在解码设备的情况下那样，在稍后对图片进行编码时用作帧间预测过程中的参考图片。如上所述，在一些情况下，可以省略环路滤波过程中的一些或全部。如果执行环路滤波过程，则(环路)滤波相关信息(参数)由熵编码器240编码并且以比特流的形式输出，并且解码设备可以基于滤波相关信息以与编码设备的方法相同的方法执行环路滤波过程。
可以通过环路滤波过程来减少在对图像/视频进行编译时生成的噪声，诸如块伪影和振荡伪影，并且提高主观/客观视觉质量。另外，通过在编码设备和解码设备二者中执行环路滤波过程，编码设备和解码设备可以导出相同的预测结果，增加图片编译的可靠性，并且减少要发送以用于对图片进行编译的数据量。
如上所述，可以在编码设备中以及在解码设备中执行图片重构过程。可以以每个块为单位基于帧内预测/帧间预测来生成重构块，并且可以生成包括重构块的重构图片。如果当前图片/切片/图块组是I图片/切片/图块组，则可以基于仅帧内预测来重构当前图片/切片/图块组中包括的块。此外，如果当前图片/切片/图块组是P或B图片/切片/图块组，则可以基于帧内预测或帧间预测来重构当前图片/切片/图块组中包括的块。在这种情况下，可以对当前图片/切片/图块组中的一些块应用帧间预测，并且也可以对其它块应用帧内预测。图片的颜色分量可以包括亮度分量和色度分量，并且除非在本文件中显式地限制，否则可以将本文件中提出的方法和示例性实施方式应用于亮度分量和色度分量。
此外，如上所述，编码设备/解码设备可以以块为单位重构图片。如果以块为单位重构图像，则在重构图片中的块之间的边界中可能发生块失真。因此，编码设备和解码设备可以使用去块滤波来去除在重构图片中的块之间的边界中发生的块失真。例如，去块滤波过程可以导出重构图片中的目标边界，确定目标边界的边界强度(bs)，并且基于bs来对目标边界执行去块滤波。可以基于与目标边界相邻的两个块的预测模式、其运动向量之间的差异、其参考图片是否相同，以及在其中是否存在非零有效系数来确定bs。
图6示例性地例示了用于执行去块滤波处理的方法的示例性实施方式。图6中例示的方法可以由图2中例示的编码设备中的前述滤波器260和图3中例示的解码设备中的前述滤波器350执行。
参照图6，编码设备/解码设备可以导出在重构图片中对其执行去块滤波的块之间的边界。此外，可以将对其执行去块滤波的边界称为边缘。另外，对其执行去块滤波的边界可以包括两种类型，并且两种类型可以是垂直边界和水平边界。可以将垂直边界称为垂直边缘，并且可以将水平边界称为水平边缘。编码设备/解码设备可以对垂直边缘执行去块滤波，并且对水平边缘执行去块滤波。
当对一个方向执行去块滤波(即，对垂直边界执行去块滤波或对水平边界执行去块滤波)时，编码设备/解码设备可以导出变换块边界(S600)。编码设备/解码设备可以导出编译子块边界(S610)。
编码设备/解码设备可以基于NxN大小的网格来导出对其执行去块滤波的块边界。
例如，编码设备/解码设备可以基于块(变换块或编译子块)的边界是否对应于NxN大小的网格来导出对其执行去块滤波的块边界。换句话说，例如，编码设备/解码设备可以基于块(变换块或编码子块)的边界是否是定位在NxN大小的网格上的块边界来导出对其执行去块滤波的块边界。编码设备/解码设备可以导出与NxN大小的网格对应的块的边界作为对其执行去块滤波的块边界。这里，NxN大小的网格可以意指通过将重构图片分割成NxN大小的方形而导出的边界。NxN大小的网格可以是例如4x4或8x8大小的网格。
编码设备/解码设备可以确定对其执行去块滤波的边界的边界强度(bs)(S620)。也可以将bs称为边界滤波强度。
编码设备/解码设备可以基于与对其执行去块滤波的边界相邻的块来确定bs。例如，可以假定获得块P与块Q之间的边界(块边缘)的bs值的情况。在这种情况下，编码设备/解码设备可以基于关于块P和块Q的位置和/或是否块P和块Q以帧内模式被编码的信息来确定边界的bs值。
这里，块P可以表示包括与对其执行去块滤波的边界相邻的p0样本的块，并且块Q可以表示包括与对其执行去块滤波的边界相邻的q0样本的块。
例如，p0可以表示与对其执行去块滤波的边界的左部或顶部相邻的块的样本，并且q0可以表示与对其执行去块滤波的边界的右部或底部相邻的块的样本。作为示例，如果滤波边界的方向是垂直方向(即，如果滤波边界是垂直边界)，则p0可以表示与对其执行去块滤波的边界的左部相邻的块的样本，并且q0可以表示与对其执行去块滤波的边界的右部相邻的块的样本。另选地，作为另一示例，如果滤波边界的方向是水平方向(即，如果滤波边界是水平边界)，则p0可以表示与对其执行去块滤波的边界的顶部相邻的块的样本，并且q0可以表示与对其执行去块滤波的边界的底部相邻的块的样本。
编码设备/解码设备可以基于bs来执行去块滤波。例如，编码设备/解码设备可以确定是否执行了针对重构图片中的所有块边界的滤波过程(S630)，并且如果没有执行针对所有块边界的滤波过程，则编码设备/解码设备可以确定子块的边界的位置是否对应于NxN大小的网格(例如，8x8网格)(S640)。例如，可以确定通过将子块的边界位置的x分量和y分量除以N所导出的余数是否是0。如果通过将子块的边界的位置的x分量和y分量除以N所导出的余数是0，则子块的边界的位置可以对应NxN大小的网格。
如果子块的边界的位置对应于NxN大小的网格，则编码设备/解码设备可以基于边界的bs来对边界执行去块滤波(S650)。
此时，基于所确定的bs值，可以确定应用于块之间的边界的滤波器。可以将滤波器划分成强滤波器和弱滤波器。编码设备/解码设备可以用不同的滤波器来对重构图片中很可能发生块失真的位置的边界和在其中不太可能发生块失真的位置的边界执行滤波，从而提高编译效率。
编码设备/解码设备可以使用所确定的滤波器(例如，强滤波器或弱滤波器)来对块之间的边界执行去块滤波。如果针对重构图片中的块之间的所有边界的去块滤波过程被执行，则可以终止去块滤波过程。
在下文中，本文件提出了用于在执行去块滤波的过程中考虑到当前图片参考(CPR)块的特性来确定边界强度(bs)并且基于所确定的边界强度来确定是否对CPR块执行边界滤波的方法。
此外，CPR是用于参考当前图片执行预测的方法，并且可以是在块内复制(IBC)预测模式中包括的概念。换句话说，IBC基本上在当前图片中执行预测，因此也可以被称为CPR。另外，可以类似于帧间预测执行IBC，因为参考块是在当前图片中导出的。换句话说，IBC可以使用要本文件中描述的帧间预测技术中的至少一种，并且例如，使用前述方法中的至少一种来导出运动信息(运动向量)。
例如，可以基于IBC标志(例如，pred_mode_ibc_flag)来指示是否对当前块应用IBC。IBC标志(例如，pred_mode_ibc_flag)可以用语法元素进行编译并且以比特流的形式生成，并且通过比特流从编码设备发信号通知给解码设备。
对于IBC预测，编码设备可以通过执行块匹配(BM)来导出当前块(例如，CU)的最佳块向量(或运动向量)。可以使用与帧间预测中前述的发信号通知运动信息(运动向量)类似的方法来通过比特流将导出的块向量(或运动向量)发信号通知给解码设备。解码设备可以通过发信号通知的块向量(运动向量)来导出当前图片中的当前块的参考块，并且结果，导出当前块的预测信号(预测块或预测样本)。这里，块向量对应于前述运动向量以表示从当前块到定位在当前图片中已经重构的区域中的参考块的位移。因此，也可以将块向量(或运动向量)称为位移向量。在下文中，IBC中的运动向量可以对应于块向量或位移向量。另外，可以将IBC中的MVD称为块向量差(BVD)。当前块的运动向量可以包括亮度分量的运动向量(亮度运动向量)或色度分量的运动向量(色度运动向量)。例如，以IBC模式编译的CU的亮度运动向量可以是整数样本单位(即，整数精度)。也可以按照整数样本单位修剪(clip)色度运动向量。如上所述，IBC可以使用帧间预测技术中的至少一种，并且例如，如果像AMVR一样应用IBC，则可以切换1像元(pel)和4像元运动向量精度。
在CU级别，IBC预测模式可以通过标志来发信号通知，并且以IBC(A)MVP模式或IBC跳过/合并模式发信号通知。
例如，在IBC跳过/合并模式下，可以使用合并候选索引来导出当前块的块向量。这里，合并候选索引可以表示基于以IBC模式编译的邻近候选块而配置的列表中的块向量中的任一个是否用于预测当前块。合并候选列表可以被配置成包括空间候选、历史运动向量预测(HMVP)候选和成对候选。
在IBC(A)MVP模式下，可以以与MVD的方法相同的方法对块向量差(BVD)进行编译。块向量预测方法可以使用两个候选作为预测器，并且可以从左部邻近块(以IBC模式编译)和顶部邻近块(以IBC模式编译)导出两个候选。此时，如果左部邻近块或顶部邻近块不可用，则可以使用默认块向量作为预测器。可以将标志作为用于指示块向量预测器的索引信息来发信号通知。
在下文中，提出了一种方法来通过基于与重构图片中对其执行去块滤波的边界相邻的两个块(块P和块Q)的预测模式确定边界强度(bs)而执行去块滤波。特别地，提供了一种方法来考虑块P和块Q是否是参考当前图片对其执行预测的CPR块来确定边界强度(bs)。
这里，如上所述，块P可以表示包括与对其执行去块滤波的边界相邻的p0样本的块，并且块Q可以表示包括与对其执行去块滤波的边界相邻的q0样本的块。例如，p0可以表示与对其执行去块滤波的边界的左部相邻的块的样本，并且q0可以表示与对其执行去块滤波的边界的右部相邻的块的样本。另选地，p0可以表示与对其执行去块滤波的边界的顶部相邻的块的样本，并且q0可以表示与对其执行去块滤波的边界的底部相邻的块的样本。
根据示例性实施方式，如下表1中表达的，可以确定边界强度。表1表达了基于块P和块Q的预测模式、其运动向量之间的差异、其参考图片是否相同以及在其中是否存在非零有效系数来导出边界强度的值的示例。例如，如表1中表达的，如果块P和块Q中的至少一个以CPR模式被编译，则可以将边界强度确定为0。
[表1]
Figure BDA0003170765620000261
根据另一示例性实施方式，如下表2中表达的，可以确定边界强度。表2表达了基于块P和Q的预测模式、其运动向量之间的差异、其参考图片是否相同以及在其中是否存在非零有效系数来导出边界强度值的示例。例如，如表2中表达的，如果块P和块Q二者均以CPR模式被编译，则可以将边界强度确定为0，而如果块P和块Q中的仅任何一个以CPR模式被编译，则可以将边界强度确定为1。
[表2]
Figure BDA0003170765620000262
图7是示意性地例示了根据本文件的示例性实施方式的可以由编码设备执行的编码方法的流程图。
图7中例示的方法可以由图2中例示的编码设备200执行。具体地，图7中例示的步骤S700可以由图2中例示的编码设备200的加法器250执行，图7中例示的步骤S710至S730可以由图2中例示的编码设备200的滤波器260执行，并且图7中例示的步骤S740可以由图2中例示的编码设备200的熵编码器240执行。另外，图7中例示的方法可以包括本文件中的前述示例性实施方式。因此，在图7中，将省略并简化与前述示例性实施方式重叠的内容的详细描述。
参照图7，编码设备可以基于编译块的预测样本来生成重构图片(S700)。
根据示例性实施方式，编码设备可以确定是对编译块执行帧间预测还是对编译块执行帧内预测，并且可以基于RD成本来确定特定帧间预测模式或特定帧内预测模式。编码设备可以根据所确定的模式来导出编译块的预测样本。
另外，编码设备可以基于编译块的预测样本来生成重构图片。换句话说，编码设备可以通过原始样本与编译块的预测样本之间的减法来导出残差样本，并且基于残差样本和预测样本来生成重构样本。编码设备可以基于图片中的编译块的重构样本来生成重构块，并且生成包括重构块的重构图片。
编码设备可以导出重构图片中的编译块的边界的边界强度(bs)(S710)。
换句话说，由于编码设备以块为单位重构图片，所以可能在重构图片中的编译块之间的边界上发生块失真。因此，编码设备可以应用去块滤波来去除在重构图片中的编译块之间的边界处发生的块失真，并且此时，根据块失真的程度来确定边界强度。
根据示例性实施方式，编码设备可以确定重构图片中的编译块之间的边界，并且基于与所确定的边界相邻的第一块和第二块来导出边界强度。
这里，编译块之间的边界是指对其执行去块滤波的目标边界，并且目标边界可以包括垂直边界和水平边界。例如，编码设备可以导出垂直边界的边界强度和水平边界的边界强度，并且基于每个边界强度来对垂直边界和水平边界执行去块滤波。
另外，如上所述，第一块和第二块可以意指块P和块Q。块P可以表示包括与对其执行去块滤波的边界相邻的p0样本的块，并且块Q可以表示包括与对其执行去块滤波的边界相邻的q0样本的块。例如，p0可以表示与对其执行去块滤波的边界的左部相邻的块的样本，并且q0可以表示与对其执行去块滤波的边界的右部相邻的块的样本。另选地，p0可以表示与对其执行去块滤波的边界的顶部相邻的块的样本，并且q0可以表示与对其执行去块滤波的边界的底部相邻的块的样本。换句话说，第一块可以是相对于目标边界(即，垂直边界)的左部块(块P)，而第二块可以是相对于目标边界(即，垂直边界)的右部块(块Q)。另选地，第一块可以是相对于目标边界(即，水平边界)的顶部块(块P)，而第二块可以是相对于目标边界(即，水平边界)的底部块(块Q)。
换句话说，编码设备可以基于与目标边界相邻的第一块(块P)和第二块(块Q)的预测模式、其运动向量之间的差异、其参考图片是否相同以及在其中是否存在非零有效系数来导出边界强度的值。此时，可以将边界强度导出为如以上表达的表1或表2中表达的0至2的值。
根据示例性实施方式，编码设备可以基于与目标边界相邻的第一块(块P)和第二块(块Q)的预测模式来导出边界强度。例如，可以基于第一块(块P)和第二块(块Q)的预测模式是否是参考当前图片编译的当前图片参考(CPR)模式来导出边界强度。如果第一块(块P)和第二块(块Q)的预测模式都是CPR模式，则编码设备可以将边界强度的值导出为0。如果第一块(块P)和第二块(块Q)的预测模式二者不都是以CPR模式被编译而是第一块(块P)和第二块(块Q)中的任何一个以CPR模式被编译，则编码设备可以将边界强度的值导出为1。此时，作为示例，第一块(块P)的预测模式可以是CPR模式并且第二块(块Q)的预测模式可以是帧间预测模式，并且在这种情况下，可以将边界强度的值导出为1。另选地，作为另一示例，第一块(块P)的预测模式可以是CPR模式并且第二块(块Q)的预测模式可以是调色板模式，并且在这种情况下，可以将边界强度的值导出为1。换句话说，如果第一块(块P)和第二块(块Q)的预测模式不同并且第一块(块P)和第二块(块Q)中的任何一个是CPR模式，则可以将边界强度的值导出为1。如果第一块(块P)和第二块(块Q)的预测模式都不是CPR模式并且第一块(块P)或第二块(块Q)的预测模式以帧内预测模式被编译，则编码设备可以将边界强度的值导出为2。
另外，编码设备可以基于与目标边界相邻的第一块(块P)和第二块(块Q)的预测模式、其运动向量之间的差异、其参考图片是否相同以及在其中是否存在非零有效系数来导出边界强度。例如，如果第一块(块P)或第二块(块Q)以帧间预测模式被编译并且在第一块(块P)和第二块(块Q)中存在非零残差系数，则编码设备可以将边界强度的值导出为1。另选地，如果第一块(块P)或第二块(块Q)以帧间预测模式被编译并且在第一块(块P)和第二块(块Q)中不存在残差系数但是第一块(块P)和第二块(块Q)的运动向量在按整数单位样本(整数像元)舍入时不同，则编码设备可以将边界强度的值导出为1。另选地，如果第一块(块P)或第二块(块Q)以帧间预测模式被编译，在第一块(块P)和第二块(块Q)中不存在残差系数，并且第一块(块P)和第二块(块Q)的运动向量在按整数单位样本(整数像元)舍入时相同，但是第一块(块P)和第二块(块Q)参考不同的参考图片，则编码设备可以将边界强度的值导出为1。在其它情况下，编码设备可以将边界强度的值导出为0。
根据示例性实施方式，如果以子块为单位导出运动信息的预测模式被应用于编译块，例如，在仿射模式或基于子块的合并模式下预测编译块，则编码设备可以以子块为单位确定目标边界，并且导出对应子块的目标边界的边界强度。在这种情况下，编码设备可以基于相对于编译块中的子块而导出的边界强度来执行去块滤波。
编码设备可以基于如上所述导出的边界强度来对编译块的边界执行去块滤波(S720)。
根据示例性实施方式，编码设备可以基于针对垂直边界导出的边界强度来对垂直边界执行去块滤波，并且基于针对水平边界导出的边界强度来对水平边界执行去块滤波。
编码设备可以基于去块滤波来导出针对重构图片的修改后的重构图片(S730)。
换句话说，编码设备可以基于边界强度来对重构图片中的编译块的边界执行去块滤波，从而导出从中去除了块伪影的重构样本并且基于重构的样本来生成修改后的重构图片。结果，可以去除块边界上由于以块为单位(以编译块或编译子块为单位)执行的预测而发生的块伪影，并且改善重构图片的视觉质量。
另外，如上所述，为了必要时改善主观/客观图像质量，编码设备还可以将诸如SAO过程的环路滤波过程应用于修改后的重构图片。
编码设备可以对包括关于编译块的信息的图像信息进行编码(S740)。
这里，关于编译块的信息可以包括编译块的预测相关信息。例如，预测相关信息可以包括编译块的预测模式信息(例如，帧内预测模式、帧间预测模式、仿射预测模式、基于子块的合并模式、或参考当前图片的IBC模式)。另外，关于编译块的信息可以包括关于基于编译块的预测样本而导出的残差样本的信息。例如，关于残差样本的信息可以包括信息，诸如通过对残差样本执行变换和量化所导出的量化变换系数的值信息、位置信息、变换技术、变换核和量化参数。
也就是说，编码设备可以对包括关于编译块的信息的图像信息进行编码从而以比特流的形式输出编码图像信息，并且通过网络或存储介质来将比特流发送到解码设备。另外，编码设备可以对在前述过程中导出的信息(例如，去块滤波相关信息)进行编码从而以比特流的形式生成编码信息。
图8是示意性地例示了可以由根据本文件的示例性实施方式的解码设备执行的解码方法的流程图。
图8中例示的方法可以由图3中例示的解码设备300执行。具体地，图8中例示的步骤S800可以由图3中例示的解码设备300的加法器340执行，并且图8中例示的步骤S810至S830可以由图3中例示的解码设备300的滤波器350执行。另外，图8中例示的方法可以包括本文件中的前述示例性实施方式。因此，在图8中，将省略或简化与前述示例性实施方式重叠的内容的详细描述。
参照图8，解码设备可以基于编译块的预测样本来生成重构图片(S800)。
根据示例性实施方式，解码设备可以通过比特流来接收关于编译块的图像信息。例如，解码设备可以通过比特流来接收包括关于编译块的预测相关信息的图像信息。此时，图像信息可以包括关于编译块的预测相关信息。预测相关信息可以包括关于对编译块执行的帧间预测模式或帧内预测模式的信息。换句话说，解码设备可以基于通过比特流接收的预测相关信息来对编译块执行帧间预测或帧内预测，并且导出编译块的预测样本。
另外，解码设备可以通过比特流来接收包括关于编译块的残差信息的图像信息。此时，图像信息可以包括关于编译块的残差信息。残差信息可以包括残差样本的变换系数。解码设备可以基于残差信息来导出编译块的残差样本(或残差样本阵列)。
解码设备可以基于预测样本和残差样本来生成重构样本，并且基于图片中的编译块的重构样本来生成重构块。另外，解码设备可以生成包括重构块的重构图片。
解码设备可以导出重构图片中的编译块的边界的边界强度(bs)(S810)。
换句话说，由于解码设备以块为单位重构图片，所以可能在重构图片中的编译块之间的边界处发生块失真。因此，解码设备可以应用去块滤波过程来去除在重构图片中的编译块之间的边界处发生的块失真，并且在这种情况下，可以根据块失真的程度来确定边界强度。
根据示例性实施方式，解码设备可以确定重构图片中的编译块之间的边界，并且基于与所确定的边界相邻的第一块和第二块来导出边界强度。
这里，编译块之间的边界是指对其执行去块滤波的目标边界，并且目标边界可以包括垂直边界和水平边界。例如，解码设备可以导出垂直边界的边界强度和水平边界的边界强度，并且基于每个边界强度来对垂直边界和水平边界执行去块滤波。
另外，如上所述，第一块和第二块可以意指块P和块Q。块P可以表示包括与对其执行去块滤波的边界相邻的p0样本的块，并且块Q可以表示包括与对其执行去块滤波的边界相邻的q0样本的块。例如，p0可以表示与对其执行去块滤波的边界的左部相邻的块的样本，并且q0可以表示与对其执行去块滤波的边界的右部相邻的块的样本。另选地，p0可以表示与对其执行去块滤波的边界的顶部相邻的块的样本，并且q0可以表示与对其执行去块滤波的边界的底部相邻的块的样本。换句话说，第一块可以是相对于目标边界(即，垂直边界)的左部块(块P)，而第二块可以是相对于目标边界(即，垂直边界)的右部块(块Q)。另选地，第一块可以是相对于目标边界(即，水平边界)的顶部块(块P)，而第二块可以是相对于目标边界(即，水平边界)的底部块(块Q)。
换句话说，解码设备可以基于与目标边界相邻的第一块(块P)和第二块(块Q)的预测模式、其运动向量之间的差异、其参考图片是否相同以及在其中是否存在非零有效系数来导出边界强度的值。此时，可以如在以上表达的表1或表2中那样将边界强度导出为0至2的值。
根据示例性实施方式，解码设备可以基于与目标边界相邻的第一块(块P)和第二块(块Q)的预测模式来导出边界强度。例如，可以基于第一块(块P)和第二块(块Q)的预测模式是否是参考当前图片编译的当前图片参考(CPR)模式来导出边界强度。当第一块(块P)和第二块(块Q)的预测模式都是CPR模式时，解码设备可以将边界强度的值导出为0。如果第一块(块P)和第二块(块Q)的预测模式二者不都是以CPR模式被编译而是第一块(块P)和第二块(块Q)中的任何一个以CPR模式被编译，则解码设备可以将边界强度的值导出为1。此时，作为示例，第一块(块P)的预测模式可以是CPR模式并且第二块(块Q)的预测模式可以是帧间预测模式，并且在这种情况下，可以将边界强度的值导出为1。另选地，作为另一示例，第一块(块P)的预测模式可以是CPR模式并且第二块(块Q)的预测模式可以是调色板模式，并且在这种情况下，可以将边界强度的值导出为1。换句话说，如果第一块(块P)和第二块(块Q)的预测模式不同并且第一块(块P)和第二块(块Q)中的任何一个是CPR模式，则可以将边界强度的值导出为1。如果第一块(块P)和第二块(块Q)的预测模式都不是CPR模式并且第一块(块P)或第二块(块Q)的预测模式以帧内预测模式被编译，则解码设备可以将边界强度的值导出为2。
另外，解码设备可以基于与目标边界相邻的第一块(块P)和第二块(块Q)的预测模式、其运动向量之间的差异、其参考图片是否相同以及在其中是否存在非零有效系数来导出边界强度。例如，如果第一块(块P)或第二块(块Q)以帧间预测模式被编译并且在第一块(块P)和第二块(块Q)中存在非零残差系数，则解码设备可以将边界强度的值导出为1。另选地，如果第一块(块P)或第二块(块Q)以帧间预测模式被编译并且在第一块(块P)和第二块(块Q)中不存在残差系数但是第一块(块P)和第二块(块Q)的运动向量在按整数单位样本(整数像元)舍入时不同，则解码设备可以将边界强度的值导出为1。另选地，如果第一块(块P)或第二块(块Q)以帧间预测模式被编译，在第一块(块P)和第二块(块Q)中不存在残差系数，并且第一块(块P)和第二块(块Q)的运动向量在按整数单位样本(整数像元)舍入时相同，但是第一块(块P)和第二块(块Q)参考不同的参考图片，则解码设备可以将边界强度的值导出为1。在其它情况下，解码设备可以将边界强度的值导出为0。
根据示例性实施方式，如果以子块为单位导出运动信息的预测模式被应用于编译块，例如，如果在仿射模式或基于子块的合并模式下预测编译块，则解码设备可以以子块为单位确定目标边界并且导出对应子块的目标边界的边界强度。在这种情况下，解码设备可以基于针对编译块中的子块导出的边界强度来执行去块滤波。
解码设备可以基于如上所述导出的边界强度来对编译块的边界执行去块滤波(S820)。
根据该示例性实施方式，解码设备可以基于针对垂直边界导出的边界强度来对垂直边界执行去块滤波，并且基于针对水平边界导出的边界强度来对水平边界执行去块滤波。
解码设备可以基于去块滤波来导出针对重构图片的修改后的重构图片(S830)。
换句话说，解码设备可以基于边界强度对重构图片中的编译块的边界执行去块滤波，从而导出从中去除了块伪影的重构样本，并且基于重构样本来生成修改后的重构图片。结果，可以去除块边界处由于以块为单位(以编译块或编译子块为单位)执行的预测而发生的块伪影，并且改善重构图片的视觉质量。
另外，如上所述，为了必要时改善主观/客观图像质量，解码设备还可以将诸如SAO过程的环路滤波过程应用于修改后的重构图片。
在以上提到的实施方式中，虽然已基于以一系列步骤或单元的形式的流程图描述了这些方法，但是该文件的实施方式不限于这些步骤的顺序，并且这些步骤中的一些可以按照与其它步骤的顺序不同的顺序执行或者可以与其它步骤同时执行。此外，本领域技术人员将理解，在流程图中示出的步骤不是排他性的，并且在不影响该文件的权利范围的情况下，这些步骤可以包括附加步骤或者可以删除流程图中的一个或更多个步骤。
根据该文件的以上提到的方法可以用软件形式实现，并且根据该文件的编码设备和/或解码设备可以被包括在例如TV、计算机、智能电话、机顶盒或显示装置的用于执行图像处理的设备中。
在该文件中，当以软件形式实现实施方式时，以上提到的方法可以被实现为用于执行以上提到的功能的模块(程序、函数等)。模块可以被存储在存储器中并且由处理器来执行。存储器可以布置在处理器的内部或外部，并且通过各种公知手段连接到处理器。处理器可以包括专用集成电路(ASIC)、其它芯片集、逻辑电路和/或数据处理装置。存储器可以包括只读存储器(ROM)、随机存取存储器(RAM)、闪存、存储卡、存储介质和/或其它存储装置。即，该文件中描述的实施方式可以在处理器、微处理器、控制器或芯片上实现并执行。例如，附图中例示的功能单元可以在计算机、处理器、微处理器、控制器或芯片上实现并执行。在这种情况下，用于这种实现的信息(例如，关于指令的信息)或算法可以被存储在数字存储介质中。
此外，应用该文件的解码设备和编码设备可以被包括在多媒体广播发送和接收装置、移动通信终端、家庭影院视频装置、数字影院视频装置、监视相机、视频聊天装置、诸如视频通信这样的实时通信装置、移动流传输装置、存储介质、摄像机、视频点播(VoD)服务提供装置、顶置(OTT)视频装置、互联网流传输服务提供装置、三维(3D)视频装置、虚拟现实(VR)装置、增强现实(AR)装置、视频电话视频装置、运输工具终端(例如，车辆(包括自主车辆)终端、飞机终端和轮船终端)和医疗视频装置中，并且可以被用于处理视频信号或数据信号。例如，顶置(OTT)视频装置可以包括游戏控制台、Blueray播放器、互联网访问TV、家庭影院系统、智能电话、平板PC和数字录像机(DVR)。
此外，应用该文件的处理方法可以以由计算机执行的程序的形式产生，并且可以被存储在计算机可读记录介质中。根据该文件的具有数据结构的多媒体数据也可以被存储在计算机可读记录介质中。计算机可读记录介质包括存储有计算机可读数据的所有种类的存储装置。计算机可读记录介质可以包括例如Blueray盘(BD)、通用串行总线(USB)、ROM、PROM、EPROM、EEPROM、RAM、CD-ROM、磁带、软盘和光学数据存储装置。此外，计算机可读记录介质包括以载波(例如，通过互联网进行传输)的形式实现的介质。此外，使用编码方法而生成的比特流可以被存储在计算机可读记录介质中，或者可以通过有线和无线通信网络传输。
此外，该文件的实施方式可以使用程序代码被实现为计算机程序产品。可以由根据该文件的实施方式的计算机执行程序代码。程序代码可以被存储在可由计算机读取的载波上。
图9例示了可以应用本文件中公开的实施方式的内容流传输系统的示例。
参照图9，应用本文件的实施方式的内容流传输系统可以基本上包括编码服务器、流传输服务器、网络服务器、媒体存储器、用户装置和多媒体输入装置。
编码服务器将从诸如智能电话、相机、摄像机等这样的多媒体输入装置输入的内容压缩成数字数据以生成比特流，并且将该比特流传输到流传输服务器。作为另一示例，当诸如智能电话、相机、摄像机等这样的多媒体输入装置直接生成比特流时，可以省略编码服务器。
可以通过应用本文件的实施方式的编码方法或比特流生成方法来生成比特流，并且流传输服务器可以在发送或接收比特流的处理中临时存储比特流。
流传输服务器基于用户的请求通过网络服务器将多媒体数据发送到用户装置，并且网络服务器用作将服务告知用户的介质。当用户向网络服务器请求所期望的服务时，网络服务器将其传送到流传输服务器，流传输服务器将多媒体数据发送到用户。在这种情况下，内容流传输系统可以包括单独的控制服务器。在这种情况下，控制服务器用于控制内容流传输系统中的装置之间的命令/响应。
流传输服务器可以从媒体存储器和/或编码服务器接收内容。例如，当从编码服务器接收内容时，可以实时地接收内容。在这种情况下，为了提供平稳的流传输服务，流传输服务器可以存储比特流达预定时间。
用户装置的示例可以包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航仪、触屏PC、平板PC、超级本、可穿戴装置(例如，智能手表、智能眼镜、头戴式显示器)、数字TV、台式计算机、数字标牌等。
内容流传输系统中的各个服务器可以作为分布式服务器操作，在这种情况下，从各个服务器接收到的数据可以被分发。

Claims (15)

1.一种由解码设备执行的图像解码方法，所述方法包括：
基于编译块的预测样本来生成重构图片；
导出所述重构图片中的所述编译块的边界的边界强度(bs)；
基于所述边界强度来对所述编译块的边界执行去块滤波；以及
基于所述去块滤波来导出针对所述重构图片的修改后的重构图片，
其中，所述边界强度是基于与所述编译块的边界相邻的第一块和第二块的预测模式而导出的，并且是基于所述第一块的预测模式或所述第二块的预测模式是否是参考当前图片编译的当前图片参考(CPR)模式而导出的。
2.根据权利要求1所述的图像解码方法，其中，如果所述第一块的预测模式和所述第二块的预测模式二者不都是以所述CPR模式被编译而是所述第一块和所述第二块中的任何一个的预测模式以所述CPR模式被编译，则导出所述边界强度将所述边界强度的值导出为1。
3.根据权利要求2所述的图像解码方法，其中，如果所述第一块的预测模式是所述CPR模式并且所述第二块的预测模式是帧间预测模式，则导出所述边界强度将所述边界强度的值导出为1。
4.根据权利要求1所述的图像解码方法，其中，如果所述第一块的预测模式和所述第二块的预测模式不同并且所述第一块和所述第二块中的任何一个的预测模式是所述CPR模式，则导出所述边界强度将所述边界强度的值导出为1。
5.根据权利要求1所述的图像解码方法，其中，如果所述第一块和所述第二块的预测模式二者都是所述CPR模式，则导出所述边界强度将所述边界强度的值导出为0。
6.根据权利要求1所述的图像解码方法，其中，如果所述第一块和所述第二块的预测模式都不是所述CPR模式并且所述第一块的预测模式或所述第二块的预测模式是帧内预测模式，则导出所述边界强度将所述边界强度的值导出为2。
7.根据权利要求1所述的图像解码方法，其中，如果以子块为单位导出运动信息的预测模式被应用于所述编译块，则导出所述边界强度导出所述编译块中的子块的边界的所述边界强度。
8.一种由编码设备执行的图像编码方法，所述方法包括：
基于编译块的预测样本来生成重构图片；
导出所述重构图片中的所述编译块的边界的边界强度(bs)；
基于所述边界强度来对所述编译块的边界执行去块滤波；
基于所述去块滤波来导出针对所述重构图片的修改后的重构图片；以及
对包括关于所述编译块的信息的图像信息进行编码，
其中，所述边界强度是基于与所述编译块的边界相邻的第一块和第二块的预测模式而导出的，并且是基于所述第一块的预测模式或所述第二块的预测模式是否是参考当前图片编译的当前图片参考(CPR)模式而导出的。
9.根据权利要求8所述的图像编码方法，其中，如果所述第一块的预测模式和所述第二块的预测模式二者不都是以所述CPR模式被编译而是所述第一块和所述第二块中的任何一个的预测模式以所述CPR模式被编译，则导出所述边界强度将所述边界强度的值导出为1。
10.根据权利要求9所述的图像编码方法，其中，如果所述第一块的预测模式是所述CPR模式并且所述第二块的预测模式是帧间预测模式，则导出所述边界强度将所述边界强度的值导出为1。
11.根据权利要求8所述的图像编码方法，其中，如果所述第一块的预测模式和所述第二块的预测模式不同并且所述第一块和所述第二块中的任何一个的预测模式是所述CPR模式，则导出所述边界强度将所述边界强度的值导出为1。
12.根据权利要求8所述的图像编码方法，其中，如果所述第一块和所述第二块的预测模式二者都是所述CPR模式，则导出所述边界强度将所述边界强度的值导出为0。
13.根据权利要求8所述的图像编码方法，其中，如果所述第一块和所述第二块的预测模式都不是所述CPR模式并且所述第一块的预测模式或所述第二块的预测模式是帧内预测模式，则导出所述边界强度将所述边界强度的值导出为2。
14.根据权利要求8所述的图像编码方法，其中，如果以子块为单位导出运动信息的预测模式被应用于所述编译块，则导出所述边界强度导出所述编译块中的子块的边界的所述边界强度。
15.一种数字存储介质，所述数字存储介质作为计算机可读数字存储介质用于存储使根据权利要求1所述的图像解码方法被执行的编码图像信息。
CN202080010032.3A 2019-01-02 2020-01-02 使用去块滤波的图像编译方法和装置 Active CN113316938B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311591779.4A CN117676169A (zh) 2019-01-02 2020-01-02 使用去块滤波的图像编译方法和装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962787743P 2019-01-02 2019-01-02
US62/787,743 2019-01-02
PCT/KR2020/000025 WO2020141885A1 (ko) 2019-01-02 2020-01-02 디블록킹 필터링을 사용하는 영상 코딩 방법 및 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202311591779.4A Division CN117676169A (zh) 2019-01-02 2020-01-02 使用去块滤波的图像编译方法和装置

Publications (2)

Publication Number Publication Date
CN113316938A true CN113316938A (zh) 2021-08-27
CN113316938B CN113316938B (zh) 2023-12-15

Family

ID=71406748

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202311591779.4A Pending CN117676169A (zh) 2019-01-02 2020-01-02 使用去块滤波的图像编译方法和装置
CN202080010032.3A Active CN113316938B (zh) 2019-01-02 2020-01-02 使用去块滤波的图像编译方法和装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202311591779.4A Pending CN117676169A (zh) 2019-01-02 2020-01-02 使用去块滤波的图像编译方法和装置

Country Status (4)

Country Link
US (3) US11310534B2 (zh)
KR (2) KR102605674B1 (zh)
CN (2) CN117676169A (zh)
WO (1) WO2020141885A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024017061A1 (en) * 2022-07-22 2024-01-25 Mediatek Inc. Method and apparatus for picture padding in video coding

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3127704A1 (en) * 2019-01-25 2020-07-30 Huawei Technologies Co., Ltd. An encoder, a decoder and corresponding methods of deblocking filter adaptation
US11968360B2 (en) * 2020-03-31 2024-04-23 Alibaba Group Holding Limited Methods for palette prediction

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101207817A (zh) * 2006-12-15 2008-06-25 庆熙大学校产学协力团 边界滤波强度的推导过程和使用其的去块滤波方法及装置
US20140369428A1 (en) * 2011-11-04 2014-12-18 Lg Electronics Inc. Method and apparatus for encoding/decoding image information
CN106416249A (zh) * 2014-06-11 2017-02-15 高通股份有限公司 在视频译码中确定用于经调色板译码块的量化参数(qp)值和差量qp值
CN106464877A (zh) * 2014-06-11 2017-02-22 高通股份有限公司 在视频译码中确定将解块滤波应用于经调色板译码块
CN106464870A (zh) * 2014-03-31 2017-02-22 英迪股份有限公司 用于对帧内画面进行编码和解码的基于模板匹配的方法和装置
CN106464866A (zh) * 2014-05-29 2017-02-22 佳能株式会社 用于对视频样本的块进行去块的方法、设备和系统
CN106797466A (zh) * 2014-10-07 2017-05-31 高通股份有限公司 用于帧内块复制的解块滤波
CN108989806A (zh) * 2011-09-20 2018-12-11 Lg 电子株式会社 用于编码/解码图像信息的方法和装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110014000A (ko) * 2009-08-04 2011-02-10 광운대학교 산학협력단 영상 데이터의 디블록킹 필터링 장치 및 방법과 이를 이용한 영상 복호화 장치 및 방법
KR101457396B1 (ko) * 2010-01-14 2014-11-03 삼성전자주식회사 디블로킹 필터링을 이용한 비디오 부호화 방법과 그 장치, 및 디블로킹 필터링을 이용한 비디오 복호화 방법 및 그 장치
US9232237B2 (en) * 2011-08-05 2016-01-05 Texas Instruments Incorporated Block-based parallel deblocking filter in video coding
AR092786A1 (es) * 2012-01-09 2015-05-06 Jang Min Metodos para eliminar artefactos de bloque
SG11201400670XA (en) * 2012-01-17 2014-04-28 Genip Pte Ltd Method of applying edge offset
US10412419B2 (en) * 2013-07-12 2019-09-10 Qualcomm Incorporated Adaptive filtering in video coding
WO2016078599A1 (en) * 2014-11-20 2016-05-26 Mediatek Inc. Method of motion vector and block vector resolution control
KR102390073B1 (ko) * 2015-06-08 2022-04-25 브이아이디 스케일, 인크. 스크린 콘텐츠 코딩을 위한 인트라 블록 카피 모드
EP3456043A4 (en) * 2016-05-28 2019-11-27 MediaTek Inc. METHOD AND DEVICE FOR REFERENCING THE CURRENT IMAGE FOR VIDEO CODING USING AFFINER MOTION COMPENSATION

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101207817A (zh) * 2006-12-15 2008-06-25 庆熙大学校产学协力团 边界滤波强度的推导过程和使用其的去块滤波方法及装置
CN108989806A (zh) * 2011-09-20 2018-12-11 Lg 电子株式会社 用于编码/解码图像信息的方法和装置
US20140369428A1 (en) * 2011-11-04 2014-12-18 Lg Electronics Inc. Method and apparatus for encoding/decoding image information
CN106464870A (zh) * 2014-03-31 2017-02-22 英迪股份有限公司 用于对帧内画面进行编码和解码的基于模板匹配的方法和装置
CN106464866A (zh) * 2014-05-29 2017-02-22 佳能株式会社 用于对视频样本的块进行去块的方法、设备和系统
US20170127090A1 (en) * 2014-05-29 2017-05-04 Canon Kabushiki Kaisha Method, apparatus and system for de-blocking a block of video samples
CN106416249A (zh) * 2014-06-11 2017-02-15 高通股份有限公司 在视频译码中确定用于经调色板译码块的量化参数(qp)值和差量qp值
CN106464877A (zh) * 2014-06-11 2017-02-22 高通股份有限公司 在视频译码中确定将解块滤波应用于经调色板译码块
CN106797466A (zh) * 2014-10-07 2017-05-31 高通股份有限公司 用于帧内块复制的解块滤波

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
X.XU ET AL.: "CE8:CPR mode with dual-tree support(TEST CE8.2)", 《JVET L0290》 *
周芦明 等: "基于纹理方向自适应的H.264去块滤波算法", 《数据采集与处理》, no. 4 *
李康顺 等: "基于片类型和帧间预测的H.264去块滤波新算法", 《计算机及应用研究》, vol. 28, no. 7 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024017061A1 (en) * 2022-07-22 2024-01-25 Mediatek Inc. Method and apparatus for picture padding in video coding

Also Published As

Publication number Publication date
US20210321141A1 (en) 2021-10-14
US20220191552A1 (en) 2022-06-16
WO2020141885A1 (ko) 2020-07-09
US20230353791A1 (en) 2023-11-02
CN113316938B (zh) 2023-12-15
KR20210090710A (ko) 2021-07-20
KR102605674B1 (ko) 2023-11-23
KR20230164752A (ko) 2023-12-04
US11310534B2 (en) 2022-04-19
CN117676169A (zh) 2024-03-08
US11736736B2 (en) 2023-08-22

Similar Documents

Publication Publication Date Title
US11716461B2 (en) Image coding method and device for carrying out MRL-based intra prediction
US11431985B2 (en) Method and device for signaling information on chroma format
CN112956201B (zh) 使用句法来执行编码的句法设计方法和设备
CN113574871A (zh) 基于mpm列表的帧内预测方法和装置
US11736736B2 (en) Image coding method and device using deblocking filtering
CN114556931A (zh) 基于调色板模式的图像或视频编码
US12010292B2 (en) Method and device for configuring MPM list
CN114424548A (zh) 基于调色板编码的图像或视频编码
EP4277278A1 (en) Transform-based image coding
US20220417506A1 (en) Deblocking filtering method and apparatus in video/image coding system
CN113273210B (zh) 用于编译关于合并数据的信息的方法和装置
US11706442B2 (en) Process and apparatus for controlling compressed motion vectors
US20230239479A1 (en) Method and apparatus for deriving motion vector
CN115004709A (zh) 用于发信号通知切片相关信息的方法和装置
CN114982231A (zh) 图像解码方法及用于其的装置
CN114208182A (zh) 用于基于去块滤波对图像进行编码的方法及其设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant