CN113424544B - 滤波方法及图像解码装置 - Google Patents

滤波方法及图像解码装置 Download PDF

Info

Publication number
CN113424544B
CN113424544B CN201980091496.9A CN201980091496A CN113424544B CN 113424544 B CN113424544 B CN 113424544B CN 201980091496 A CN201980091496 A CN 201980091496A CN 113424544 B CN113424544 B CN 113424544B
Authority
CN
China
Prior art keywords
block
boundary
block boundary
target luminance
condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980091496.9A
Other languages
English (en)
Other versions
CN113424544A (zh
Inventor
罗太英
李善暎
金在一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SK Telecom Co Ltd
Original Assignee
SK Telecom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SK Telecom Co Ltd filed Critical SK Telecom Co Ltd
Priority to CN202410304659.XA priority Critical patent/CN118042169A/zh
Priority to CN202410304662.1A priority patent/CN118042171A/zh
Priority to CN202410304660.2A priority patent/CN118042170A/zh
Priority to CN202410304665.5A priority patent/CN118042172A/zh
Priority claimed from PCT/KR2019/017442 external-priority patent/WO2020122573A1/ko
Publication of CN113424544A publication Critical patent/CN113424544A/zh
Application granted granted Critical
Publication of CN113424544B publication Critical patent/CN113424544B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公开了滤波方法及图像解码装置。根据本发明的一个实施方式。提供了图像解码装置执行滤波的方法，该方法包括以下步骤：对于恢复的图像确定要被应用滤波的一个或更多个块边界；基于块边界的类型和预设条件设置块边界的边界强度；以及基于所设置的边界强度执行滤波。

Description

滤波方法及图像解码装置
技术领域
本发明涉及视频的编码及解码，尤其涉及提高编码及解码效率的滤波方法及视频解码设备。
背景技术
由于视频数据的量比语音数据或静止图像数据的量大，因此在不进行压缩处理的情况下存储或传输视频数据需要大量的硬件资源，包括存储器。
因此，在存储或传输视频数据时，通常使用编码器对视频数据进行压缩以便存储或传输。然后，解码器接收压缩的视频数据，并解压缩和再现视频数据。此类视频的压缩技术包括H.264/AVC和高效视频编码(HEVC)，HEVC与H.264/AVC相比编码效率提高了约40％。
但是，视频的尺寸、分辨率、帧频正在逐渐增大，并且因此要编码的数据量也在不断增加。因此，需要比现有压缩技术具有更好编码效率和更高图像质量的新压缩技术。
发明内容
技术问题
本发明的目的是提供改进的图像编码和解码技术，并且更具体地，提供通过根据块边界的类型选择性地应用各种条件来对图像进行滤波从而提高编码和解码效率的技术。
技术方案
根据至少一个方面，本公开提供了一种滤波方法。该方法包括：确定重构图像中要被应用滤波的至少一个块边界；基于块边界的类型和预设条件设置块边界的边界强度；以及基于所设置的边界强度执行滤波。
根据另一方面，本公开提供了一种视频解码设备。该设备包括：边界确定单元，其被配置为确定重构图像中要被应用滤波的至少一个块边界；强度设置单元，其被配置为基于块边界的类型和预设条件设置块边界的边界强度；以及滤波执行单元，其被配置为基于所设置的边界强度执行滤波。
技术效果
如上所述，根据本发明的实施方式，提出了针对编码单元、预测单元、变换单元等的尺寸相同或不同的情况的滤波方法。
另外，根据本发明的另一实施方式，可以通过经由针对每个子块执行运动补偿的滤波方法去除子块之间出现的块伪影来提高主观图像质量。
附图说明
图1是能够实现本公开的技术的图像编码设备的示例性框图。
图2是用于描述使用四叉树、二叉树、三叉树(QTBTTT)结构来划分块的方法的图。
图3是用于描述多个帧内预测模式的图。
图4是能够实现本公开的技术的图像编码设备的示例性框图。
图5和图6是用于描述应用去块滤波器的传统方法的图。
图7是可以实现本公开的技术的去块滤波器的示例性框图。
图8是根据本发明实施方式的对重构图像执行滤波的处理的流程图。
图9是用于描述块的边界类型的图。
图10是用于描述确定要打开/关闭的滤波器的处理的图。
图11至图13是根据本发明的各种实施方式的为块边界设置边界强度的处理的流程图。
具体实施方式
以下将参照附图详细描述本公开的一些实施方式。应当注意的是，在各个附图中向组成元件添加附图标记时，相似的附图标记指代相似的元件，尽管这些元件在不同的附图中示出。此外，在本公开的以下描述中，将省略并入本文中的已知功能和配置的详细描述以避免模糊本公开的主题。
图1是能够实现本公开的技术的视频编码设备的示例性框图。在下文中，将参照图1描述视频编码设备和该设备的元件。
视频编码设备包括块分割器110、预测器120、减法器130、变换器140、量化器145、编码器150、逆量化器160、逆变换器165、加法器170、滤波器单元180和存储器190。
视频编码设备的每个元件可以用硬件或软件、或者硬件和软件的组合来实现。各个元件的功能可以用软件来实现，并且可以实施微处理器以执行与各个元件相对应的软件功能。
一个视频由多幅图片组成。每幅图片被分割成多个区域，并对每个区域执行编码。例如，一幅图片被分割成一个或更多个瓦片和/或切片。这里，一个或更多个瓦片可以被定义为瓦片组。每个瓦片或切片被分割成一个或更多个编码树单元(CTU)。每个CTU按照树结构被分割成一个或更多个编码单元(CU)。应用于每个CU的信息被编码为CU的语法，并且共同应用于一个CTU中所包含的CU的信息被编码为CTU的语法。此外，共同应用于一个瓦块中的所有块的信息被编码为瓦片的语法或被编码为作为多个瓦片的集合的瓦片组的语法，并且应用于构成一幅图片的所有块的信息被编码在图片参数集(PPS)或图片报头中。此外，由多个图片共同参考的信息被编码在序列参数集(SPS)中。另外，由一个或更多个SPS共同参考的信息被编码在视频参数集(VPS)中。
块分割器110确定编码树单元(CTU)的尺寸。关于CTU的尺寸(CTU尺寸)的信息被编码为SPS或PPS的语法，并且被发送给视频解码设备。
块分割器110将构成视频的每幅图片分割成具有预定尺寸的多个CTU，然后使用树结构递归分割CTU。在树结构中，叶节点用作编码单元(CU)，编码单元是编码的基本单元。
树结构可以是其中节点(或父节点)被分割成具有相同尺寸的四个子节点(或孩子节点)的四叉树(QT)、其中节点被分割成两个子节点的二叉树(BT)、其中节点以1:2:1的比例被分割成三个子节点的三叉树(TT)、或者由QT结构、BT结构和TT结构中的两个或更多个的组合形成的结构。例如，可以使用QTBT(四叉树加二叉树)结构或QTBTTT(四叉树加二叉树三叉树)结构。这里，BTTT可以统称为多类型树(MTT)。
图2示出了QTBTTT分割树结构。如图2所示，最初可以以QT结构来分割CTU。可以重复QT分割，直至分割块的尺寸达到QT中所允许的叶节点的最小块尺寸(MinQTSize)。由编码器150对指示QT结构的每个节点是否被分割成下层的四个节点的第一标志(QT_split_flag)进行编码并发信号通知给视频解码设备。当QT的叶节点不大于BT中所允许的根节点的最大块尺寸(MaxBTSize)时，可以进一步按BT结构或TT结构中的一个或更多个进行分割。在BT结构和/或TT结构中，可以存在多个分割方向。例如，可以存在两个方向，即，节点的块的水平分割和竖直分割。如图2所示，当MTT分割开始时，由编码器150对指示节点是否被分割的第二标志(mtt_split_flag)、指示分割方向(竖直或水平)的标志和/或指示分割类型(二叉或三叉)的标志进行编码并发信号通知给视频解码设备。
作为树结构的另一示例，当使用QTBTTT结构对块进行分割时，由编码器150对关于指示块已被分割的CU分割标志(split_cu_flag)和指示分割类型是否为QT分割的QT分割标志(split_qt_flag)的信息进行编码并发信号通知给视频解码设备。当split_cu_flag的值指示块尚未被分割时，节点的块成为分割树结构中的叶节点并用作作为编码的基本单元的编码单元(CU)。当split_cu_flag的值指示块已经被分割时，通过split_qt_flag的值区分分割类型是QT还是MTT。当分割类型为QT时，没有附加信息。当分割类型为MTT时，由编码器150对指示MTT分割方向(竖直或水平)的标志(mtt_split_cu_vertical_flag)和/或指示MTT分割类型(二叉或三叉)的标志(mtt_split_cu_binary_flag)进行编码并发信号通知给视频解码设备。
作为树结构的另一示例，当使用QTBT时，可以存在两种分割类型，这两种分割类型是将节点的块的水平分割(即，对称水平分割)和竖直分割(即，对称竖直分割)分成相同尺寸的两个块。由编码器150对指示BT结构的每个节点是否被分割成下层的块的分割标志(split_flag)和指示分割类型的分割类型信息进行编码并发送给视频解码设备。可以存在附加类型，附加类型是将节点的块分割为两个非对称块。非对称分割类型可以包括将块以1:3的尺寸比例分割为两个矩形块的类型以及将节点的块进行对角分割的类型。
根据CTU的QTBT或QTBTTT分割，CU可以具有各种尺寸。以下，将与要编码或解码的CU(即，QTBTTT的叶节点)相对应的块称为“当前块”。
预测器120预测当前块以生成预测块。预测器120包括帧内预测器122和帧间预测器124。
一般来说，可以对图片中的每个当前块进行预测编码。可以使用(基于来自包含当前块的图片的数据执行的)帧内预测技术或(基于来自在包含当前块的图片之前被编码的图片的数据执行的)帧间预测技术来执行当前块的预测。帧间预测包括单向预测和双向预测。
帧内预测器122使用包括当前块的当前图片中位于当前块周围的像素(参考像素)来预测当前块中的像素。根据预测方向，存在多种帧内预测模式。例如，如图3所示，多个帧内预测模式可以包括无方向模式以及65个定向模式，无方向模式包括平面模式和DC模式。对于每种预测模式，以不同方式定义了要使用的相邻像素和公式。
帧内预测器122可以确定在对当前块进行编码时要使用的帧内预测模式。在一些示例中，帧内预测器122可以使用若干帧内预测模式对当前块进行编码并且从被测的模式当中选择适当的帧内预测模式来使用。例如，帧内预测器122可以使用若干被测的帧内预测模式的率失真分析来计算率失真值，并且可以在被测的模式当中选择具有最佳率失真特性的帧内预测模式。
帧内预测器122从多种帧内预测模式当中选择一种帧内预测模式，并使用根据所选择的帧内预测模式而确定的相邻像素(参考像素)和公式来预测当前块。由编码器150对关于所选择的帧内预测模式的信息进行编码并且发送给视频解码设备。
帧间预测器124通过运动补偿处理为当前块生成预测块。帧间预测器在比当前图片更早编码和解码的参考图片中搜索与当前块最相似的块，并基于搜索到的块生成当前块的预测块。然后，帧间预测器生成与当前图片中的当前块和参考图片中的预测块之间的位移相对应的运动矢量。通常，对亮度分量执行运动估计，并且对于亮度分量和色度分量二者，使用基于亮度分量计算出的运动矢量。由编码器150对包括关于用于预测当前块的参考图片的信息和关于运动矢量的信息的运动信息进行编码并发送给视频解码设备。
减法器130通过从当前块中减去由帧内预测器122或帧间预测器124生成的预测块来生成残差块。
变换器140将空间域中具有像素值的残差块中的残差信号变换为频域中的变换系数。变换器140可以使用当前块的总尺寸作为变换单元来变换残差块中的残差信号。另选地，变换器可以将残差块分割为变换区和非变换区的子块，并且仅使用变换区的子块作为变换单元来变换残差信号。这里，变换区子块可以是基于具有水平轴(或竖直轴)的1:1的尺寸比的两个矩形块之一。在这种情况下，由编码器150对指示仅子块已被变换的标志(cu_sbt_flag)、方向(竖直/水平)信息(cu_sbt_horizontal_flag)和/或位置信息(cu_sbt_pos_flag)进行编码并发信号通知给视频解码设备。另外，变换区子块的尺寸可以具有基于水平轴(或竖直轴)的1:3的尺寸比。在这种情况下，由编码器150另外对用于区分分割的标志(cu_sbt_quad_flag)进行编码并发信号通知给视频解码设备。
量化器145对从变换器140输出的变换系数进行量化，并且向编码器150输出量化后的变换系数。
编码器150通过使用诸如基于上下文的自适应二进制算术编码(CABAC)之类的编码方法对量化后的变换系数进行编码来生成比特流。编码器150对与块分割相关的诸如CTU尺寸、CU分割标志、QT分割标志、MTT分割方向和MTT分割类型之类的信息进行编码，以便视频解码设备以与视频编码设备相同的方式分割块。
此外，编码器150对关于指示当前块是通过帧内预测还是通过帧间预测被编码的预测类型的信息进行编码，并且根据预测类型对帧内预测信息(即，关于帧内预测模式的信息)或帧间预测信息(关于参考图片和运动矢量的信息)进行编码。
逆量化器160对从量化器145输出的量化变换系数进行逆量化以生成变换系数。逆变换器165将从逆量化器160输出的变换系数从频域变换到空间域并重构残差块。
加法器170将重构的残差块与由预测器120生成的预测块相加，以重构当前块。重构的当前块中的像素被用作用于下一个块的帧内预测的参考像素。
滤波器单元180对重构的像素进行滤波以减少由于基于块的预测和变换/量化而产生的块伪影、振铃伪影和模糊伪影。滤波器单元180可以包括去块滤波器182和样本自适应偏移(SAO)滤波器184。
去块滤波器180对重构的块之间的边界进行滤波以去除由逐块编码/解码引起的块伪影，并且SAO滤波器184附加地对去块滤波后的视频进行滤波。SAO滤波器184是用于补偿由有损编码引起的重构像素和原始像素之间的差异的滤波器。
通过去块滤波器182和SAO滤波器184滤波后的重构块被存储在存储器190中。一旦重构了一幅图片中的所有块，重构图片就被用作用于要编码的下一个图片中的块的帧间预测的参考图片。
图4是能够实现本公开的技术的视频解码设备的示例性功能框图。在下文中，将参照图4描述视频解码设备和该设备的元件。
视频解码设备可以包括解码器410、逆量化器420、逆变换器430、预测器440、加法器450、滤波器单元460和存储器470。
与图1的视频编码设备类似，视频解码设备的每个元件可以被实施为硬件或软件，或者可以被实施为硬件和软件的组合。另外，每个元件的功能可以被实施为软件，并且可以实施微处理器以执行与每个元件相对应的软件的功能。
解码器410通过对从视频编码设备接收到的比特流进行解码并提取与块分割相关的信息来确定要解码的当前块，并且提取重构当前块所需的关于残差信号的信息和预测信息。
解码器410从序列参数集(SPS)或图片参数集(PPS)中提取关于CTU尺寸的信息，确定CTU的尺寸，并将图片分割成所确定尺寸的CTU。然后，解码器将CTU确定为最上层(即，树结构的根节点)，并且提取关于CTU的分割信息，以利用树结构对CTU进行分割。
例如，当使用QTBTTT结构对CTU进行分割时，首先提取与QT分割相关的第一标志(QT_split_flag)，并将每个节点分割为下层的四个节点。然后，对于与QT的叶节点相对应的节点，提取与MTT分割相关的第二标志(MTT_split_flag)和关于分割方向(竖直/水平)和/或分割类型(二叉/三叉)的信息，并且以MTT结构分割叶节点。这样，以BT或TT结构递归地分割QT的叶节点下面的每个节点。
作为另一示例，当使用QTBTTT结构对CTU进行分割时，首先提取指示CU是否被分割的CU分割标志(split_cu_flag)。如果相应的块被分割，则提取QT分割标志(split_qt_flag)。当分割类型不是QT而是MTT时，附加地提取指示MTT分割方向(竖直或水平)的标志(mtt_split_cu_vertical_flag)和/或指示MTT分割类型(二叉或三叉)的标志(mtt_split_cu_binary_flag)。在分割处理中，每个节点可以经历零次或更多次递归QT分割，然后再经历零次或更多次递归MTT分割。例如，CTU可以立即被MTT分割，或者可以仅被QT分割多次。
作为另一示例，当使用QTBT结构分割CTU时，提取与QT分割相关的第一标志(QT_split_flag)，并且每个节点被分割成下层的四个节点。对于与QT的叶子节点相对应的节点，提取指示该节点是否被进一步BT分割的split_flag和分割方向信息。
一旦通过树结构分割确定了要解码的当前块，解码器410就提取关于指示当前块是经历了帧内预测还是帧间预测的预测类型的信息。当预测类型信息指示帧内预测时，解码器410提取当前块的帧内预测信息(帧内预测模式)的语法元素。当预测类型信息指示帧间预测时，解码器410提取帧间预测信息的语法元素，即，指示运动矢量和运动矢量所参考的参考图片的信息。
解码器410提取关于当前块的量化变换系数的信息作为关于残差信号的信息。
逆量化器420对量化后的变换系数进行逆量化，并将逆量化后的变换系数从频域逆变换到空间域以重构残差信号，从而生成当前块的残差块。
另外，当逆变换器430仅对变换块的局部区域(子块)进行逆变换时，提取指示仅变换块的子块已被变换的标志(cu_sbt_flag)以及关于子块的方向信息(竖直/水平)(cu_sbt_horizontal_flag)和/或子块位置信息(cu_sbt_pos_flag)。然后，通过将子块的变换系数从频域逆变换到空间域来重构残差信号。对于没有被逆变换的区域，用“0”填充残差信号。从而，创建当前块的最终残差块。
预测器440可以包括帧内预测器442和帧间预测器444。在当前块的预测类型为帧内预测时激活帧内预测器442，并且在当前块的预测类型为帧间预测时激活帧间预测器444。
帧内预测器442基于从解码器410提取的帧内预测模式的语法元素，在多个帧内预测模式当中确定当前块的帧内预测模式，并根据帧内预测模式基于当前块周围的参考像素来预测当前块。
帧间预测器444基于从解码器410提取的帧内预测模式的语法元素确定当前块的运动矢量和运动矢量所参考的参考图片，并基于运动矢量和参考图片预测当前块。
加法器450通过将从逆变换器输出的残差块和从帧间预测器或帧内预测器输出的预测块相加来重构当前块。重构的当前块中的像素被用作用于稍后要解码的块的帧内预测的参考像素。
滤波器单元460可以包括去块滤波器462和SAO滤波器464。去块滤波器462对重构的块之间的边界执行去块滤波，以去除由逐块解码引起的块伪影。SAO滤波器464对去块滤波之后的重构的块执行附加滤波，以补偿由有损编码引起的重构像素和原始像素之间的差异。通过去块滤波器462和SAO滤波器464滤波的重构的块被存储在存储器470中。当重构了一幅图片中的所有块时，重构的图片被用作用于之后要编码的图片中的块的帧间预测的参考图片。
在描述本发明的各种实施方式之前，将简要描述将去块滤波器应用于重构的图像的传统方法。
如上所述，在高效视频编码(HEVC)标准中存在两种类型的环路滤波器(去块滤波器和样本自适应偏移(SAO)滤波器)。去块滤波器可以执行以下操作以去除块边界(或边缘)之间出现的块伪影。
1)确定块边界-2)计算边界强度(Bs)-3)确定β和tc-4)确定要开启/关闭的滤波器-5)选择强/弱滤波器。
首先，确定块边界的操作对应于确定块边界当中可以对其执行滤波的块边界的处理。可以基于特定边界是否是最小的8×8块边界并且对应于预测单元或变换单元的边界来确定要对其执行滤波的块边界。
图5中例示了块边界的示例。图5中的(a)例示了32×32亮度块，并且图5中的(b)例示了16×16色度块。去块滤波器对竖直方向上的边缘执行水平滤波，然后对水平方向上的边缘执行竖直滤波。当与位于图5中的(a)所示的实心四边形内的边缘相邻的两个块被设置为块P和块Q时，如图5的上端中所示，可以基于水平轴和竖直轴对与两个块的边界相邻的一些像素进行索引。
计算边界强度的操作对应于计算水平方向上的边缘和竖直方向上的边缘的强度的处理。如以下将描述的，在该操作中，对边缘应用各种条件，并且将边界强度值设置为0、1或2，因此该操作可以是设置边界强度的处理。这里，边界强度值“0”意味着对相应边缘不执行滤波。
图6例示了设置边界强度的处理的流程图。首先，确定两个块P和Q的预测模式是否为帧内模式(S610)，并且即使当两个块中的任何一个是以帧内模式预测的时，边界强度也被设置为“2”(S615)。当两个块的预测模式不是帧内模式(两个块全部以帧间模式预测)时，可以执行以下处理：基于在两个块之间的边缘处是否出现像素值的不连续性(去块现象)，将边界强度设置为“1”或“0”。
确定两个块中是否存在非零变换系数(non-zero coeff.)(S620)，以在两个块中的至少一个包括非零变换系数时，将边界强度设置为“1”(S625)。当两个块中不包括非零变换系数时，执行确定两个块的参考图片(ref_pic)是否不同的处理S630。
当在处理S630中确定出两个块参考不同的参考图片时，边界强度被设置为“1”(S625)。当确定两个块参考相同的参考图片时，可以执行确定两个块是否具有不同数量的运动矢量(#MV)的处理S640。
当在处理S640中确定两个块具有不同数量的运动矢量时，将边界强度设置为“1”(S625)。另一方面，当确定两个块使用相同数量的运动矢量时，执行确定两个块的运动矢量的水平轴方向分量之间差的绝对值|MV_Ph-MV_Qh|或者竖直轴方向分量之间差的绝对值|MV_Pv-MV_Qv|是否为4或更大的处理S650。在步骤S650中，当水平轴方向分量或竖直轴方向分量之间差的绝对值为4或更大时，将边界强度设为“1”，否则将边界强度设为“0”。在色度块的情况下，原样不变地使用在亮度块的相应位置处计算的边界强度。
在设置边界强度时，可以执行基于所设置的边界强度确定用于滤波的两个参数(β和tc)的处理、使用边界强度和/或β确定是否向相应边缘应用滤波(确定要开启/关闭的滤波器)的处理、在强滤波器和弱滤波器当中选择要应用于相应边缘的滤波器的强度的处理等，从而实现滤波。
如上所述，传统方法在编码单元、预测单元和/或变换单元的尺寸彼此不同的前提下，为被应用滤波的边缘设置边界强度。
另一方面，本发明提出了一种在编码单元、预测单元和/或变换单元的尺寸彼此相等的前提下为被应用滤波的边缘设置边界强度的方法。即，根据本发明，可以仅对编码单元(或预测单元)的边界应用滤波，并且可以不对变换单元应用滤波。然而，本发明还提出了以下例外情况的处理方法。
1)本发明还提出了通过将编码单元、预测单元和/或变换单元的尺寸彼此不同的情况作为例外情况处理来针对例外情况设置边界强度的方法。例如，本发明将编码单元大于变换单元的变换核的尺寸的情况归类为编码单元、预测单元和/或变换单元的尺寸彼此不同的例外情况，并提出了其处理方法。例如，最大变换核的尺寸是64×64，但是当编码单元的尺寸是128×128、128×64和64×128之一时，应向一个编码单元应用多个变换(多次)。在这种情况下，除了编码单元的边界之外，本发明还可以对位于编码单元中的变换单元的边界执行滤波。
2)此外，本发明将针对位于编码单元或预测单元中的每个子块执行运动补偿的情况作为例外情况来处理，并提出了针对例外情况的滤波方法。基于子块的运动补偿可以包括SbTMVP(基于子块的时间运动矢量预测、或高级/替代时间运动矢量预测器(ATMVP))、双向光流(BDOF或BIO)、仿射模式等等。子块的尺寸可以变化。然而，在本说明书中，假设被应用滤波的子块的最小尺寸是8×8。例如，当以4×4子块为单位对16×16编码单元进行运动补偿时，假设仅对8×8网格上的子块边界应用滤波。在这种情况下，一个编码单元内的子块可以使用相同的参考图片并且可以使用相同数量的运动矢量。
在下文中，将描述本发明提出的滤波方法。
如图7所示，可以实现本公开的技术的去块滤波器182或462可以被配置为包括边界确定单元710、强度设置单元720和滤波执行单元730。另外，滤波执行单元730可以被配置为包括推导单元732、开/关确定单元734和滤波器选择单元736。
边界设置单元710可以根据重构图像或编码树单元(CTU)设置块边界(S810)。设置的块边界可以对应于存在于重构图像或CTU中的边界当中的可以被应用滤波的边界。在本公开中，为了更于描述，假设块边界的最小尺寸为8×8。
块
形成边界的块的类型可以多种多样。例如，块可以包括编码块、预测块、变换块、子块、基本块等。预测块可以与编码块相同。基本块可以是在帧间预测期间执行运动补偿的块单元，或者可以是在帧内预测期间使用一种帧内模式处理的块单元。即，基本块可以是作为运动补偿的单位的包括预测块和子块的概念。因此，基本块可以是预测块或子块。
块边界的类型
存在于重构的图像或CTU中的边界可以根据相邻块的类型而被分类。例如，形成于相邻编码块之间的边界可以是编码块边界CB或编码块边缘，形成于相邻预测块之间的边界可以是预测块边界PB或预测块边缘。另外，形成于相邻变换块之间的边界、形成于相邻子块之间的边界以及形成于相邻基本块之间的边界分别可以是变换块边界(TB，变换块边缘)、子块边界(SB，子块边缘)和基本块边界(FB，基本块边缘)。
图9中例示了块边界的类型的示例。图9例示了其中一个CTU被划分为多个编码单元的形式。图9中的(a)例示了变换块边缘(虚线)，并且图9中的(b)例示了预测块边缘(实线)和子块边缘(点划线)。由于本发明假设编码单元、预测单元和变换单元尺寸相同，因此可以看出变换块边缘和预测块边缘匹配。
在图9中，不带图案的圆圈表示与变换块边缘和预测块边缘相邻的像素，带有水平图案的圆圈表示与子块边缘(与变换块边缘和预测块边缘不对应的边缘)相邻的像素。
强度设置单元720可以基于上述块边界的类型和预设条件来设置块边界的边界强度(S820)。即，强度设置单元720可以通过将特定块边界的类型和预设条件应用于相应边缘来设置相应边缘的边界强度。
预设条件
预设条件可以对应于用于确定特定边界中是否存在去块现象的准则。另外，预设条件可以对应于用于确定存在于特定边界处的去块现象是固有地存在于原始图像中还是在量化处理中产生的准则。
预设条件可以包括以下条件中的一个或更多个：针对形成块边界的一个或更多个块(目标块)中是否存在非零变换系数的第一条件；针对目标块是否被通过参考不同的参考图片或使用不同数量的运动矢量来预测的第二条件；针对在由目标块使用的运动矢量之间的水平轴方向分量之差(绝对值)或竖直轴方向分量之差(绝对值)是否大于或等于预设值(例如，“4”)的第三条件；针对已经使用不同数量的运动矢量预测目标块的第四条件等。
另外，预设条件还可以包括基于目标块的预测模式的条件。例如，预设条件还可以包括：目标块中的一个或更多个是否是按帧内模式预测的；目标块当中的块P的预测块和块Q的预测块是否彼此不同；目标块是否是按帧内块复制(ibc)模式来编码的；等等。根据实施方式，可以在“目标块中的一个或更多个是否是按帧内模式预测的”之后确定“块P的预测模式和块Q的预测模式是否彼此不同”。例如，当块P和块Q二者都不是按帧内模式预测的时，当块P和块Q中的任何一个是按ibc模式预测的而另一个是按帧内模式预测的时，可以确定满足相应条件。
当在两个块(目标块)中没有包括非零变换系数时(即，当所有变换系数为零时)，仅用运动补偿值(预测值)执行图像重构，因此在边缘处将很可能出现像素值的不连续。第一条件可以对应于用于确定该点的条件。
然而，即使当不包括非零变换系数时，当通过参考不同的参考图片对目标块进行运动补偿时也可能出现像素值的不连续。而且，当目标块使用不同数量的运动矢量或使用不同的运动矢量时，可能出现像素值的不连续。第二条件至第四条件可以对应于用于确定这些点的条件。
强度设置单元720可以通过使用块边界的类型和预设条件中的一个或更多个来设置相应边缘的边界强度。另外，强度设置单元720可以通过使用块边界的类型和预设条件中的两个或更多个组合来设置相应边缘的边界强度。
当设置了边界强度时，滤波执行单元730可以基于所设置的边界强度来对相应的边缘执行滤波(S830至S860)。滤波执行单元730可以通过执行上述“β和tc确定”、“滤波器开启/关闭确定”、“强/弱滤波器选择”等来执行滤波。
首先，推导单元732可以使用在目标块中使用的量化参数QPP和QPQ来推导亮度的中值(qPL或亮度的平均值)和色度的中值(qPC或色度的平均值)(S830)。该处理可以通过下面的式1和式2来实现。
[式1]
qPL＝(QPP+QPQ+1)＞＞1
[式2]
qPC＝(QPP+QPQ+1)＞＞1+cQpPicOffset
在式2中，cQPPicOffset是用于对色度自适应地应用滤波器的偏移量，并且可以被传输到图片级报头。根据实施方式，可以通过将偏移值应用于通过对量化参数QPP和QPQ取平均而获得的值来推导亮度的中值(qPL)。下面将描述通过进一步使用偏移值来推导亮度的中值的实施方式。
当推导中值时，推导单元732可执行计算用于推导两个参数β和tc中的每一个的变量Q值的处理(S830)。可以通过下面的式3和式4中的任何一个来获得推导参数β的Q值，并且可以通过下面的式5和式6中的任何一个来获得推导tc的Q值。
[式3]
对于β：Q＝clip3(0，51，qPL+(slice_beta_offset_div2＜＜1))
[式4]
对于β：Q＝clip3(0，63，qPL+(sliee_beta_offset_div2＜＜1))
[式5]
对于tc：Q＝clip3(0，53，qPL+2x(bS-1)+(slice_tc_offset_div2＜＜1))
[式6]
对于tc：Q＝clip3(0，65，qPL+2x(bS-1)+(slice_tc_offset_div2＜＜1))
在式3到式6中，slice_beta_offset_div2和slice_tc_offset_div2是通过切片(或瓦片或瓦片组)报头传输的值，并且bS表示边界强度。
当推导出了Q值时，推导单元732可以通过将两个Q值应用于查找表来推导β′和tc′(S830)。查找表可以是以下表1和表2中的任何一个。表2反映了Q值的最大值的扩展(式4和式6)。
[表1]
Q 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
tc′ 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1
β′ 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 6 7 8
Q 19 20 21 22 23 24 25 26 27 28 29 30 3l 32 33 34 35 36 37
tc′ 1 1 1 1 1 1 1 1 2 2 2 2 3 3 3 3 4 4 4
β′ 9 10 11 12 13 14 15 16 17 18 20 22 14 26 28 30 32 34 36
Q 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53
tc′ 5 5 6 6 7 8 9 10 11 13 14 16 18 20 22 24
β′ 28 40 42 44 46 48 50 52 54 56 58 60 62 64 - -
[表2]
Q 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
tc′ 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1
β′ 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 6 7 8
Q 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37
tc′ 1 1 1 1 1 1 1 1 2 2 2 2 3 3 3 3 4 4 4
β′ 9 10 11 12 13 14 15 16 17 18 20 22 24 26 28 30 32 34 36
Q 38 39 40 41 42 43 44 45 46 47 48 49 50 5l 52 53 54 55 56
tc′ 5 5 6 6 7 8 9 10 11 13 14 16 18 20 22 25 28 31 35
β′ 38 40 42 44 46 48 50 52 54 56 58 60 62 64 66 68 70 72 74
Q 57 58 59 60 61 62 63 64 65
tc′ 39 44 50 56 63 70 79 88 99
β′ 76 78 80 82 84 85 88 - -
当推导出了β′和tc′时，推导单元732可以通过将位深度应用于β′和tc′的值来推导两个参数β和tc(S830)。可以通过下面的式7和式8来实现该处理。
[式7]
tc＝tc′x(1＜＜(BitDepthY-8))
[式8]
β＝β′x(1＜＜(BitDepthY-8))
开/关确定单元734可以基于从推导单元732推导出的参数和边界强度来确定是否对相应的边缘应用滤波器(开/关)(S840)。可以以由目标块中包括的像素所构成的行中的四行为单位来确定是否对亮度块应用滤波器。
例如，如图10所示，当表示具有8×8尺寸的目标块(块P和块Q)中所包括的像素时，可以在竖直轴方向上确定总共8个像素行。开/关确定单元734可以确定是否从第0行到第3行(用点划线表示的框)应用滤波器，并且可以确定是否从第4行到第7行(用实线表示的框)应用滤波器。
用于确定是否应用滤波器的公式如下面的式9和式10所示。式9是用于确定从第0行到第3行是否应用滤波器的公式，并且式10是用于确定是否从第4行到第7行应用滤波器的公式。当满足式9和式10中要求的两个条件时，向相应的边缘应用滤波器。
[式9]
bS(luma)＞0，
d0+d3＜β其中，di＝|p2i-2*p1i+p0i|+|q2i-2*q1i+q0i|
[式10]
bS(luma)＞0，
d4+d7＜β其中，di＝|p2i-2*p1i+p0i|+|q2i-2*q1i+q0i|
可以基于边界强度值来确定是否对色度块应用滤波器。当边界强度值超过一时，可以对相应色度块的边缘执行滤波。即，在色度块的情况下，仅当以帧内模式对目标块中的一个或更多个进行编码时才应用滤波器。
当确定是否应用滤波器时，滤波器选择单元736可以选择强滤波器或弱滤波器(S860)。还可以如图10所示针对四个像素行中的每一行确定选择强滤波器还是弱滤波器。下面的式11和式12示出了用于确定滤波器的强弱的公式。式11被应用于第0行至第3行，而式12被应用于第4行至第7行。当式11和式12中所要求的三个条件全部满足时，对相应的边缘应用强滤波器，并且在其他情况下应用弱滤波器。对于色度块，只存在一个滤波器。
[式11]
2di＜(β＞＞2)，
|p3i-p0i|+|q3i-q0i|＜(β＞＞3)，
|p0i-qoi|＜((5*tc+1)＞＞1)
[式12]
2di＜(β＞＞2)，
|p3i-p0i|+|q3i-q0i|＜(β＞＞3)，
|p0i-q0i|＜((5*tc+1)＞＞1)
通过以上处理确定是否应用滤波器以及滤波器的类型。在这种情况下，滤波执行单元730可以对相应的边缘应用滤波(S860)。当对亮度块应用强滤波时，可以对与目标块的边界相邻的三个像素(总共六个像素)进行滤波，而当应用弱滤波时，可以对与边界相邻的两个像素(总共四个像素)应用滤波。在色度块的情况下，由于仅存在一种类型的滤波器，因此可以对与边界相邻的两个像素(总共四个像素)进行滤波。
以下，将详细描述本发明提出的各种实施方式。
第一实施方式
第一实施方式涉及通过将预设条件应用于变换块边界和基本块边界来设置边界强度的方法。
如图11所示，当块边界对应于变换块边界TB并且形成变换块边界TB的目标块满足第一条件(在目标块中的一个或更多个中存在非零变换系数)时(S1120)，视频编码/解码设备可以将边界强度设置为第一值(例如，“1”)(S1125)。
另外，当块边界对应于基本块边界FB且形成基本块边界FB的目标块满足第二条件(已通过参考不同的参考图片或使用不同数量的运动矢量来预测目标块)时(S1130)，视频编码/解码设备可以将边界强度设置为第一值(S1125)。
此外，当块边界对应于基本块边界FB并且形成基本块边界FB的目标块满足第三条件(在目标块所使用的运动矢量之间的水平轴方向分量之差或竖直轴方向分量之差大于或等于预设值)时(S1140)，视频编码/解码设备可以将边界强度设置为第一值(S1125)。
视频编码/解码设备顺序地确定处理S1120至S1130，并且当确定出不满足全部处理时，可以将边界强度设置为零值(例如，“0”)(S1145)。在这种情况下，不可以对相应的边缘应用滤波。
根据实施方式，视频编码/解码设备可以确定块边界是否对应于基本块边界FB以及形成基本块边界FB的目标块是否满足第五条件(目标块当中的至少一个是以帧内模式预测的)(S1110)。当确定满足第五条件时，视频编码/解码设备可以将边界强度设置为第二值(例如，“2”)(S1115)。当确定不满足第五条件时，视频编码/解码设备可以执行处理S1120至S1140。
对于基本块的边界FB中所包含的子块边界SB，形成子块边界SB的目标块可以参考不同的参考图片或相同的参考图片。由于在S1130中确定是否满足第二条件(目标块参考不同的参考图片)，所以可以处理目标块参考不同参考图片或参考相同参考图片的全部情况。
在第一实施方式中，通过确定基本块边界FB，可以一次性确定预测块边界PB和子块边界SB。因此，第一实施方式可以简化设置边界强度的处理。
第二实施方式
第二实施方式涉及通过将预设条件应用于变换块边界TB、预测块边界PB和子块边界SB来设置边界强度的方法。即，第二实施方式涉及通过将第一实施方式的基本块边界FB分类为预测块边界PB和子块边界SB来确定边界强度的方法。
如图12所示，当块边界对应于变换块边界TB并且形成变换块边界TB的目标块满足第一条件(在目标块中的一个或更多个中存在非零变换系数)时(S1220)，视频编码/解码设备可以将边界强度设置为第一值(S1225)。
另外，当块边界对应于预测块边界PB并且形成预测块边界PB的目标块满足第二条件(已经通过参考不同参考图片或使用不同数量的运动矢量预测了目标块)时(S1230)，视频编码/解码设备可以将边界强度设置为第一值(S1225)。
另外，当块边界对应于预测块边界PB并且形成预测块边界PB的目标块满足第三条件(目标块使用的运动矢量之间的水平轴方向分量之差或竖直轴方向分量之差大于或等于预设值)时(S1240)，视频编码/解码设备可以将边界强度设置为第一值(S1225)。
另外，当块边界对应于子块边界SB且形成子块边界SB的目标块满足第四条件(已经使用不同数量的运动矢量预测了目标块)时(S1250)，视频编码/解码设备可以将边界强度设置为第一值(S1225)。
另外，当块边界对应于子块边界SB并且形成子块边界SB的目标块满足第三条件时(S1260)，视频编码/解码设备可以将边界强度设置为第一值(S1225)。
视频编码/解码设备顺序地确定处理S1220至S1260，并且当确定不满足全部处理时，可以将边界强度设置为0值(S1265)。在这种情况下，不可以对相应的边缘应用滤波。
根据实施方式，视频编码/解码设备可以确定块边界是否对应于预测块边界PB，并且形成预测块边界PB的目标块是否满足第五条件(目标块中的至少一个是以帧内模式预测的)(S1210)。当确定满足第五条件时，视频编码/解码设备可以将边界强度设置为第二值(S1215)。当确定不满足第五条件时，视频编码/解码设备可以执行处理S1220至S1260。
在第二实施方式中，在预测块边界PB的情况下，确定是否满足第二条件(目标块参考不同参考图片)，但在子块边界SB的情况下，不确定是否满足第二条件。因此，在第二实施方式中，形成预测块边界PB的目标块的参考图片可以彼此不同，但是形成子块边界SB的目标块的参考图片可以相同。
第三实施方式
第三实施方式涉及为未应用变换处理的子块的边界(子块边界SB)设置边界强度的方法。
在存在于编码块或预测块中的子块经过运动补偿之后，可以通过变换处理来组合这些子块的模式。然而，当子块不经过变换处理时，子块的预测模式保持不变，从而可能出现或强调子块边界SB之间的去块现象。根据第三实施方式，本发明提出了通过为未应用变换处理的子块边界SB设置边界强度来对子块边界SB应用滤波的方法。
未应用变换处理的情况如下：其中跳过变换处理的变换跳过模式；其中跳过所有变换和量化处理的变换-量化旁路模式；其中因为变换系数全部为零而跳过全部变换和量化处理的跳过模式；等等。
如图13所示，视频编码/解码设备可以确定相应边缘是否对应于子块边界SB(S1310)。当相应边缘对应于子块边界SB时，视频编码/解码设备可以确定是否对目标块应用变换处理(S1320至S1340)。
具体地，视频编码/解码设备可以确定以下中的至少一项以便确定是否对目标块应用变换处理：是否对目标块应用了变换跳过模式(S1320)；是否对目标块应用了变换-量化旁路模式(S1330)；以及是否对目标块应用了跳过模式(S1340)。
当确定没有对目标块应用变换处理时，视频编码/解码设备可以将相应边缘的边界强度设置为第一值以减少去块现象(S1325)。另一方面，当确定对目标块应用了变换处理时，视频编码/解码设备可以将相应边缘的边界强度设置为零值(S1345)。
在处理S1320中，可以使用指示是否应用变换跳过模式的信息(例如，transform_skip_flag)。如果transform_skip_flag＝1，则这可以表示应用了变换跳过模式(跳过了变换处理)，并且如果transform_skip_flag＝0，则这可以表示未应用变换跳过模式(未跳过变换处理)。
可以使用指示是否应用变换-量化旁路模式的信息(例如，cu_transquant_bypass_flag)来执行处理S1330。如果cu_transquant_bypass_flag＝1，则这可以表示应用了变换-量化旁路模式(跳过了变换和量化处理)，并且如果cu_transquant_bypass_flag＝0，则这可以表示未应用变换-量化旁路模式(未跳过变换和量化处理)。
可以使用指示是否应用跳过模式的信息(例如，cbf)来执行处理S1340。如果cbf＝1，则这可以表示未应用跳过模式(未跳过变换和量化处理)，并且如果cbf＝0，则这可以表示应用了跳过模式(跳过了变换和量化处理)。
第四实施方式
第四实施方式涉及通过应用偏移值来推导亮度的中值(qPL)的方法。
如上所述，可以通过对目标块的量化参数QPP和QPQ取平均来推导亮度中值qPL。根据实施方式(根据第四实施方式)，可以通过将偏移值(偏移信息)应用于通过对目标块的量化参数取平均而获得的值来推导亮度的中值。偏移值对应于用于通过调整亮度的中值来自适应地调整滤波器强度的信息或值。
用于将偏移值应用于量化参数的平均值的公式如下面的式13所示。
[式13]
qP＝((QpQ+Qpp+1)＞＞1)+qpOffset
在上面的式13中，qP表示亮度的中值，并且qpOffset表示偏移值。偏移值可以在图片级报头、序列级报头、瓦片组报头和瓦片报头的一个或更多个位置中传输。
根据实施方式，视频编码/解码设备可以通过在不考虑其他条件的情况下将偏移值应用于量化参数的平均值来推导亮度的中值，或者通过在满足其他条件时将偏移值应用于量化参数的平均值来推导亮度的中值。
作为考虑其他条件的示例，视频编码/解码设备可以通过在目标块的亮度水平超过或大于或等于阈值时将偏移值应用于量化参数的平均值来推导亮度的中值。亮度水平可以对应于目标块中所包括的像素值的平均值。例如，亮度水平可以对应于第0像素行中所包括的一个或更多个像素和第3像素行中所包括的一个或更多个像素的平均值。关于要与亮度水平进行比较的阈值的信息可以在图片级报头、序列级报头、瓦片组报头和瓦片报头的一个或更多个位置传输。
尽管已经出于例示的目的描述了示例性实施方式，但是本领域技术人员将理解，在不脱离实施方式的思想和范围的情况下，可以有各种修改和变化。为了简洁和清楚起见，已经描述了示例性实施方式。因此，普通技术人员将理解实施方式的范围不受以上显式描述的实施方式的限制，而是包括权利要求及其等同物。
相关申请的交叉引用
本申请要求于2018年12月13日提交的韩国专利申请No.10-2018-0161235和2019年11月22日提交的韩国专利申请No.10-2019-0151590的优先权，它们的全部内容通过引用并入本文中。

Claims (17)

1.一种由对图片的序列进行编码的视频编码设备执行的用于对重构亮度块之间的块边界进行滤波的滤波方法，该滤波方法包括以下步骤：
确定重构图像中要被应用滤波的至少一个块边界；
基于多个预测模式当中的形成所述块边界的两个目标亮度块的预测模式、所述块边界的类型和预设条件设置所述块边界的边界强度，其中，所述多个预测模式包括帧内预测模式、帧内块复制模式和帧间预测模式；
计算分别应用于所述目标亮度块的量化参数的平均值，并通过将所述平均值添加到基于要在作为由属于所述序列的所述图片共同参考的报头的序列参数集级别编码的偏移信息而确定的偏移值来推导变量；
使用所述变量来推导第一滤波参数和第二滤波参数；以及
基于所设置的边界强度、所述第一滤波参数和所述第二滤波参数来对所述块边界执行所述滤波，
其中，所述边界强度的设置包括：
如果所述两个目标亮度块中的至少一个通过所述帧内预测模式被预测，则将所述边界强度设置为第二值；以及
否则，如果所述两个目标亮度块中的一个通过所述帧内块复制模式被预测并且所述两个目标亮度块中的另一个通过所述帧间预测模式被预测，则将所述边界强度设置为与所述第二值不同的第一值。
2.根据权利要求1所述的滤波方法，其中，所述预设条件包括：
针对在形成所述块边界的目标亮度块中的一个或更多个中是否存在非零变换系数的第一条件；
针对是否通过参考不同参考图片或者使用不同数量的运动矢量来预测所述目标亮度块的第二条件；以及
针对由所述目标亮度块使用的运动矢量之间的水平轴方向分量之差或竖直轴方向分量之差是否大于或等于预设值的第三条件，
其中，当所述两个目标亮度块二者都不通过所述帧内预测模式被预测时，如果所述预设条件中的至少一个被满足，则所述边界强度被设置为所述第一值。
3.根据权利要求2所述的滤波方法，其中，所述块边界的类型包括变换块边界和基本块边界，并且
其中，设置所述边界强度的步骤包括：当所述块边界对应于所述变换块边界且所述目标亮度块满足所述第一条件时，或者当所述块边界对应于所述基本块边界且所述目标亮度块满足所述第二条件或所述第三条件时，将所述边界强度设置为所述第一值。
4.根据权利要求2所述的滤波方法，其中，所述预设条件还包括：针对是否使用所述不同数量的运动矢量来预测所述目标亮度块的第四条件，
其中，所述块边界的类型包括变换块边界、预测块边界和子块边界，并且
其中，设置所述边界强度的步骤包括：当所述块边界对应于所述变换块边界且所述目标亮度块满足所述第一条件时，或者当所述块边界对应于所述预测块边界且所述目标亮度块满足所述第二条件或所述第三条件时，或者当所述块边界对应于所述子块边界且所述目标亮度块满足所述第三条件或第四条件时，将所述边界强度设置为所述第一值。
5.根据权利要求1所述的滤波方法，其中，所述块边界的类型包括子块边界，
其中，所述预设条件包括：针对是否未对形成所述块边界的目标亮度块应用变换处理的第五条件，并且
其中，设置所述边界强度的步骤包括：当所述块边界对应于所述子块边界且所述目标亮度块满足所述第五条件时，将所述边界强度设置为所述第一值。
6.根据权利要求1所述的滤波方法，所述方法还包括：
通过对所述目标亮度块中包括的多个像素的值进行平均来推导亮度水平，
其中，当所述亮度水平大于在所述序列参数集级别确定的阈值时，所述偏移值用于添加到所述量化参数的所述平均值。
7.根据权利要求1所述的滤波方法，其中，所述第一滤波参数和所述第二滤波参数的推导包括：
基于将所述变量添加到在切片级别确定的第一偏移来推导所述第一滤波参数；以及
基于将所述变量添加到在所述切片级别确定的第二偏移来推导所述第二滤波参数。
8.根据权利要求7所述的滤波方法，其中，所述块边界的类型包括子块边界，并且
其中，设置所述边界强度的步骤包括：当所述块边界对应于所述子块边界且所述目标亮度块的所述预测模式彼此不同时，将所述边界强度设置为所述第一值。
9.一种用于对图片的序列进行解码的视频解码设备，该视频解码设备包括：
边界确定单元，该边界确定单元被配置为确定重构图像中要被应用滤波的至少一个块边界；
强度设置单元，该强度设置单元被配置为基于多个预测模式当中的形成所述块边界的两个目标亮度块的预测模式、所述块边界的类型和预设条件设置所述块边界的边界强度，其中，所述多个预测模式包括帧内预测模式、帧内块复制模式和帧间预测模式；以及
滤波执行单元，该滤波执行单元被配置为：
计算分别应用于所述目标亮度块的量化参数的平均值，并通过将所述平均值添加到从在由属于所述序列的所述图片共同参考的作为报头的序列参数集级别解码的偏移信息推导的偏移值来推导变量；
使用所述变量来推导第一滤波参数和第二滤波参数；并且
基于所设置的边界强度、所述第一滤波参数和所述第二滤波参数来对所述块边界执行所述滤波，
其中，所述强度设置单元被配置为：
如果所述两个目标亮度块中的至少一个通过所述帧内预测模式被预测，则将所述边界强度设置为第二值；并且
否则，如果所述两个目标亮度块中的一个通过所述帧内块复制模式被预测并且所述两个目标亮度块中的另一个通过所述帧间预测模式被预测，则将所述边界强度设置为与所述第二值不同的第一值。
10.根据权利要求9所述的视频解码设备，其中，所述预设条件包括：
针对在形成所述块边界的目标亮度块中的一个或更多个中是否存在非零变换系数的第一条件；
针对是否通过参考不同参考图片或者使用不同数量的运动矢量来预测所述目标亮度块的第二条件；以及
针对由所述目标亮度块使用的运动矢量之间的水平轴方向分量之差或竖直轴方向分量之差是否大于或等于预设值的第三条件，
其中，当所述两个目标亮度块二者都不通过所述帧内预测模式被预测时，如果所述预设条件中的至少一个被满足，则所述边界强度被设置为所述第一值。
11.根据权利要求10所述的视频解码设备，其中，所述块边界的类型包括变换块边界和基本块边界，并且
其中，当所述块边界对应于所述变换块边界且所述目标亮度块满足所述第一条件时，或者当所述块边界对应于所述基本块边界且所述目标亮度块满足所述第二条件或所述第三条件时，所述强度设置单元将所述边界强度设置为所述第一值。
12.根据权利要求10所述的视频解码设备，其中，所述预设条件还包括：针对是否使用所述不同数量的运动矢量来预测所述目标亮度块的第四条件，
其中，所述块边界的类型包括变换块边界、预测块边界和子块边界，并且
其中，当所述块边界对应于所述变换块边界且所述目标亮度块满足所述第一条件时，或者当所述块边界对应于所述预测块边界且所述目标亮度块满足所述第二条件或所述第三条件时，或者当所述块边界对应于所述子块边界且所述目标亮度块满足所述第三条件或第四条件时，所述强度设置单元将所述边界强度设置为所述第一值。
13.根据权利要求9所述的视频解码设备，其中，所述块边界的类型包括子块边界，
其中，所述预设条件包括：针对是否未对形成所述块边界的目标亮度块应用变换处理的第五条件，并且
其中，当所述块边界对应于所述子块边界且所述目标亮度块满足所述第五条件时，所述强度设置单元将所述边界强度设置为所述第一值。
14.根据权利要求9所述的视频解码设备，其中，所述滤波执行单元被配置为通过对所述目标亮度块中包括的多个像素的值进行平均来推导亮度水平，
其中，当所述亮度水平大于在所述序列参数集级别确定的阈值时，所述偏移值用于添加到所述量化参数的所述平均值。
15.根据权利要求9所述的视频解码设备，其中，所述滤波执行单元被配置为：
基于将所述变量添加到在切片级别确定的第一偏移来推导所述第一滤波参数；以及
基于将所述变量添加到在所述切片级别确定的第二偏移来推导所述第二滤波参数。
16.根据权利要求15所述的视频解码设备，其中，所述块边界的类型包括子块边界，并且
其中，当所述块边界对应于所述子块边界且所述目标亮度块的所述预测模式彼此不同时，所述强度设置单元将所述边界强度设置为所述第一值。
17.一种用于发送包含编码视频数据的比特流的方法，该方法包括以下步骤：
通过经由应用去块滤波的基于块的视频编码对图片的序列进行编码来生成比特流；以及
将所述比特流发送到视频解码设备，
其中，所述去块滤波包括：
确定重构图像中要被应用滤波的至少一个块边界；
基于多个预测模式当中的形成所述块边界的两个目标亮度块的预测模式、所述块边界的类型和预设条件设置所述块边界的边界强度，其中，所述多个预测模式包括帧内预测模式、帧内块复制模式和帧间预测模式；
计算分别应用于所述目标亮度块的量化参数的平均值，并通过将所述平均值添加到基于要在作为由属于所述序列的所述图片共同参考的报头的序列参数集级别编码的偏移信息而确定的偏移值来推导变量；
使用所述变量来推导第一滤波参数和第二滤波参数；以及
基于所设置的边界强度、所述第一滤波参数和所述第二滤波参数来对所述块边界执行所述滤波，
其中，所述边界强度的设置包括：
如果所述两个目标亮度块中的至少一个通过所述帧内预测模式被预测，则将所述边界强度设置为第二值；以及
否则，如果所述两个目标亮度块中的一个通过所述帧内块复制模式被预测并且所述两个目标亮度块中的另一个通过所述帧间预测模式被预测，则将所述边界强度设置为与所述第二值不同的第一值。
CN201980091496.9A 2018-12-13 2019-12-11 滤波方法及图像解码装置 Active CN113424544B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202410304659.XA CN118042169A (zh) 2018-12-13 2019-12-11 视频编码方法、视频解码方法和发送方法
CN202410304662.1A CN118042171A (zh) 2018-12-13 2019-12-11 滤波方法、视频解码设备和发送方法
CN202410304660.2A CN118042170A (zh) 2018-12-13 2019-12-11 视频编码设备、视频解码方法和发送设备
CN202410304665.5A CN118042172A (zh) 2018-12-13 2019-12-11 视频编码设备、视频解码方法和发送设备

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR20180161235 2018-12-13
KR10-2018-0161235 2018-12-13
KR10-2019-0151590 2019-11-22
KR1020190151590A KR20200073124A (ko) 2018-12-13 2019-11-22 필터링 방법 및 영상 복호화 장치
PCT/KR2019/017442 WO2020122573A1 (ko) 2018-12-13 2019-12-11 필터링 방법 및 영상 복호화 장치

Related Child Applications (4)

Application Number Title Priority Date Filing Date
CN202410304665.5A Division CN118042172A (zh) 2018-12-13 2019-12-11 视频编码设备、视频解码方法和发送设备
CN202410304660.2A Division CN118042170A (zh) 2018-12-13 2019-12-11 视频编码设备、视频解码方法和发送设备
CN202410304662.1A Division CN118042171A (zh) 2018-12-13 2019-12-11 滤波方法、视频解码设备和发送方法
CN202410304659.XA Division CN118042169A (zh) 2018-12-13 2019-12-11 视频编码方法、视频解码方法和发送方法

Publications (2)

Publication Number Publication Date
CN113424544A CN113424544A (zh) 2021-09-21
CN113424544B true CN113424544B (zh) 2024-04-02

Family

ID=71138439

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980091496.9A Active CN113424544B (zh) 2018-12-13 2019-12-11 滤波方法及图像解码装置

Country Status (3)

Country Link
US (1) US11546589B2 (zh)
KR (1) KR20200073124A (zh)
CN (1) CN113424544B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118042169A (zh) * 2018-12-13 2024-05-14 Sk电信有限公司 视频编码方法、视频解码方法和发送方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160068288A (ko) * 2014-12-05 2016-06-15 성균관대학교산학협력단 변환생략을 참조하는 디블록킹 필터링을 이용한 영상의 부호화/복호화 방법 및 이를 이용하는 장치
KR20170110557A (ko) * 2015-06-11 2017-10-11 인텔렉추얼디스커버리 주식회사 적응적인 디블록킹 필터링을 이용하는 영상 부호화 방법과 영상 복호화 방법 및 장치

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101590500B1 (ko) * 2008-10-23 2016-02-01 에스케이텔레콤 주식회사 동영상 부호화/복호화 장치, 이를 위한 인트라 예측 방향에기반한 디블록킹 필터링 장치 및 필터링 방법, 및 기록 매체
CN106658014B (zh) 2011-06-30 2021-01-08 三菱电机株式会社 图像编码装置及方法、图像解码装置及方法
PT2775711T (pt) * 2011-11-04 2020-04-03 Lg Electronics Inc Método e aparelhos para codificação/descodificação de informação em vídeo no campo técnico
WO2014078068A1 (en) * 2012-11-13 2014-05-22 Intel Corporation Content adaptive transform coding for next generation video
US10306246B2 (en) * 2015-02-13 2019-05-28 Mediatek Inc. Method and apparatus of loop filters for efficient hardware implementation
CN107925773B (zh) * 2015-06-11 2022-06-07 杜比实验室特许公司 使用自适应去块滤波编码和解码图像的方法及其装置
JP6620354B2 (ja) * 2015-09-30 2019-12-18 Kddi株式会社 動画像の処理装置、処理方法及びコンピュータ可読記憶媒体
CN107027040B9 (zh) * 2016-01-29 2020-08-28 华为技术有限公司 一种去除块效应的滤波方法及装置
BR112020026818A2 (pt) * 2018-12-07 2021-07-27 Huawei Technologies Co., Ltd. codificador, decodificador e métodos correspondentes de derivação de resistência de limite de filtro de desbloqueio
CN113330743A (zh) * 2019-01-25 2021-08-31 华为技术有限公司 编码器、解码器及去块效应滤波器自适应的对应方法
EP3868101B1 (en) * 2019-08-23 2024-04-10 Huawei Technologies Co., Ltd. An encoder, a decoder and corresponding methods for performing chroma deblocking for blocks which use joint chroma coding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160068288A (ko) * 2014-12-05 2016-06-15 성균관대학교산학협력단 변환생략을 참조하는 디블록킹 필터링을 이용한 영상의 부호화/복호화 방법 및 이를 이용하는 장치
KR20170110557A (ko) * 2015-06-11 2017-10-11 인텔렉추얼디스커버리 주식회사 적응적인 디블록킹 필터링을 이용하는 영상 부호화 방법과 영상 복호화 방법 및 장치

Also Published As

Publication number Publication date
US20210306628A1 (en) 2021-09-30
KR20200073124A (ko) 2020-06-23
CN113424544A (zh) 2021-09-21
US11546589B2 (en) 2023-01-03

Similar Documents

Publication Publication Date Title
US12022076B2 (en) Method of removing deblocking artifacts
CN113574877B (zh) 用于有效地对残差块解码的方法和装置
US12075039B2 (en) Filtering method and video decoding apparatus
KR20180006411A (ko) 디블록킹 필터링을 수행하는 방법 및 장치
CN114731444B (zh) 用于恢复色度块的残差块的方法及解码设备
US20230048262A1 (en) Decoding device and method for predicting block partitioned into random shape
CN113424544B (zh) 滤波方法及图像解码装置
EP4068776A1 (en) Decoding device and method for predicting block partitioned into random shapes
RU2803519C2 (ru) Способ и устройство для эффективного кодирования остаточных блоков
RU2803519C9 (ru) Способ и устройство для эффективного кодирования остаточных блоков
US20240214566A1 (en) Method of restoration in subblock units, and video decoding apparatus
RU2803426C2 (ru) Способ и устройство для эффективного кодирования остаточных блоков
RU2803532C2 (ru) Способ и устройство для эффективного кодирования остаточных блоков
RU2803537C2 (ru) Способ и устройство для эффективного кодирования остаточных блоков
KR102410326B1 (ko) 영상 부호화/복호화 방법 및 장치
CN117795956A (zh) 视频编码/解码方法和设备
CN117917072A (zh) 视频编码/解码方法和装置
CN117581534A (zh) 视频编码/解码方法和装置
CN118339835A (zh) 在多变换选择中调整多变换选择候选的数量的视频编码/解码方法和装置
CN114009031A (zh) 用于还原色度块的方法和用于解码影像的装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant