CN113170120A - 去块或去振铃滤波器以及应用和改变去块或去振铃滤波器的强度的编码器、解码器和方法 - Google Patents

去块或去振铃滤波器以及应用和改变去块或去振铃滤波器的强度的编码器、解码器和方法 Download PDF

Info

Publication number
CN113170120A
CN113170120A CN201980076577.1A CN201980076577A CN113170120A CN 113170120 A CN113170120 A CN 113170120A CN 201980076577 A CN201980076577 A CN 201980076577A CN 113170120 A CN113170120 A CN 113170120A
Authority
CN
China
Prior art keywords
block
deblocking
picture
blocks
portions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980076577.1A
Other languages
English (en)
Inventor
克里斯汀·赫姆瑞希
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Publication of CN113170120A publication Critical patent/CN113170120A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种用于应用和改变去块或去振铃滤波器(110、120)的强度对图片(12)的块(1000)进行滤波的编码器、解码器以及方法,其中,去块滤波器(110、120)被配置为针对块(1000)的边框(1010)的至少八个边框部分(1011、1012、1013、1014、1021、1022、1023、1024)中的每个边框部分,确定沿着相应边框部分(1011、1012、1013、1014、1021、1022、1023、1024)的块(1000)中未经滤波的内容(1015)与块(1000)附近的周围图片内容(1016)之间的相异度,八个边框部分(1011、1012、1013、1014、1021、1022、1023、1024)包括四个角边框部分(1021、1022、1023、1024)和四个边缘边框部分(1011、1012、1013、1014),所述四个角边框部分(1021、1022、1023、1024)各自布置在块(1000)的拐角处,所述四个边缘边框部分(1011、1012、1013、1014)各自布置在块(1000)的拐角之间的边框(1010)的中间部分。此外,去块滤波器被配置为使用针对至少八个边框部分(1011、1012、1013、1014、1021、1022、1023、1024)确定的相异度来对块(1000)的去块滤波进行参数化,以便获得块(1000)的经滤波的内容。

Description

去块或去振铃滤波器以及应用和改变去块或去振铃滤波器的 强度的编码器、解码器和方法
技术领域
本发明的实施例涉及一种去块或去振铃滤波器以及使用去块或去振铃滤波器对图片数据进行基于块的编码和解码的编码器、解码器和相应的方法,其中,所述去块或去振铃滤波器的强度可以根据一个或多个条件而变化。一些实施例可以具体地涉及各个滤波器控制参数的选择性信令。
背景技术
当代的感知(即有损)块变换图像和视频编解码器(编码器/解码器)即使在相对较低的比特率下也可以达到非常好的视觉重构质量。然而,在非常低的比特率下,会出现诸如块边界周围的模糊和不连续之类的伪像,通常被称为“块化”。为了减轻这些通常令人讨厌的伪像,在诸如H.265/HEVC、H.266/VVC和AV1之类的现代编解码器中利用去块后处理算法。
在视频编码中,典型的去块后处理器针对每个解码图像或帧作为环路滤波器操作,即在对编码环路中的下一图像/帧进行编码之前,针对每个帧间图片预测(也被称为运动补偿)源图像/帧来操作。去块后滤波器根据潜在的不连续性来分析解码图像的每个重构子块的边界像素值。如果发现弱的不连续性,则假定它是由低速率编码本身而不是作为原始图像的一部分引起的,因此,通过对像素值进行平滑(例如添加自适应像素值偏移)来减少这种不连续性。
一种类似的环路滤波器是HEVC中使用的样本自适应偏移(SAO)方法,该方法基于每(子)块的解码像素的值对它们进行分类,并确定每个像素类别的附加偏移。然后,针对每(子)块,将这些附加偏移以信号传送给解码器并应用在解码器中。在该过程中,SAO滤波器用作去振铃滤波器。
有关HEVC去块滤波器的详细信息,请参见https://ieeexplore.ieee.org/document/6324414,A.Norkin等人的“HEVC Deblocking Filter”,IEEETrans.Cire.Syst.Video Tech.(CSVT),2012年第22卷;https://ieeexplore.ieee.org/document/6324411,C.M.Fu等人的“Sample Adaptive Offset in the HEVC Standard”,IEEE Trans.CSVT,2012年第22卷中提供了SAO环路滤波器的概述。
在H.266/VVC中,与HEVC中允许的最大变换块大小相比,最大变换块大小已经增加了一倍,人们发现必须使用更强的去块滤波器(即修改更宽范围的像素的去块后处理器),尤其是在大块边界周围。然而,这种更强势的去块滤波器增加了平滑的风险,因此可能滤除并非由低速率编码引起的原始图像内容。
因此,可以得出结论,对于一些低速率编码的高分辨率图像和视频内容,非常强的去块滤波是合乎需要的,并且允许对所述强去块滤波的应用进行高度选择性控制是必要的。自然地,可以为每个子块(例如每个编码树单元CTU)以信号传送比特标志,以向接收器(即解码器)指示是否允许应用强去块滤波器。然而,这种方法将导致许多附加的信令比特被包括在比特流中,由此将编码比特率增加到不可接受的水平,尤其是在非常低的比特率下。
发明内容
因此,需要更有效的解决方案。因此,本发明的目的是在没有上述缺点的情况下,改进现有的伪像滤波并且提供对变化的滤波强度的有效信令。
根据本发明的第一方面,该问题通过以下解决:具有权利要求1的特征的解码器、具有权利要求14的特征的编码器、用于根据权利要求26进行解码的方法、用于根据权利要求27进行编码的方法、根据权利要求28的计算机可读数字存储介质以及根据权利要求29的数据流。
根据本发明的第二方面,该问题通过以下解决:具有权利要求30的特征的去块滤波器、具有权利要求48的特征的解码器、具有权利要求50的特征的编码器、根据权利要求52进行去块的方法、根据权利要求53的计算机可读数字存储介质以及根据权利要求54的数据流。
第一方面的本发明的解码器被配置用于使用去块或去振铃滤波器对图片数据进行基于块的解码。该解码器被配置为使用预测并使用编码在数据流中的预测残差,以逐块的方式从数据流中重构图片,以获得图片的重构版本。预测编码可以例如通过空间上的图片内预测和/或通过时间上的图片间预测执行。图片内预测可以应用于静止图像和运动图像,而图片间预测可以仅应用于运动图像。对于视觉活动低的图像(例如具有很少的图像细节),预测通常非常有效。结果,相应的预测残差可以包括非常少的信号能量,因此可以经常被完全量化为零。这样做时,可以使这些零编码的预测残差免于传输。对于视觉活动较高的图像(例如在具有更多图像细节),预测可能通常在其预测残差中表现出高信号方差,因此需要传输至少一个不完全为零的(粗)量化的预测残差。这也可以被称为相应的预测残差的非零编码。所述非零编码的预测残差可以是在图片的重构(即,经解码的)版本中引起视觉块化或振铃化的候选。因此,解码器被配置为将去块或去振铃滤波器应用于图片的重构版本。在这方面,本发明的解码器还被配置为局部地改变去块或去振铃滤波器的强度。换言之,解码器可以控制应用于经解码的图片的去块或去振铃的量。与没有所述控制的常规去块或去振铃滤波器相比,这可以产生改善的图像质量。去块或去振铃滤波器的所述强度可以被定量地度量。强度度量可以例如是块中被滤波器影响的周向部分的宽度,或者换句话说,是对滤波器从块的块边框开始滤波的范围的度量,其中强度越大,宽度越大。附加地或备选地,可以使用重构图片的经滤波的版本与未经滤波的版本之间的差的平均能量来度量滤波器强度,滤波器应用于该重构图片,其中强度越大,平均能量越大。本发明的解码器可以分别根据对候选图片或候选图片区域(例如,块)的预选择来选择性地决定是否应用所述滤波器控制,即,是否改变滤波器强度。可以取决于局部地度量平均块大小的第一度量和局部地度量预测残差的非零编码的频率的第二度量,来选择所述候选图片或候选图片区域(例如,块)。非零编码的频率旨在描述在相应图片或图片区域(例如,块)中对预测残差应用非零编码的频率如何。换言之,取决于非零编码预测残差的数量并且取决于平均块大小(例如,多个块或子块),解码器可以改变去块或去振铃滤波器的滤波器强度。
第一方面的本发明的编码器被配置为使用去块或去振铃滤波器作为环路滤波器对图片数据进行基于块的编码。编码器被配置为使用预测并通过将预测残差编码到数据流中,以逐块的方式将图片编码到数据流中,其中在编码器的预测环路中提供图片的重构版本。编码器还被配置为将去块或去振铃滤波器应用于图片的重构版本,以及取决于局部地度量平均块大小的第一度量和局部地度量预测残差的非零编码的频率的第二度量来局部地改变去块或去振铃滤波器的强度。换言之,编码器可以在率失真循环中计算图片的基于块的最佳划分。基于该计算,编码器可以分别基于平均块大小和非零编码预测残差的数量来选择候选图片或候选图片区域(例如,块)。然后,可以对这些所选择的候选图片或候选图片区域(例如,块)使用变化的滤波器强度。换言之,如果编码器选择了候选图片或候选图片区域(例如,块),则该编码器可以将具有变化的滤波器强度的去块或去振铃滤波器应用于所述所选择的候选图片或候选图片区域(例如,块),即,去块或去振铃的量可以由编码器选择性地控制,因此,与传统的编码器相比,可以提高图片编码的质量。
根据本发明的第二方面,提出了一种去块滤波器,其中,所述去块滤波器被配置为对图片的块进行滤波,以便减少块化或振铃化伪像。因此,去块滤波器也可以被称为去振铃滤波器。根据第二方面的去块滤波器可以与根据第一方面的编码器和/或解码器和/或方法结合。备选地,根据第二方面的去块滤波器可以与不同于第一方面的编码器和/或解码器和/或方法结合。
根据第二方面的去块滤波器可以被配置为对以基于块的方式处理的图片的块进行滤波。可以利用所述滤波来减少在对图片进行基于块的编码时可能出现的块化或振铃化伪像。图片可以被划分为若干块和子块。可以将去块滤波器应用于所述块和子块中的一个或多个,以减少对图片进行编码时的块化或振铃化伪像。每个块可以具有块边框,其可以与所述块的外周边框线相对应。取决于所应用的划分方案,这些块可以是正方形或一般性的矩形。因此,每个块的边框也可以分别是正方形或矩形。边框可以包括若干部分,例如,沿着边缘延伸的部分(也称为边缘边框部分)和围绕拐角延伸的部分(也称为角边框部分)。如果将图片划分为多个块,则可以连续地布置所述块,即,这些块可以彼此邻接。因此,第一块可以被一个或多个其他块包围。相邻块的内容(例如,块中包含的像素)可以彼此不同,例如,如果存在从暗图片区域到亮图片区域的过渡则会如此。因此,包含在第一块内部的图片内容与包含在所述第一块外部的图片内容之间可能存在相异度。第一块外部的所述图片内容可以被包含在周围的第二块的内部,因此也可以被称为周围图片内容。相异度可以表示包含在第一块内部的图片内容与包含在第一块外部的周围图片内容之间的差异。所述相异度也可以被称为包含在第一块内部的图片内容与包含在第一块外部的周围图片内容之间的偏移。相异度越大,偏移值的幅度越大。这些相异度可能会在对图片进行编码时引起块化或振铃化伪像。因此,它们必须被平滑,也可以被称为去块或去振铃,这可以由本发明的去块滤波器执行。因此,本发明的去块滤波器可以被配置为针对块的边框的至少八个边框部分中的每个边框部分,确定跨相应边框部分的块中未经滤波的内容与块附近的周围图片内容之间的相异度。所述至少八个边框部分包括四个角边框部分与四个边缘边框部分,四个角边框部分各自布置在块的拐角处,四个边缘边框部分各自布置在块的拐角之间的边框的中间部分。去块滤波器可以取决于当前图片内容,即取决于上述相异度,使用不同的滤波器特性来执行去块滤波。可以借助于可调节参数来调节所述不同的滤波器特性,所述可调节参数可以取决于当前图片的相异度。因此,本发明的去块滤波器可以被配置为使用针对至少八个边框部分确定的相异度来对块的去块滤波处理进行参数化,以获得块的经滤波的内容。
附图说明
在下文中,将参考附图更详细地描述本发明的实施例,在附图中:
图1示出了用于对图片进行预测编码的装置的示意性框图,以作为编码器的示例,其中可以实现根据本申请的实施例的帧内预测概念,
图2示出了适于图1的装置的用于对图片进行预测解码的装置的示意性框图,以作为解码器的示例,其中可以实现根据本申请的实施例的帧内预测概念,
图3示出了说明预测残差信号、预测信号和经重构的信号之间的关系的示例的示意图,以便说明针对编码模式选择、变换选择和变换性能分别设置细分的可能性,
图4示出了根据实施例的解码器的示意性框图,
图5示出了被预划分为块并被子划分为子块的图片的示意图,
图6A至图6F示出了使用不同的多树细分方案将图片划分为块的示意图,
图7示出了根据实施例的编码器的示意性框图,
图8示出了根据实施例的用于使用去块或去振铃滤波器对图片数据进行基于块的解码的方法的框图,
图9示出了根据实施例的用于使用去块或去振铃滤波器作为环路滤波器对图片数据进行基于块的编码的方法的框图,
图10示出了包括边框部分的块,可以对这些边框部分应用根据实施例的去块滤波器,
图11示出了根据实施例的用于应用去块滤波器的图10的块,其中描绘了边缘边界样本向量,
图12示出了根据实施例的用于应用去块滤波器的图10的块,其中描绘了角边界样本向量,
图13A至图13D示出了根据实施例的具有不同空间位置的边缘边界向量和角边界向量的块的左上角,
图14示出了根据实施例的包括用于应用去块滤波器的边界带的块,
图15示出了根据实施例的被分为若干处理区域的块,
图16示出了根据实施例的包括若干分区部分的块,
图17示出了根据实施例的去块滤波器在块上的示例性应用,
图18示出了一个块,其中边缘边界向量的大小和角边界向量的大小可以取决于块的大小,以及
图19示出了根据实施例的通过应用去块滤波器对基于块的编码图片12的块1000进行滤波的方法的示意性框图。
具体实施方式
在以下描述中,通过相同或等同附图标记来表示相同或等同元件或者具有相同或等同功能的元件。
还可以以与所描绘和/或所描述的顺序不同的顺序来执行通过框图描绘并且参考所述框图描述的方法步骤。此外,关于设备的特定特征的方法步骤可以用所述设备的所述特征来替换,反之亦然。
在本文档中,将参考图1至图9首先描述本发明的第一方面。之后,将参考图10至图19随后描述本发明的第二方面。
基于块的编码的介绍
附图的以下描述从用于对视频的图片进行编码的基于块的预测编解码器的编码器和解码器的描述的呈现开始,以便形成对可以内置本发明实施例的编码框架的示例。参考图1至图3描述了相应的编码器和解码器。在下文中,给出了本发明的概念的实施例的描述以及关于如何将这些概念分别构建到图1的编码器和图2的解码器中的描述,尽管随后的图4和以下描述的实施例也可用于形成不根据图1的编码器和图2的解码器下的编码框架操作的编码器和解码器。
图1示出了一种装置,用于示例性地使用基于变换的残差编码将图片12预测地编码到数据流14中。使用附图标记10表示装置或编码器。图2示出了相应的解码器20,即被配置为也使用基于变换的残差解码从数据流14中预测地解码图片12’的装置20,其中撇号已被用于指示由解码器20重构的图片12’在通过预测残差信号的量化引入的编码损失方面偏离了由装置10进行原始编码的图片12。图1和图2示例性地使用基于变换的预测残差编码,尽管本申请的实施例不限于这种预测残差编码。对于参照图1和图2描述的其他细节也是如此,这将在下文中概述。
编码器10被配置为对预测残差信号进行空间到频谱变换,并将由此获得的预测残差信号编码到数据流14中。同样,解码器20被配置为从数据流14解码预测残差信号,并对由此获得的预测残差信号进行频谱到空间变换。
在内部,编码器10可以包括预测残差信号形成器22,该预测残差信号形成器22生成预测残差24,以便度量预测信号26与原始信号(即与图片12)的偏差。预测残差信号形成器22可以例如是减法器,其从原始信号,即从图片12减去预测信号。然后,编码器10还包括变换器28,变换器28对预测残差信号24进行空间到频谱变换以获得空间域预测残差信号24’,然后由也包括在编码器10内的量化器32对空间域预测残差信号24’进行量化。由此量化的预测残差信号24”被编码到比特流14中。为此,编码器10可以可选地包括熵编码器34,该熵编码器34对经变换和量化的预测残差信号进行熵编码,以将其编码到数据流14中。预测信号26由编码器10的预测级36基于编码到数据流14中并可从数据流14解码的预测残差信号24”生成。为此,如图1所示,预测级36可以在内部包括反量化器38,该反量化器38对预测残差信号24”进行反量化,以便获得除了量化损失之外与信号24’相对应的空间域预测残差信号24”’,预测级36随后包括逆变换器40,该逆变换器40对后一个预测残差信号24”’进行逆变换,即频谱到空间变换,以获得除量化损失之外与原始预测残差信号24相对应的预测残差信号24””。然后,预测级36的组合器42例如通过加法来将预测信号26和预测残差信号24””重新组合,以便获得经重构的信号46,即原始信号12的重构。经重构的信号46可以与信号12’相对应。然后,预测级36的预测模块44通过使用例如空间预测(即图片内预测)和/或时间预测(即图片间预测)来基于信号46生成预测信号26。
同样,如图2所示,解码器20可以在内部由与预测级36对应的组件组成,并以与预测级36对应的方式互连。具体地,解码器20的熵解码器50可以从数据流熵解码经量化的频谱域预测残差信号24”,于是以上面参考预测级36的模块描述的方式互连和协作的反量化器52、逆变换器54、组合器56和预测模块58基于预测残差信号24”恢复经重构的信号,使得如图2所示,组合器56的输出产生经重构的信号,即图片12’。
尽管上面没有具体描述,但是容易清楚,编码器10可以根据诸如以优化一些速率和失真相关标准(即编码成本)的方式的一些优化方案来设置一些编码参数,包括例如预测模式、运动参数等。例如,编码器10和解码器20以及相应的模块44、58分别可以支持不同的预测模式,诸如帧内编码模式和帧间编码模式。编码器和解码器在这些预测模式类型之间切换的粒度可以分别与将图片12和12’细分为编码片段或编码块相对应。例如,以这些编码片段为单位,可以将图片细分为帧内编码的块和帧间编码的块。帧内编码的块是基于各个块的空间上的已经编码/解码的邻域进行预测的,如下面更详细地概述的。可以存在包括方向性或角度帧内编码模式在内的若干种帧内编码模式,并为各个帧内编码的片段选择帧内编码模式,根据该帧内编码模式,通过沿着特定于各个方向性帧内编码模式的某个方向,将邻域的样本值外插到相应的帧内编码的片段中来填充各个片段。帧内编码模式还可以例如包括一种或多种其他模式,例如DC编码模式和/或平面帧内编码模式,根据DC编码模式,对各个帧内编码的块的预测将DC值分配给各个帧内编码的片段内的所有样本,根据平面帧内编码模式,各个块的预测被近似或确定为由二维线性函数描述的在各个帧内编码的块的样本位置上的样本值的空间分布,其中基于相邻样本来驱动由二维线性函数定义的平面的斜率和偏移。与此相比,可以例如在时间上预测帧间编码的块。对于帧间编码的块,可以在数据流中以信号传送运动向量,运动向量指示图片12所属的视频的先前编码的图片中的部分的空间偏移,在该位置对先前编码/解码的图片进行采样,以便获得各个帧间编码的块的预测信号。这意味着,除了由数据流14包括的残差信号编码,如表示经量化的频谱域预测残差信号24”的经熵编码的变换系数水平之外,数据流14可以在其中编码用于将编码模式分配给各个块的编码模式参数、用于一些块的预测参数(例如用于帧间编码的片段的运动参数)、以及可选的其他参数(例如用于控制和以信号传送将图片12和12’分别细分为片段的参数)。解码器20使用这些参数以与编码器相同的方式细分图片,将相同的预测模式分配给片段,并且执行相同的预测以产生相同的预测信号。
图3示出了一方面的经重构的信号,即经重构的图片12’,与另一方面的在数据流中以信号传送的预测残差信号24””和预测信号26的组合之间的关系。如上所述,该组合可以是加法。预测信号26在图3中被示为将图片区域细分为用阴影线示意性表示的帧内编码的块和未用阴影线示意性表示的帧间编码的块。细分可以是任何细分,例如将图片区域规则地细分为正方形块或非正方形块的行和列,或者将图片12从树根块多树细分(例如四叉树细分等)为不同大小的多个叶块,其中在图3中示出了它们的混合,其中图片区域首先被细分为树根块的行和列,然后根据递归多树细分将树根块的行和列进一步细分为一个或多个叶块。
再次,数据流14可以具有编码到其中的用于帧内编码的块80的帧内编码模式,其将若干种支持的帧内编码模式之一分配给相应的帧内编码的块80。对于帧间编码的块82,数据流14可以具有编码到其中的一个或多个运动参数。一般而言,帧间编码的块82不限于在时间上编码。备选地,帧间编码的块82可以是从除了当前图片12本身之外的先前编码的部分(诸如图片12所属的视频的先前编码的图片,或者在编码器和解码器分别为可缩放编码器和解码器的情况下,为另一视图或层级较低的层的图片)预测的任何块。
图3中的预测残差信号24””也被示为将图片区域细分为块84。这些块可以被称为变换块,以便将其与编码块80和82区分开。实际上,图3示出了编码器10和解码器20可以分别使用两种不同的细分将图片12和图片12’细分为块,即一种分别细分为编码块80和82,而另一种细分为块84。两种细分可能是相同的,即每个编码块80和82可以同时形成变换块84,但是图3示出了如下情况,其中例如到变换块84的细分形成到编码块80、82的细分的扩展,以便块80和82的两个块之间的任何边框都覆盖两个块84之间的边框,或者换句话说,每个块80、82或者与变换块84之一重合,或者与变换块84的集群重合。然而,细分也可以彼此独立地确定或选择,以便变换块84可以备选地跨块80、82之间的块边框。就到变换块84的细分而言,类似的说法因而与关于到块80、82的细分所提出的一样是正确的,即块84可以是将图片区域规则细分为块(排列为行和列或者未排列为行和列)的结果、图片区域的递归多树细分的结果或者其组合或任何其他类型的分块方式(blockation)。顺便说一句,要注意,块80、82和84不限于正方形、矩形或任何其他形状。
图3进一步示出了预测信号26和预测残差信号24””的组合直接产生经重构的信号12’。然而,应注意,根据备选实施例,可以将多于一个的预测信号26与预测残差信号24””组合以产生图片12’。
在图3中,变换块84应具有以下含义。变换器28和逆变换器54以这些变换块84为单位执行它们的变换。例如,许多编解码器对所有变换块84使用某种DST或DCT。一些编解码器允许跳过变换,从而对于某些变换块84,直接在空间域中对预测残差信号进行编码。然而,根据以下描述的实施例,编码器10和解码器20以它们支持若干种变换的方式配置。例如,编码器10和解码器20支持的变换可以包括:
οDCT-II(或DCT-III),其中DCT代表离散余弦变换
οDST-IV,其中DST代表离散正弦变换
οDCT-IV
οDST-VII
ο恒等变换(IT)
自然地,变换器28将支持这些变换的所有正向变换版本,同时解码器20或逆变换器54将支持其相应的后向或逆版本:
ο逆DCT-II(或逆DCT-III)
ο逆DST-IV
ο逆DCT-IV
ο逆DST-VII
ο恒等变换(IT)
随后的描述提供了关于编码器10和解码器20可以支持哪些变换的更多细节。无论如何,应注意的是,所支持的变换集可以仅包括一个变换,例如一个频谱到空间或空间到频谱的变换。
如上面已经概述的那样,已经呈现了图1至图3作为示例,其中可以实施下面进一步描述的帧内预测概念,以便形成根据本申请的编码器和解码器的特定示例。就此而言,图1的编码器和图2的解码器分别表示本文下面描述的编码器和解码器的可能实现。然而,图1和图2仅是示例。然而,根据本申请的实施例的编码器可以使用以下更详细地概述的概念来执行对图片12的基于块的编码,该编码器与图1的编码器例如在以下方面不同:不是视频编码器而是静止图片编码器,不支持帧间预测,或者以与图3示例的方式不同的方式执行到块80的细分。同样,根据本申请的实施例的解码器可以使用以下进一步概述的帧内预测编码概念来执行从数据流14中对图片12’进行的基于块的解码,但是该解码器可以与图2的解码器20例如在以下方面不同:不是视频编码器而是静止图片编码器,不支持帧间预测,或者以与参照图3描述的方式不同的方式将图片12’细分为块,和/或不是在变换域中从数据流14中导出预测残差,而是例如在空间域中导出预测残差。
第一方面
图4示出了根据本发明的第一方面的本申请的示例性实施例的解码器20。解码器20可以使用上述对(即静止图片的或运动图片12’的)图片数据进行基于块的解码的概念。
如图4所示的解码器20可以包括与以上参考图2描述的内部结构类似的内部结构。因此,在图2和图4中,通过相同或等同附图标记来表示相同或等同元件或者具有相同或等同功能的元件。然而,图4的解码器20与图2的解码器的不同之处可以在于:它还可以包括去块或去振铃滤波器110,用于对块化和/或振铃化伪像进行滤波和衰减,其中块化可被视为振铃化伪像的特定情况。
如上所示,可以通过在组合器56中组合残差信号26和预测残差24”来获得图片的重构版本,即解码图片12’。在组合残差信号26和预测残差24”时,图4的解码器20还可以对图片的重构版本(即解码图片12’)应用去块或去振铃滤波器110。
根据本发明原理,解码器20可以局部地改变去块或去振铃滤波器110的强度。换言之,解码器20可以决定应当应用于解码图片12’的滤波器强度,例如,应当应用弱去块或去振铃滤波器函数还是强去块或去振铃滤波器函数,或者甚至是否应当应用去块或去振铃滤波器。
关于去块或去振铃滤波器110的适用滤波器强度的该决定可以基于第一和第二度量。第一度量可以表示局部地度量的平均块大小。第二度量可以表示预测残差24’的非零编码的频率,即非零编码的预测残差24’的数量。
解码器20可以在逐块的基础上确定可变的滤波器强度。因此,与以上参考图3描述的类似,解码器20可以被配置为将图片12划分为块并且通过使用所述块来执行图片12的重构。
图5示出了示例,其中,可以将图片12划分为一个或多个块181、182、183、184。这些块181、182、183、184也可以被称为编码块。解码器20可以通过使用所述编码块181、182、183、184来执行图片12的重构,即图片12的解码。
此外,可以分别将编码块181、182、183、184子划分为一个或多个子块181a-181g和182a-182d。本文中使用的术语“块”一般可以指代编码块181、182、183、184和/或指代子块181a-181g、182a-182d。上述第一度量可以被设计为局部地度量块的大小。因此,例如可以按照编码块181、182、183、184度量块的大小,和/或按照子块181a-181g、182a-182d度量块的大小。
可以借助于编码树在数据流14中以信号传送用于将编码块181、182、183、184划分为一个或多个子块181a-181g、182a-182d的划分模式,编码树也可以被称为划分树或分割树。可以将树根块(其可以与编码块181、182、183、184相对应)分割为一个或多个叶块,叶块可以与子块181a-181g和182a-182d相对应。
因此,如在图5中示例性地描绘的,解码器20可以被配置为通过对多个树根块181、182、183、184中的每个树根块进行递归多树细分来执行将图片12划分为块,使得这些块形成多个树根块181、182、183、184的叶块181a-181g、182a-182d。解码器20可以针对每个树根块181、182、183、184局部地确定第一度量和第二度量。
例如,在HEVC中,编码块181、182、183、184也可以被称为编码树单元(CTU),并且子块181a-181g、182a-182d也可以被称为编码单元(CU)。下面将使用HEVC标准来描述非限制性的示例性实施例。然而,本申请的原理不限于HEVC标准。
让我们假设在将L×L的块大小定义为最大可能的编码块大小的图像或视频编解码器中使用本申请的原理。可以对这样的编码块181、182、183、184(以上也称为CTU)进行到多个正方形或矩形子块181a-181g、182a-182d的子划分,每个子块的大小为M×N个像素单元。在图6A至图6F中描绘了示例,它们作为非限制性示例示出了划分编码块181的若干可能性。
例如,图6A示出了其中编码块181不再被分为子块的示例。因此,编码块181可以仅包括一个单个的子块(子块1),因此编码块181可以与子块1相同。因此,图6A意味着不进行子划分。
在图6B至图6E中示出了用于CTU分段的一些其他示例,包括矩形子块。在编码器和解码器二侧,可以通过在比特流中以信号传送CTU的编码树来标识将CTU181、182、183、184划分为一个或多个子块(CU)181a-181g、182a-182d的情况。例如,通过四叉树分割块可以产生四个正方形子块,而通过(一般性的)二叉树分割块可以产生两个(一般性的)矩形子块。
图6B示出了通过四叉树分割将编码块181划分为四个正方形子块(1至4)的示例性划分。图6C示出了通过四叉树分割将编码块181划分为七个正方形子块(1至7)的示例性划分。图6D示出了将编码块181划分为七个子块的示例性划分,其中子块7是通过四叉树分割的正方形子块,其中子块1至4是通过二叉树垂直分割的一般性的矩形子块,并且其中子块5和6是通过二叉树水平分割的一般性的矩形子块。图6E示出了将编码块181划分为七个子块的示例性划分,其中子块1和2是通过二叉树垂直分割的一般性的矩形子块,并且其中子块3至8是通过四叉树分割的正方形子块。
换言之,解码器20可以被配置为从数据流14读取划分信息(例如四叉树、二叉树)。解码器20还可以被配置为取决于所述划分信息对树根块(CTU)181、182、183、184执行递归多树细分。解码器20还可以被配置为取决于所述划分信息来确定第一度量。
根据实施例,解码器20可以被配置为通过对每个树根块(CTU)181、182、183、184确定相应的(CTU)181、182、183、184被分割为的叶块(子块)181a-181g、182a-182d的数量来确定第一度量。在下文中,该第一度量可以用大写字母A表示。也就是说,A可以表示分别针对每个树根块(CTU)的叶块或子块(CU)的数量。
例如,如图6A所示,具有低视觉活动性(即很少的图像细节)的CTU 181、182、183、184通常不被细分,或者仅被细分为几个相对较大的子块。此外,对于这些低活动性的CTU181、182、183、184,空间上的图片内预测(以及时间上的图片间预测,如果适用的化)通常非常有效。结果,所述CTU 181、182、183、184中的预测残差24’可以包括非常少的信号能量,因此通常可以被完全量化为零,并且在这样做时可以免于传输。
有时,尽管如此,这种低活动性CTU 181、182、183、184中的至少一个子块可能在其预测残差24”中表现出相对高的信号方差,因此需要传输至少一个不完全为零的(粗)量化残差,这可能在解码图片12’中引入视觉上的块化。
残差系数信号(在HEVC中也被称为残差变换单元(TU))各自与一个子块相关联。换言之,每个子块(CU)可以包括用于执行预测残差的逐片的变换的变换单元(TU),每块(即取决于划分的粒度,每编码块或每子块)至少一个变换单元。因此,在编码树中,对于每个树根块(CTU),可以确定叶块(CU)的数量和系数块(TU)的数量。
编码块标志(CBF)可以指示残差系数信号(TU)是否已被完全量化为零(CBF=0)或者残差系数信号(TU)尚未完全量化为零(CBF=1)。后者也可以称为非零编码块标志或非零CBF。可以在比特流中针对每个CTU以信号传送非零编码块标志(CBF=1)的数量。
在下文中,非零编码块标志(CBF=1)的数量可以用大写字母B表示。换言之,大写字母B可以表示未被完全量化为零的系数块的数量。根据本发明原理,非零编码块的该数量B可以表示第二度量。
根据这种实施例,解码器20可以被配置为以系数块(TU)为单位对来自数据流14的预测残差进行解码,以系数块(TU)为单位表示预测残差的逐片变换,每块(CTU或CU)至少一个系数块(TU)。解码器20还可以被配置为通过针对每个树根块(CTU)确定未被完全量化为零的系数块(TU)的数量来确定第二度量B。例如,这可以通过对CTU中的非零编码块标志(CBF=1)的数量进行计数来管理。
作为非限制性示例,被子划分为少于九个(即A<9)子块(CU)且同时对B>0个残差系数信号(TU,各自与一个字块相关联)进行非零编码和传输的CTU181、182、183、184可以从应用非常强的去块或去振铃后滤波器中受益。因此,这些CTU可以是进行非常强的去块或去振铃的候选块。
例如,图6F示出了将编码块185划分为九个子块,即在该示例中子块数量为A=9。因此,例如将不满足上述A<9的条件。因此,不对图6F的编码块185进行非常强的去块后滤波。因此,该CTU185可以不是进行非常强的去块或去振铃的候选块。
再次,在编码器和解码器二侧,可以通过在比特流中以信号传送CTU的编码树的方式来标识划分为少于A个子块的情况,而可以通过对CTU中的非零编码块标志(CBF)的数量进行计数来察觉B个非零残差系数信号的存在,非零编码块标志(CBF)的数量也在比特流中以信号传送。
如上所述,可以检查块(CTU)是使用去块或去振铃滤波器进行非常强的去块或去振铃的潜在候选块,还是应进行较低强度的去块或去振铃的块。这与本文描述的对所述强去块滤波的应用的高度选择性控制的原理相对应。换言之,去块或去振铃滤波器的强度可以局部地改变。
滤波器强度的这种局部改变可以取决于两个度量,即,表示各个编码块被分割为的子块的数量的第一度量A,和表示非零编码残差的数量的第二度量B。如果块满足这两个度量A和B,则该块是进行强去块或去振铃的潜在候选块。这可以借助于滤波器控制参数(FCP)在比特流中指示。
因此,根据这种实施例,解码器20可以通过以下方式执行滤波器强度的局部改变:针对图片的第一部分(即,针对候选块),其中在第一部分中第一度量A和第二度量B满足预定标准(例如A<9,B>0),从数据流14中读取指示要应用于各个部分(即,块)的去块或去振铃滤波器110的强度的强度信息(FCP)。针对图片的第二部分(即,非候选块),其中在第二部分中第一度量A和第二度量B不满足预定标准(例如A<9,B>0),解码器20可以被配置为将要应用于各个部分(块)的去块或去振铃滤波器110的强度设置为较低的第二强度,该第二强度比第一滤波器强度低。
因此,至少对于上述非限制性示例,可以总结出:
条件1:如果以下情况成立,则应当在CTU中允许期望的环路滤波(例如,非常强的去块)
·以信号传送的编码树指示将所述CTU划分为少于A个子块,和/或
·在所述CTU中以信号传送的非零值的CBF(即,CBF=1)的数量为B,其中B>0。
换言之,如果不满足条件1,则应不允许所述期望的环路滤波,因此应始终在编码器和解码器二侧的受影响的CTU中禁用所述期望的环路滤波。另一方面,如果在CTU中满足条件1,则允许期望的环路滤波,但是这不一定意味着也启用了所述环路滤波。
在上述非限制性示例中,当A<9且B>0时,满足预定标准,即条件1。然而,更笼统地说,如果第一度量A下降到低于预定阈值,并且如果第二度量B超过或等于第二预定阈值,则满足预定标准。
例如,对于每个树根块(CTU),第一预定阈值为p,其中p满足1<p<17,即A<p。附加地或备选地,第二预定阈值为q,其中q满足-1<q<51,即B≥q。
实际上,如上所述,非常需要提供一种用于对超强环路滤波器(例如,非常强的去块滤波器)的应用实现高度选择性控制的手段。提供这种手段的一个示例性方式是
条件2:如果以下情况成立,则例如经由在比特流中传输环路滤波器控制参数(FCP)来在CTU中以信号传送环路滤波器控制参数(FCP)
·所述CTU满足条件1。
换言之,如果不满足条件1,则不以信号传送所述环路滤波器控制参数(FCP)。另一方面,如果在CTU中满足条件1,则由编码器将所述滤波器控制参数(FCP)(例如,附加的单个比特元素)写入比特流并由解码器从所述比特流中读取。
如果对于给定的CTU,比特流中存在滤波器控制参数(即,满足条件1),则该控制参数的值确定解码器在所述CTU中启用期望的环路滤波(例如值1)还是禁用期望的环路滤波(例如值0)。通过这种方式,编码器可以控制并以信号传送对例如非常强的去块化的期望应用。
总而言之,本申请的概念可以建议针对每编码块(例如编码树单元CTU)的环路滤波器控制参数的选择性信令,以在所述编码块中禁用或减弱所述环路滤波器的应用。仅当编码块被划分为少于A个子块或在这些子块中的B个子块中应用残差系数编码(即非零编码)时,才可以以信号传送环路滤波器控制参数。
图7示出了可以根据本发明的第一方面的本申请的概念应用的编码器10。如图7所示的编码器10可以包括与以上参照图1描述的内部结构类似的内部结构。因此,在图1和图7中,通过相同或等同附图标记来表示相同或等同元件或者具有相同或等同功能的元件。然而,图7的编码器10与图1的编码器的不同之处可以在于,它还可以包括去块或去振铃滤波器120,用于对块化和/或振铃化伪像进行滤波和衰减,其中块化可以被视为振铃化伪像的特定情况。去块或去振铃滤波器120可以是环路滤波器。
编码器10被配置为使用去块或去振铃滤波器120作为环路滤波器对图片数据进行基于块的编码。编码器120还可以被配置为使用预测并通过将预测残差编码到数据流14中,以逐块的方式将图片12编码到数据流14中,同时在编码器10的预测环路136中提供图片的重构版本。预测环路136可以是预测级36的一部分,上面已经参考图1对其进行了解释。
在所述预测环路136中,可以模拟图片12的重构以及去块或去振铃滤波器120的应用。因此,编码器10可以被配置为对图片12的重构版本12’应用去块或去振铃滤波器120。
在所述预测环路136中,编码器10还可以以与以上针对解码器侧解释的方式类似的方式,尝试去块或去振铃滤波器120的不同滤波器强度。具体地,可以根据上述第一度量A和第二度量B来改变滤波器强度。因此,编码器10可以被配置为取决于局部地度量平均块大小的第一度量A和局部地度量预测残差的非零编码的频率的第二度量B,来局部地改变去块或去振铃滤波器120的强度。
编码器10还被配置为将图片12划分为块(CTU)181、182、183、184,如上面的图3和图6A至图6F所述。编码器10还被配置为使用块181、182、183、184执行编码,其中第一度量A被设计为局部地度量块181、182、183、184的大小。
具体地,参考图6A至图6F,编码器10还可以通过使用多树细分将块181、182、183、184分割为一个或多个子块,其中编码树例如可以是四叉树或(一般性的)二叉树。
因此,编码器10可以被配置为通过对多个树根块(CTU)181、182、183、184中的每个树根块(图片12被预划分为这些树根块)进行递归多树细分来执行划分,使得块181、182、183、184形成多个树根块181、182、183、184的叶块(子块或CU)。此外,编码器10可以被配置为针对每个树根块181、182、183、184局部地确定第一度量A和第二度量B。
为此,编码器10可以在预测环路136中尝试一种或多种不同类型的多树细分。如果编码器10发现了与各个CTU很好地工作的多树细分,则编码器10选择该多树细分,并基于所选择的多树细分来将对应的划分信息添加到比特流中。取决于所述插入的划分信息,编码器10可以确定第一度量A。
例如,如图6E所示,编码器10可以选择组合的四叉树-二叉树方案,用于将CTU 181分割为六个正方形子块(子块3至8)和两个矩形子块(子块1和2)。因此,编码器10可将编码块(CTU)181分割为八个子块(CU),其与A=8的第一度量A相对应。
就编码树而言,编码器10可以被配置为基于划分信息(例如四叉树/二叉树)来执行对多个树根块中的每个树根块进行递归多树细分。编码器10可以将划分信息插入数据流14中,并且编码器10可以根据划分信息来确定第一度量A。
编码器10可以在逐块的基础上确定第一量度A。也就是说,编码器10可以针对每个编码块(CTU)181、182、183、184分别确定子块(CU)的数量。
因此,就编码树而言,编码器10可以被配置为通过为每个树根块(CTU)181、182、183、184确定叶块(CU或子块)的数量来确定第一度量A,各个树根块(CTU)181、182、183、184被分割为这些叶块(CU或子块)。
如上所述,相对于解码器20,编码器10也可以被配置为使用一个或多个预测残差信号对图片数据进行预测编码。
残差信号(在HEVC中也被称为残差变换单元(TU))各自与一个子块(CU)相关联。换言之,每个子块(CU)可以包括用于执行预测残差的逐片的变换的变换单元(TU),每块(即取决于划分的粒度,每编码块或每子块)至少一个变换单元。因此,在编码树中,对于每个树根块(CTU),可以确定叶块(CU)的数量和系数块(TU)的数量。
编码块标志(CBF)可以指示残差系数信号(TU)是否已被完全量化为零(CBF=0)或者残差系数信号(TU)尚未完全量化为零(CBF=1)。后者也可以称为非零编码块标志或非零CBF。对于每个CTU,可以在比特流中以信号传送非零编码块标志(CBF=1)。
在下文中,非零编码块标志(CBF=1)的数量可以用大写字母B表示。换言之,大写字母B可以表示未被完全量化为零的系数块的数量。根据本发明原理,非零编码块的该数量B可以表示第二度量。
因此,编码器10可以被配置为以系数块(TU)为单位将预测残差编码到数据流14中,系数块(TU)表示预测残差的逐片的变换,每块(CTU或CU)至少一个系数块(TU)。编码器10还可以被配置为通过针对每个树根块(CTU)确定未被完全量化为零的系数块(TU)的数量来确定第二度量B。
再次,在编码器和解码器二侧,可以通过CTU的编码树来标识第一度量A(即,编码块(CTU)被划分为的子块(CU)的数量),可以由编码器10在比特流中以信号传送CTU的编码树,而可以通过对CTU中的非零编码块标志(CBF)的数量进行计数来察觉B个非零残差系数信号的存在,非零编码块标志(CBF)的数量也可以由编码器10在比特流中以信号传送。
在预测环路136中,可以检查块(CTU)是要使用去块或去振铃滤波器进行非常强的去块或去振铃的潜在候选块,还是应当进行较低强度的去块或去振铃的块。这与本文描述的在编码器侧对所述强去块滤波的应用进行高度选择性控制的原理相对应。换言之,去块或去振铃滤波器的强度可以局部地改变。
滤波器强度的这种局部改变可以取决于两个度量,即,表示各个编码块被分割为的子块的数量的第一度量A,和表示非零编码残差的数量的第二度量B。如果块满足这两个度量A和B,则该块是进行强去块或去振铃的潜在候选块。这可以由编码器10通过滤波器控制参数(FCP)在比特流中指示。
因此,根据这种实施例,编码器10可以通过以下方式执行滤波器强度的局部改变:针对图片中第一度量A和第二度量B满足预定标准(例如,A<9,B>0)的第一部分(即,针对候选块),将指示要应用在相应部分(即,块)处的去块或去振铃滤波器120的强度的强度信息(FCP)插入数据流14中。针对图片中第一度量A和第二度量B不满足预定标准(例如,A<9,B>0)的第二部分(即,针对非候选块),编码器10可以被配置为将要应用在相应部分(块)处的去块或去振铃滤波器120的强度设置为较低的第二强度,该第二强度比第一滤波器强度低。
在上述非限制性示例中,当A<9且B>0时,满足预定标准,即条件1。然而,更笼统地说,如果第一度量A下降到低于预定阈值,并且如果第二度量B超过或等于第二预定阈值,则满足预定标准。
例如,对于每个树根块(CTU),第一预定阈值为p,其中p满足1<p<17,即A<p。附加地或备选地,第二预定阈值为q,其中q满足-1<q<51,即B≥q。
编码器10和解码器20的工作原理将简要总结如下:
编码器10可以计算率失真环路中的最优划分。基于该计算,编码器10可以检查上述条件1(候选块)是否满足。如果满足条件1,则编码器10可以针对每CTU尝试强去块。如果强去块导致CTU中的可度量的改善(例如,SNR或SSIM的增益),则编码器10可以对该CTU使用强去块,并且在比特流14中以信号传送针对所述CTU的环路滤波器控制参数(FCP)值,例如FCP=1(启用)。否则,如果在应用强去块时没有可度量的改善(例如SNR或SSIM的增益),或者甚至SNR或SSIM发生了损失,则编码器10可以丢弃强去块的结果并针对相应的CTU以信号传送相应的环路滤波器控制参数(FCP)值,例如环路滤波器控制参数(FCP)值为零FCP=0(禁用)。这将以信号传送给解码器20,以免对所述CTU使用强去块。如果编码器10可以确定不满足条件1,则在比特流14中将不以信号传送环路滤波器控制参数(FCP),因此,将不会尝试对各个CTU进行强去块。
解码器20可以接收具有先前计算的CTU的最佳划分的比特流14。基于相应的划分信息,解码器20可以针对每个CTU检查条件1是否满足。如果在相应的CTU中满足条件1,则从比特流14中读取环路滤波器控制参数(FCP)。如果启用了环路滤波器控制参数(FCP)的值(例如FCP=1),则将利用强去块。如果禁用了环路滤波器控制参数(FCP)的值(例如FCP=0),则不会利用强去块。如果解码器20可以确定不满足条件1,则将不从比特流14中读取环路滤波器控制参数(FCP),因此,不会对相应的CTU利用强去块。
图8示出了用于使用去块或去振铃滤波器110对图片数据进行基于块的解码的方法的示意性框图。
在框801中,使用预测并使用编码在数据流14中的预测残差,以逐块的方式从数据流14中重构图片,以获得图片12的重构版本12’。
在框802中,将去块或去振铃滤波器110应用于图片12的重构版本12’。
在框803中,取决于局部地度量平均块大小的第一度量A和局部地度量预测残差的非零编码的频率的第二度量B,来局部地改变去块或去振铃滤波器110的强度。
图9示出用于使用去块或去振铃滤波器120作为环路滤波器来对图片数据进行基于块的编码的方法的示意性框图。
在框901中,通过使用预测并通过将预测残差编码到数据流14中,以逐块的方式将图片12编码到数据流14中,同时在预测环路136中提供图片12的重构版本12’。
在框902中,将去块或去阵列滤波器120应用于图片12的重构版本12’。
在框903中,取决于局部地度量平均块大小的第一度量A和局部地度量预测残差的非零编码的频率的第二度量B,来局部地改变去块或去振铃滤波器120的强度。
第二方面
在以上讨论的第一方面中,提出了例如通过滤波器控制参数来选择性地以信号传送(环路)滤波器控制,以便在要应用于图片的不同的去块或去振铃滤波器之间进行选择。在下文中,将讨论第二方面,其中提出了去块滤波器的概念。可以将根据第二方面的所述去块或去振铃滤波器与第一方面组合,或者可以将其单独应用于与第一方面不同的编码器和/或解码器和/或方法中。
基于HEVC中使用的信号自适应方法的常规去块方法(请参见第1页的简介部分)一般会带来主观的改进,但有时对于移除大编码块周围的过多的块化伪像仍然过于弱,如前面提到的。与前面描述的第一方面组合时,发现在比现有技术中使用的滤波器(例如,4或8个样本)更大的滤波器支持(例如,16个空间样本)下应用“超强”去块滤波是有益的。假设在第一方面引入的滤波器控制参数(FCP)允许例如通过率/失真测试对编码器侧的滤波器过程进行控制,则也可以得出结论,应用具有较少或根本没有信号自适应强度控制的非常简单的超强去块滤波器就足够了(因为编码器可以使用以信号传送的FCP来禁用它们的执行)。
例如,如果CTU中的FCP=0,则可以对CTU的每个TU子区域应用对经重构的图像分量进行解码器侧滤波器强度检测的传统去块。如果CTU中的FCP=1,则可以对宽度和高度均等于32或更多像素的每个TU使用本文所述的非常强的去块滤波器。它可以通过解码器侧滤波器强度检测来扩展。滤波器可以保持足够的强,即,它可以有利地采用8到16个之间的滤波器抽头。
超强去块算法的第一步是导出满足以上大小限制的每个TU的左、右、上、下边界偏移。具体地,给定d={左,右,上,下},
offsetd=Clip3(-127,127,(Pd-Qd+Nd)>>(log2(Nd)+1)),
其中Pd和Qd分别是TU中沿着长度为Nd(即,分别为TU宽度和高度)的方向d的外边界重构样本的总和以及内边界重构样本的总和(不包括外部的四个角样本)。片或图像边框处的不可用的Pd总和被相邻的Qd总和代替。然后,在CTU中FCP=1(另请参见第一方面)的情况下进行去块时,可以沿着垂直于d的16个内边界样本列或行,对每个d应用offsetd的加权相加。这将添加朝向TU边界的斜率为offsetd÷16的线性斜坡,在边界处达到offsetd,在TU拐角处有融合。
在一种变型中,可以在亮度以及色度通道(请注意,对于4∶2∶0[空间下采样的]色度,以上三个黑体字的值减半)上执行传统的去块之前执行非常强的去块。
综上所述,常规的超强校正去块算法可以取决于四个控制值(分别沿着左、右、上和下块边界计算的平均偏移值),并且在四个块拐角处存在四个控制值的未公开的融合。
然而,这些常规的去块算法可能导致块化或振铃化伪像,特别是在块角附近的区域中,这可能导致编码质量的部分次佳主观感知。考虑到现有技术的部分次佳的主观表现,本发明的第二方面提出了通过取决于八个而不是四个控制值的校正去块设计进行改进。
所述本发明的八值校正去块方法将常规的四值设计扩展了四个附加的角值,即,针对给定块的c={左上,右上,左下,右下}角中的每个角的平均偏移值offsetc。此外,考虑到现有技术的常规未公开(和次佳)的融合实现,将描述使用相邻控制值对来对块角周围进行去块的本发明的融合算法的详细实施例。
图10示出了可以由根据本发明的第二方面的去块滤波器处理的块1000的示例。块1000可以是基于块的编码方案的子块。例如,块1000可以是所谓的变换单元(TU)。
块1000可以包括正方形或一般性的矩形形状。块1000可以包括块边框1010,其可以表示块1000的外周分界。块边框1010可以包括多个边框部分,块边框1010可以被细分成该多个边框部分。
块1000可以包括至少四个角和在所述四个角之间延伸的四个边缘。因此,块边框1010可以包括四个角边框部分1021、1022、1023、1024和在四个角边框部分1021、1022、1023、1024之间延伸的四个边缘边框部分1011、1012、1013、1014。
块1000可以包含表示图片内容1015的多个像素。块1000内部的图片内容通过阴影线示出。块1000外部还可以存在图片内容1016,其可以由周围像素表示。所述周围图片内容(周围像素)1016可以沿着各个边框部分1011、1012、1013、1014、1021、1022、1023、1024围绕块1000布置。
块1000内部的图片内容1015可能尚未进行滤波,因此可以被称为块1000的未经滤波的内容。在所述尚未滤波的图片内容1015上应用去块滤波器可以提供经滤波的图片内容,这也可以称为块1000的经滤波的内容。
因此,去块滤波器可以将块1000内部的尚未滤波的图片内容1015与块1000外部的相邻图片内容1016进行比较。这可以在至少八个边框部分1011、1012、1013、1014、1021、1022、1023、1024中的每个边框部分处完成。
例如,如图11所示,可以将块1000内部的沿着第一边缘边框部分1011延伸的尚未滤波的图片内容1015与也沿着第一边缘边框部分1011延伸但在块1000外部的相邻图片内容1016进行比较。块1000内部的图片内容1015可以与块1000外部的图片内容1016不同。因此,在块1000内部的图片内容1015与块1000外部的图片内容1016之间可能存在相异度,这可以由去块滤波器确定。
可以基于所述相异度来调整去块滤波器的处理,即去块滤波。换言之,可以基于所确定的块1000内部的图片内容1015与块1000外部的图片内容1016之间的相异度来对去块滤波进行参数化。
因此,根据实施例,提出了一种用于对图片的块1000进行滤波的去块滤波器,其中,该去块滤波器可以被配置为:针对块1000的边框1010的至少八个边框部分1011、1012、1013、1014、1021、1022、1023、1024,确定块1000中沿着各个边框部分1011、1012、1013、1014、1021、1022、1023、1024的未经滤波的内容1015与块1000附近的周围图片内容1016之间的相异度,八个边框部分1011、1012、1013、1014、1021、1022、1023、1024包括四个角边框部分1021、1022、1023、1024和四个边缘边框部分1011、1012、1013、1014,四个角边框部分1021、1022、1023、1024各自布置在块1000的拐角处,四个边缘边框部分1011、1012、1013、1014各自布置在块1000的拐角之间的边框1010的中间部分。去块滤波器还可以被配置为:使用针对至少八个边框部分1011、1012、1013、1014、1021、1022、1023、1024确定的相异度来对块1000的去块滤波进行参数化,以便获得块1000的经滤波的内容。
根据边界块样本计算去块控制值
仍然参考图11,块1000内部的示例性示出的图片内容1015和块1000外部的示例性示出的图片内容1016可以各自包括多个像素,也称为样本。例如,多个第一样本可以位于块1000内部,并且多个第二样本可以位于块1000外部。
根据实施例,去块滤波器可以被配置为:针对至少八个边框部分1011、1012、1013、1014、1021、1022、1023、1024中的每个边框部分,通过计算第一样本和第二样本之间的平均差来确定相异度,所述第一样本位于块1000内部且与各个边框部分1011、1012、1013、1014、1021、1022、1023、1024邻接,并且所述第二样本位于块1000外部且与各个边框部分1011、1012、1013、1014、1021、1022、1023、1024邻接。
可以将多个第一样本归入第一样本向量Q,并且可以将多个第二样本归入第二样本向量P。由于样本向量P、Q可以沿着各个边框部分1011、1012、1013、1014、1021、1022、1023、1024延伸,因此所述向量P、Q也可以被称为边界样本向量。每个边界样本向量P、Q可以包括样本的总和,例如,第一样本向量Q可以包括第一样本的总和,且第二样本向量P可以包括第二样本的总和。
通过参考边缘边框部分1011描述了以上示例。然而,对于角边框部分1021、1022、1023、1024也是如此,如将参考图12示例性地描述的。
图12示出了块1000的左上角中的角边界部分1024。内边界样本向量Q1沿着块1000内部的角边界部分1024的垂直部分延伸。与内边界样本向量Q1相邻的外边界样本向量P1沿着块1000外部的角边界部分1024的垂直部分延伸。
此外,另一内边界样本向量Q2沿着块1000内部的角边界部分1024的水平部分延伸。与另一内边界样本向量Q2相邻的另一外边界样本向量P2沿着块1000外部分角边界部分1024的水平部分延伸。
可以将内边界样本向量Q1和Q2归入第一角样本向量Qc,并且将外边界样本向量P1和P2归入第二角样本向量Pc
根据实施例,去块滤波器可以被配置为:针对至少八个边框部分1011、1012、1013、1014、1021、1022、1023、1024中的每个边框部分,通过计算第一样本的第一总和(向量Q)与第二样本的第二总和(向量P)之间的差异来确定相异度,所述第一样本位于块1000内部且与各个边框部分1011、1012、1013、1014、1021、1022、1023、1024邻接,并且所述第二样本位于块1000外部且与各个边框部分1011、1012、1013、1014、1021、1022、1023、1024邻接。
因此,可以计算第一(内)样本向量Q与第二(外)样本向量P之间的(平均)差,其对应于Δ=P-Q。
给定d={左边缘,右边缘,上边缘,下边缘},可以以常规方式计算沿着边缘边框部分1011、1012、1013、1014的外样本向量和内样本向量之间的偏移:
offsetd=Clip3(-127,127,(Pd-Qd+Nd)>>(log2(Nd)+1)),
根据本文描述的概念,除了边缘边框部分1011、1012、1013、1014之外,给定c={左上角,右上角,左下角,右下角},还可以计算沿着角边框部分1021、1022、1023、1024的外样本向量和内样本向量之间的偏移:
offsetc=Clip3(-127,127,(Pc-Qc+Nc)>>(log2(Nc)+1)),
其中,针对角边界向量Qc和Pc考虑了上述(平均)差Δ=P-Q。
换言之,对于四个角c(左上,右上,左下和右下)中的每个角,要用作实际去块处理中的控制值的校正偏移为(例如TU)块角周围(同样不包括外部的四个角样本)的外边界重构样本集(Pc)与内边界重构样本集(Qc)之间的差的平均值。优选地,Nc等于滤波器支持长度,即,要对块边框1010的每一侧进行去块的列数/行数,但是Nc也可以是Nd(即,现有技术中的(TU)块宽度或高度)的2的幂次方的分数部分(power-of-two fraction)。更具体地,根据本文描述的概念,Nc=16(或者在4∶2∶0色度的情况下为8),而现有技术使用Nd≥32。
根据实施例,去块滤波器可以一般地被配置为:取决于块1000的大小来设置至少八个边框部分1011、1012、1013、1014、1021、1022、1023、1024的宽度,使得至少对于八个边框部分1011、1012、1013、1014、1021、1022、1023、1024中的一个边框部分,相应的边框部分1011、1012、1013、1014、1021、1022、1023、1024的宽度等于块的边框1010的长度的分数部分,该块的边框1010的长度的分数部分可以随着不同的块大小变化。例如,块越大,相应的边框部分1011、1012、1013、1014、1021、1022、1023、1024的宽度可以越大。如上所述,边框部分1011、1012、1013、1014、1021、1022、1023、1024可以是块边框1010的长度的分数部分。换言之,边框部分1011、1012、1013、1014、1021、1022、1023、1024本身可以总是比块的边框1010的长度短。
随着边框部分1011、1012、1013、1014、1021、1022、1023、1024的宽度的变化,上述边界向量P和Q的空间位置也可以变化。
图13A至图13D示出了对于非限制性示例c=左上,在导出offsetc时使用的样本总和Pc和Qc的可能空间位置。一般地,如图所示可以根据四个单个的向量总和P1、P2、Q1、Q2计算出offsetc,其中Pc=P1+P2且Qc=Q1+Q2
根据一些示例,如现有技术中介绍的,P2和Q2可以不与Pd和Qd重叠或者可以与Pd和Qd部分重叠(在这种情况下,可以简单地定义Pd=P3且Qd=Q3,参考图13A至图13C),或者P2和Q2可以完全与Pd和Qd重叠(在这种情况下,可以指定Pd=P2+P3或Pd=P2+P3+P4以及Qd=Q2+Q3或Qd=Q2+Q3+Q4,参见图13D,其中P4和Q4用于计算另一拐角处的offsetc)。在图13D的情况下,非重叠向量总和的这种求和降低了算法复杂度。请注意,用于P3和Q3的向量的长度也可以为零,即,Pd=P2+P4且Qd=Q2+Q4
因此,图13A至图13D示出了编码块1000的边缘边框部分1011和角边界部分1024的可能空间位置以及对应的边界样本向量P和Q。具体地,在图13A至图13C中,对于offsetc和offsetd,沿着边缘的各个边框部分1011、1024以及对应的边界样本向量Pc、Qc(位于拐角处)和Pd、Qd可能不重叠(图13A)、可能彼此邻接(图13B)、可能部分重叠(图13C)、或者可能完全重叠(图13D)。作为示例,对于大于4Nc的块尺寸,图13A中描绘的情况可能是优选的;对于3Nc与4Nc之间的块尺寸,图13B和图13C中描绘的情况可能是优选的;以及对于小于3Nc的块尺寸,图13D中描绘的情况可能是优选的。
因此,根据实施例,去块滤波器可以被配置为:以大体上两种不同的方式,取决于块1000的大小来设置至少八个边框部分1011、1012、1013、1014、1021、1022、1023、1024的宽度。首先,如果块1000的大小小于第一预定量,例如块大小<3Nc,则四个边缘边框部分1011、1012、1013、1014和四个角边框部分1021、1022、1023、1024可以相互重叠(参见图13C和图13D)。其次,如果块1000的大小大于第一预定量,例如块大小>3Nc,则四个边缘边框部分1011、1012、1013、1014和四个角边框部分1021、1022、1023、1024可以不重叠(参见图13A和图13B)。
根据更精确的实施例,去块滤波器可以被配置为以三种不同方式,取决于块1000的大小来设置至少八个边框部分1011、1012、1013、1014、1021、1022、1023、1024的宽度。首先,如果块1000的大小小于第一预定量,例如块大小<3Nc,则四个边缘边框部分1011、1012、1013、1014和四个角边框部分1021、1022、1023、1024可以相互重叠(参见图13D)。其次,如果块1000的大小在第一预定量与第二预定量之间,例如3Nc≤块大小≤4Nc,则四个边缘边框部分1011、1012、1013、1014和四个角边框部分1021、1022、1023、1024可以相互彼此邻接(参见图13B)。第三,如果块1000的大小大于第二预定量,例如块大小>4Nc,则四个边缘边框部分1011、1012、1013、1014和四个角边框部分1021、1022、1023、1024可以相互彼此间隔开(参见图13A)。
对于图13A至图13C的情况,按照以下方式修改现有技术中对offsetd的计算可能是有利的:
offsetd=Clip3(-127,127,(Pd-Qd+Ne)>>(log2(Ne)+1)),
其中Nc≤Nd-2Nc是P3和Q3向量的长度。对于>>移位,Ne可以是2的幂次方。
应用包括块拐角处的融合的八值去块
图14至图16可以用于对以下描述的术语进行简要介绍。图14示出了具有块边框1010的上述块1000,该块边框被划分为八个边框部分1011、1012、1013、1014、1021、1022、1023、1024。在块1000内部,可以布置样本的行1031和样本的列1032。
当从块边框1010观察时,图14中描绘的行1031可以是第二行。因此,所述行1031可以具有相对于块边框1010的一行的样本偏移。当从块边框1010观察时,图14中描绘的列1032可以是第三列。因此,所述列1032可以具有相对于块边框1010的两列的样本偏移。行(row)1031和列(column)1032可以归入样本线(line)。
去块滤波器可以包括滤波器支持长度,滤波器支持长度表示块1000中应当进行滤波处理的线1031、1032(即,行/列)的数量,即块1000中应对块边框1010的每一边进行去块的线1031、1032(即,行/列)的数量。从外部(即,从边框线1010到块1000的内部1030)对所述线1031、1032(即,行/列)的数量进行计数。
因此,边界带1033(以阴影线示出)可以表示应由去块滤波器进行去块的样本线1031、1032的数量,而所述边界带1033的带宽可以表示滤波器强度。边界带1033可以沿周向围绕块1000的内部1030延伸。
在图14描绘的示例中,边界带1033可以包括:边框线1010的每个垂直部分上的五列的垂直带宽,和边框线1010的每个水平部分上的四行的水平带宽。更笼统地说,滤波器支持长度(即边界带1033的带宽)在垂直部分和水平部分之间可以不同。
备选地,滤波器支持长度(即边界带1033的带宽)可以在每个边框部分1011、1012、1013、1014、1021、1022、1023、1024上相等。因此,根据实施例,去块滤波器可以被配置为使得边界带1033包括恒定的周向宽度。
此外,滤波器强度(即边界带1033的带宽)可以随要被编码的块1000的大小而变化。例如,滤波器强度(即边界带1033的带宽)可以随块1000的大小增加而增加。因此,根据实施例,去块滤波器可以被配置为设置相对于块1000的大小单调增加的边界带1033的带宽。
如图15所示,可以将边界带1033划分为一个或多个边界区域1030、1040、1050,它们也可以被称为处理区域。例如,边界带1033可以包括角区域1040和边缘中心区域1050。这些边界区域1040、1050可以是正方形形状或一般性的矩形。可以对这些边界区域1040、1050进行去块滤波。边界带1033还可以包括不进行去块滤波的内区域1030。
如图16所示,边界区域1040、1050可以包括边界部分。例如,角区域1040(示例性地显示在左上角和右上角)可以包括角边界部分1041a、1041b,角边界部分1041a、1041b从块1000的各个角向块1000的内部(内区域)1030对角地延伸。示例性地示出的两个角边界部分1041a、1041b形成一对相邻的角边界部分。
可以在一对相邻的角边界部分1041a、1041b之间布置两个或更多个另外的边界部分。例如,中间边界部分1051可以沿周向在一对相邻的角边界部分1041a、1041b之间延伸。此外,分段1061a、1061b可以沿周向在相邻的角边界部分1041a、1041b与中间边界部分1051之间延伸。例如,第一分段1061a可以布置在中间边界部分1051与第一角边界部分1041a之间,并且第二分段1061b可以布置在中间边界部分1051与第二角边界部分1041b之间。
因此,根据实施例,去块滤波器可以被配置为使得边界带1033的边界部分可以至少包括:在块1000的每个拐角处从相应的角朝向块1000的内部1030对角延伸的角边界部分1041a、1041b,以及在块1000的每对相邻的角边界部分1041a、1041b之间的两个或三个边界部分1051、1061a、1061b。
根据另一实施例,去块滤波器可以被配置为使得在块1000的每对相邻的角边界部分1041a、1041b之间的两个或三个边界部分1051、1061a、1061b可以包括:沿周向与相应对的第一角边界部分1041a相邻的第一分段1061a,沿周向与相应对的第二角边界部分1041b相邻的第二分段1061b、以及沿周向位于相应对的第一角边界部分与第二角边界部分之间的中间边界部分1051。
在一些示例中,中间边界部分1051可以不存在。这可以取决于块大小和边框线1010的边界分段。在这种情况下,上述分段1061a、1061b可以彼此邻接。
因此,根据实施例,去块滤波器可以被配置为:在每对相邻的角边界部分1041a、1041b之间或者提供三个边界部分1051、1061a,1061b,或者仅提供两个边界部分1061a、1061b。这可以取决于在该示例中水平地(即,在两个角边界部分1041a、1041b之间)度量的块大小。或者更笼统地说,块大小是沿着在角之间延伸的方向度量的,从这些角出发,相应对的相邻角边界部分1041a、1041b朝向块1000的内部延伸。
在第一种情况下,如果块大小大于边界带1033的两倍宽度,则可以在这对角边界部分1041a、1041b之间布置三个边界部分,即沿周向与相应对的第一角边界部分1041a相邻的第一分段1061a、沿周向与相应对的第二角边界部分1041b相邻的第二分段1061b、以及沿周向在相应对的第一角边界部分1041a和第二角边界部分1041b之间延伸的中间边界部分1051。
在第二种情况下,如果块大小不大于边界带1033的两倍宽度,则可以不存在中间边界部分1051。因此,仅存在两个边界部分,即沿周向与相应对的第一角边界部分1041a相邻的第一分段1061a、以及沿周向与相应对的第二角边界部分1041b相邻的第二分段1061b。然而,在这种情况下,第一分段1061a、第二分段1061b彼此邻接。
基于以上描述,下面将说明将去块滤波器的去块处理应用于具有中间边界部分1051和角边界部分1041a、1041b的块(例如TU)的一个非限制性示例。
如前所述,可以基于角区域1040和边缘中心区域1050中的内边界向量P和外边界向量Q之间的相异度(如果可用)对去块滤波器的滤波器特性进行参数化。
图17示出了去块滤波器可以如何对块1000应用去块滤波处理的示例。
根据实施例,去块滤波器可以被配置为通过使用偏移值(例如,用于角区域1040的offsetc和用于边缘中心区域1050的offsetd)来偏移沿着块边框1010延伸的块1000的边界带1033内的每个样本。设置所述偏移值(offsetc和offsetd),使得偏移值(offsetc和offsetd)对于每个边界部分1041a、1041b、1051、1061a、1061b内的每条样本线1031、1032恒定,或者更笼统地说,对于每条样本线1031、1032恒定,该每条样本线1031、1032与块边框1010的形状等同,并且具有到块边框1010的恒定样本偏移。
根据本文描述的概念,滤波器强度从块1000的边框线1010到块1000的内部1030减小,即沿着箭头1070的方向减小。换句话说,与位于更靠近块1000的内部1030的线1031、1032(即,行/列)相比,位于更靠近块1000的边框线1010的线1031、1032(即,行/列)的滤波器强度更高。因此,从块1000的边框1010向块1000的中部1030进行偏移值(offsetc和offsetd)的衰减。
此外,基于针对边框部分1011、1012、1013、1014、1021、1022、1023、1024中沿周向最接近相应边界部分1041a、1041b、1051、1061a、1061b的一个或多个边框部分确定的相异度,来计算相应边界部分1041a、1041b、1051、1061a、1061b内的偏移值(offsetc和offsetd)。例如,基于外向量P3和内向量Q3(图17中未示出)之间的相异度来计算包含在边缘中心区域1050中(即,中间边界部分1051中)的样本的偏移值offsetd,而基于外向量Pc=P1+P2和内向量Qc=Q1+Q2(图17中未示出)之间的相异度来计算包含在角区域1040中(即,角边界部分1041a中和分段1061a中)的样本的偏移值offsetc
因此,可以基于内边界向量P和外边界向量Q之间的相异度来计算八个偏移值,其中计算了用于四个边缘边框部分1011、1012、1013、1014的四个偏移值offsetd,和用于四个角边框部分1021、1022、1023、1024的四个偏移值offsetc。使用如上所述确定的四个offsetc和四个offsetd控制值,可以如下构造示例性去块处理。
如图18所描绘的,给定要进行去块的大小为M×N的编码块1000(例如,TU),基于图13B和图13D的边界分段来定义内块边界处的八个处理区域(即,四个角区域1040和四个边缘中心区域1050)。块拐角处的正方形形状的区域1040可以优选地各自具有Nc×Nc的大小,而边缘中心区域1050各自可以具有可变大小Nc×(Nd-2Nc)或(Nd-2Nc)×Nc,可能地,Nd-2Nc=0。此外,编码块1000的内矩形区域1030内部的像素可以不通过去块处理进行修改。
因此,根据实施例,去块滤波器可以被配置为使得边缘中心区域1050以及因此相应的中间边界部分1051沿周向与块1000减去角区域1040(以及因此相应的角边界部分10401a、1041b)的两倍宽度一样宽。此外,如果边界带1033包括恒定的周向宽度,则中间边界部分1051的周向宽度为块1000减去边界带1033的两倍宽度,因为周向宽度可以等于角区域1040中的向量P1、P2、Q1、Q2的长度。
然而,如上所述,取决于块大小,边缘中心区域1050以及因此中间边界部分1051可以根本不存在。例如,在宽度或高度为Nd=2Nc的块中,沿着顶/底或左/右边缘所述边缘中心区域1050可以分别不存在,因此可以不被处理。然而,不允许Nd<2Nc
仍然参考图17,其示出了通过去块化处理的边界块片段1030、1040、1050的空间位置,可以看出,当对当前编码块进行去块时,不对像素样本的外P1至P4列/行进行处理。相反,在对相邻块(这里为左块和上块)进行去块时,会对它们进行处理。Q1、Q2和Q4线区域是它们各自的角区域1040的一部分,并且Q3是它的边缘中心区域1050的一部分。
以下,令Nc为滤波器长度,优选地等于16或8个像素,并且可以取决于图像分量(亮度或色度)或块大小。边缘中心区域1050的去块处理是直接的。在水平顶部块边框或水平底部块边框的情况下,对Nc行像素p(x,y)1031进行offsetd的加权加法:
顶行:
p’(x,y)=p(x,y)+od
底行:
p’(x,H-1-y)=p(x,H-1-y)+od,od=(offsetd·(2Nc-1-2y)+Nc)>>(log2(Nc)+1),
其中H是以像素为单位的块高度,Nc≤x<W-Nc(W是块宽度)且0≤y<Nc。在垂直左块边缘中心或垂直右块边缘中心的情况下,对Nc列像素p(x,y)相似地处理:
左列:
p’(x,y)=p(x,y)+od
右列:
p’(W-1-x,y)=p(W-1-x,y)+od,od=(offsetd·(2Nc-1-2x)+Nc)>>(log2(Nc)+1),
其中W是以像素为单位的块宽度,Nc≤y<H-Nc(H再次为高度)且0≤x<Nc
在这两种情况下,每个处理的像素行1031/像素列1032的长度等于Nd-2Nc。这些操作可以与在现有技术中执行的那些操作类似。有效地,像素p(x,y)越靠近块1000的中心,加上越衰减的offsetd。同样,在宽度或高度为Nd=2Nc的块1000中,在沿着根据该方面受影响的维度上将不会出现边缘中心区域1050。应用于角区域1040的去块化是本发明这一方面的主要概念,它稍微复杂一些:
对角线:
p’(f,H-1-f)=p(f,H-1-f)+oc
p’(W-1-f,f)=p(W-1-f,f)+oc
p’(W-1-f,H-1-f)=p(W-1-f,H-1-f)+oc
p’(f,f)=p(f,f)+oc,oc=(((Nc-f)·offsetc+f·mc)·(2Nc-1-2f)+Nc 2)>>(log2(Nc 2)+1),
其中0≤f<Nc是沿着朝向块中心1030的对角线的像素位置,并且mc是两个角相邻offsetd值的算术平均值,即,1/2(offsettop+offsetleft)或1/2(offsettop+offSetright)或1/2(offsetbottom+offsetleft)或1/2(offsetbottom+offsetright)。这意味着对角像素p(f,f)或p(W-1-f,f)或p(f,H-1-f)或p(W-1-f,H-1-f)越靠近块1000的中心1030,mc越占据加权加法的主导地位,加权加法衰减量越大。
备选地,如下所示,可以将角区域1040的去块中的oc简化为仅取决于offsetc而不取决于mc
oc=(offsetc·(2Nc-1-2f)+Nc)>>(log2(Nc)+1)
这产生了非常相似的主观质量。剩下的两个角分段为
水平:
p’(x,f)=p(x,f)+(((Nc-x)·offsetc+x·offsetd)·(2Nc-1-2f)+Nc 2>>(log2(Nc 2)+1)),
其中f<x<Nc
垂直部分:
p’(f,y)=p(f,y)+(((Nc-y)·offsetc+y·offsetd)·(2Nc-1-2f)+Nc 2)>>(log2(Nc 2)+1))
其中f<y<Nc
以c=左上块角1040为例。其他三个角均被同样处理。换言之,最后两个等式表示对相邻加权offsetc和offsetd值之间的线性插值的一种特殊的硬件友好的实现。必须注意的是,在前14页的所有等式中,log2(N)+1=log2(2N)并且log2(N2)+1=2log2(N)+1,因此特定实现可能会在细节上有所不同。
根据所附权利要求书,根据实施例,去块滤波器可以被配置为针对每个角边界部分1041设置用于相应角边界部分1041内的样本的偏移值oc,使得相应角边界部分1041内的样本的偏移值oc根据加权平均值而从块1000的边框1010朝向块1000的内部变化。
所述加权平均值是角边框部分1021的第一偏移值offsetc与两个角相邻边缘边框部分1011、1014的第二偏移值mc的平均值(还请参见图10)。更一般地,可以基于针对各个角边框部分1021、1022、1023、1024确定的相异度来确定第一偏移值offsetc,各个角边界部分1041从这些角边框部分朝向块1000的内部1030对角延伸,而可以基于针对沿周向与各个角边框部分1021、1022、1023、1024邻接的边缘边框部分1011、1012、1013、1014确定的相异度来确定第二偏移值mc,各个角边界部分1041从这些角边框部分朝向块1000的内部1030对角延伸。
加权平均值的权重(请参见上式中的Nc-f和f)可以取决于样本距块1000的边框1010的距离f,使得随着距离增加,与第二偏移值mc相比,加权平均值对第一偏移值offsetc的依赖性单调减少。换言之,对角像素p(f,f)或p(W-1-f,f)或p(f,H-1-f)或p(W-1-f,H-1-f)越靠近块1000的中心1030,mc越占据加权加法的主导地位,且加权加法的衰减量越大。
再次参考图16,角边界部分1041a、1041b可以从块1000的角向块的内部1030对角延伸。如上所述,第一分段1061a和第二分段1061b可以布置在中间边界部分1051之间。
可以在第一角边界部分1041a和中间边界部分1051之间对用于包含在第一片段1061a中的样本的偏移值进行插值。具体地,当沿着行1031观察时,可以在(同一行1031中的)第一角边界部分1041a的偏移值和(同一行1031中的)中间边界部分1051的偏移值之间对用于包含在第一片段1061a中的样本的偏移值进行插值。
可以在第二角边界部分1041b和中间边界部分1051之间对用于包含在第二片段1061b中的样本的偏移值进行插值。具体地,当沿着行1031观察时,可以在(同一行1031中的)第二角边界部分1041b的偏移值和(同一行1031中的)中间边界部分1051的偏移值之间对用于包含在第二片段1061b中的样本的偏移值进行插值。
根据所附权利要求书,根据实施例,去块滤波器被配置为针对第一片段1061a设置用于第一片段1061a内的样本的偏移值,使得对于每条线(即,行/列)1031、1032,在相应线(即,行/列)1031、1032中的第一角边界部分1041a的偏移值和相应线(即,行/列)1031、1032中的中间边界部分1051的偏移值之间对相应线(即,行/列)1031、1032内的样本的偏移值进行插值。此外,去块滤波器被配置为针对第二片段1061b设置用于第二片段1061b内的样本的偏移值,使得对于每条线(即,行/列)1031、1032,在相应线(即,行/列)1031、1032中的第二角边界部分1041b的偏移值和相应线(即,行/列)1031、1032中的中间边界部分1051的偏移值之间对相应线(即,行/列)1031、1032内的样本的偏移值进行插值。
图19示出了用于对基于块的编码图片12的块1000进行滤波的方法的示意性框图。
在框1901中,对于块1000的边框1010中的至少八个边框部分1011、1012、1013、1014、1021、1022、1023、1024中的每个边框部分,确定块1000中沿着各个边框部分1011、1012、1013、1014、1021、1022、1023、1024的未经滤波的内容1015与块1000附近的周围图片内容1016之间的相异度,其中,八个边框部分1011、1012、1013、1014、1021、1022、1023、1024包括四个角边框部分1021、1022、1023、1024和四个边缘边框部分1011、1012、1013、1014,四个角边框部分1021、1022、1023、1024各自布置在块1000的拐角处,四个边缘边框部分1011、1012、1013、1014各自布置在块1000的角之间的边框1010的中间部分。
在框1902中,使用针对至少八个边框部分1011、1012、1013、1014、1021、1022、1023、1024确定的相异度来对块1000的去块滤波进行参数化,以便获得块1000的经滤波的内容。
请注意,与诸如HEVC中的那些现有技术的滤波器不同,本发明的“超强”去块算法可以不取决于要去块的像素样本来适配其去块强度,因此在滤波器应用期间,表现出比现有技术更低的计算复杂度。当然,可以通过本发明的第一方面来实现去块强度适配,即,通过在编码器和解码器二侧使用有条件信号传送的滤波器控制参数,来允许从现有技术的“弱”或“中等强”算法以及本文所述的“超强”算法中进行选择。此外,请注意,在图13A中,在计算offsetc和offsetd控制值时,并未考虑沿着块边界的所有像素样本。在滤波器计算期间,与现有技术相比,这代表了算法复杂度的降低。综上所述,可以总结出,在本发明的第二方面中提出的本发明的非常强的校正去块方法比现有技术具有更好的视觉性能,同时在计算和应用校正去块算法时都表现出较低的计算复杂度。
虽然已经在装置的上下文中描述了一些方面,但是将清楚的是,这些方面还表示对应方法的描述,其中,块或设备对应于方法步骤或方法步骤的特征。类似地,在方法步骤上下文中描述的方面也表示对相应块或项或者相应装置的特征的描述。
可以由(或使用)硬件设备(诸如,微处理器、可编程计算机或电子电路)来执行一些或全部方法步骤。在一些实施例中,可以由这种装置来执行最重要方法步骤中的一个或多个方法步骤。
根据某些实现要求,本发明的实施例可以用硬件或软件实现,或者至少部分用硬件实现,或至少部分用软件实现。可以使用其上存储有电子可读控制信号的数字存储介质(例如,软盘、DVD、蓝光、CD、ROM、PROM、EPROM、EEPROM或闪存)来执行实现,该电子可读控制信号与可编程计算机系统协作(或者能够与之协作)从而执行相应方法。因此,数字存储介质可以是计算机可读的。
根据本发明的一些实施例包括具有电子可读控制信号的数据载体,其能够与可编程计算机系统协作以便执行本文所述的方法之一。
通常,本发明的实施例可以实现为具有程序代码的计算机程序产品,程序代码可操作以在计算机程序产品在计算机上运行时执行方法之一。程序代码可以例如存储在机器可读载体上。
其他实施例包括存储在机器可读载体上的计算机程序,该计算机程序用于执行本文所述的方法之一。
换言之,本发明方法的实施例因此是具有程序代码的计算机程序,该程序代码用于在计算机程序在计算机上运行时执行本文所述的方法之一。
因此,本发明方法的另一实施例是其上记录有计算机程序的数据载体(或者数字存储介质或计算机可读介质),该计算机程序用于执行本文所述的方法之一。数据载体、数字存储介质或记录介质通常是有形的和/或非暂时性的。
因此,本发明方法的另一实施例是表示计算机程序的数据流或信号序列,所述计算机程序用于执行本文所述的方法之一。数据流或信号序列可以例如被配置为经由数据通信连接(例如,经由互联网)传送。
另一实施例包括处理装置,例如,计算机或可编程逻辑器件,所述处理装置被配置为或适于执行本文所述的方法之一。
另一实施例包括其上安装有计算机程序的计算机,该计算机程序用于执行本文所述的方法之一。
根据本发明的另一实施例包括被配置为向接收机(例如,以电子方式或以光学方式)传送计算机程序的装置或系统,该计算机程序用于执行本文所述的方法之一。接收器可以是例如计算机、移动设备、存储设备等。装置或系统可以例如包括用于向接收器传送计算机程序的文件服务器。
在一些实施例中,可编程逻辑器件(例如,现场可编程门阵列)可以用于执行本文所述的方法的功能中的一些或全部。在一些实施例中,现场可编程门阵列可以与微处理器协作以执行本文所述的方法之一。通常,方法优选地由任意硬件装置来执行。
本文描述的装置可以使用硬件装置、或者使用计算机、或者使用硬件装置和计算机的组合来实现。
本文描述的方法可以使用硬件装置、或者使用计算机、或者使用硬件装置和计算机的组合来执行。
尽管已经参考说明性实施例描述了本公开,但是该描述并非旨在以限制性的意义来解释。参考说明书、示例性实施例以及本公开的其他实施例的各种修改和组合对于本领域技术人员将是显而易见的。因此,旨在使所附权利要求覆盖这些修改或实施例。

Claims (54)

1.一种解码器(20),用于使用去块或去振铃滤波器(110)对图片数据进行基于块的解码,所述解码器(20)被配置为:
使用预测并使用编码在数据流(14)中的预测残差,以逐块的方式从所述数据流(14)中重构图片(12),以获得所述图片(12)的重构版本(12’),
将所述去块或去振铃滤波器(110)应用于所述图片(12)的重构版本(12’),以及
取决于局部地度量平均块大小的第一度量(A)和局部地度量预测残差的非零编码的频率的第二度量(B)来局部地改变所述去块或去振铃滤波器(110)的强度。
2.根据权利要求1所述的解码器(20),被配置为:
将所述图片(12)划分为块(181、182、183、184;181a-181g;182a-182d),以及
使用所述块(181、182、183、184;181a-181g;182a-182d)来执行所述图片(12)的重构,
其中,所述第一度量(A)被设计为局部地度量所述块(181、182、183、184;181a-181g;182a-182d)的大小。
3.根据权利要求2所述的解码器(20),被配置为:在重构所述图片(12)时,向各个块(181、182、183、184;181a-181g;182a-182d)分配多个预测模式中的一个预测模式,所述多个预测模式包括一个或多个帧内预测模式和/或一个或多个帧间预测模式。
4.根据权利要求2或3所述的解码器(20),被配置为:
通过对所述图片(12)被预划分为的多个树根块(181、182、183、184)中的每个树根块进行递归多树细分,来执行图片(12)到块(181、182、183、184;181a-181g;182a-182d)的划分,使得所述块形成所述多个树根块(181、182、183、184)的叶块(181a-181g;182a-182d),以及
针对每个树根块(181、182、183、184)局部地确定所述第一度量(A)和所述第二度量(B)。
5.根据权利要求4所述的解码器(20),被配置为:
从所述数据流(14)中读取划分信息,
取决于所述划分信息,执行对所述多个树根块(181、182、183、184)中每个树根块进行的递归多树细分,以及
取决于所述划分信息来确定所述第一度量(A)。
6.根据权利要求4或5所述的解码器(20),被配置为:通过针对每个树根块(181、182、183、184)确定相应的树根块(181、182、183、184)被分割为的叶块(181a-181g;182a-182d)的数量,来确定所述第一度量(A)。
7.根据权利要求4至6中任一项所述的解码器(20),被配置为:
以系数块为单位从所述数据流(14)中解码预测残差,所述系数块代表预测残差的逐片的变换,每块(181、182、183、184;181a-181g;182a-182d)至少一个系数块,以及
通过针对每个树根块(181、182、183、184)确定未被完全量化为零的系数块的数量,来确定所述第二度量(B)。
8.根据权利要求7所述的解码器(20),被配置为:针对每个系数块,从多个逆变换中选择一个逆变换,所述逆变换可选地包括恒等变换,并且使用所选择的逆变换来获得对应的块(181、182、183、184)或所述块的子块(181a-181g;182a-182d)。
9.根据权利要求1至8中任一项所述的解码器(20),被配置为通过以下步骤执行所述去块或去振铃滤波器(110)的强度的局部改变:
对于所述第一度量和所述第二度量(A,B)满足预定标准的、所述图片(12)的第一部分,从所述数据流(14)中读取指示要应用在相应部分的去块或去振铃滤波器(110)的第一强度的强度信息,
对于所述第一度量和所述第二度量(A,B)不满足预定标准的、所述图片(12)的第二部分,将要应用在相应部分的去块或去振铃滤波器(110)的强度设置为较低的第二强度。
10.根据权利要求9所述的解码器(20),其中,如果以下条件成立,则满足预定标准:
第一度量(A)下降到低于第一预定阈值,以及
第二度量(B)超过或等于第二预定阈值。
11.根据权利要求10所述的解码器(20),其中,
对于所述树根块(181、182、183、184)中的每个树根块,第一预定阈值是p,p满足1<p<17,和/或
对于所述树根块(181、182、183、184)中的每个树根块,第二预定阈值是q,q满足-1<q<51。
12.根据权利要求9至11中任一项所述的解码器(20),其中,所述第一部分和所述第二部分是所述图片(12)被预划分为的树根块(181、182、183、184),且进一步对所述树根块(181、182、183、184)进行多树细分以产生块(181、182、183、184;181a-181g;182a-182d),使用所述块(181、182、183、184;181a-181g;182a-182d)来执行重构。
13.根据权利要求1至12中任一项所述的解码器(20),其中,所述图片数据包括视频,并且所述解码器(20)是视频解码器,所述视频解码器的环路滤波器通过所述去块或去振铃滤波器(110)形成。
14.一种编码器(10),用于使用去块或去振铃滤波器(120)作为环路滤波器对图片数据进行基于块的编码,所述编码器(10)被配置为:
使用预测并通过将预测残差编码到数据流(14)中,以逐块的方式将图片(12)编码到所述数据流(14)中,其中在所述编码器(10)的预测环路(136)中提供所述图片(12)的重构版本(12’),
将所述去块或去振铃滤波器(120)应用于所述图片(12)的重构版本(12’),以及
取决于局部地度量平均块大小的第一度量(A)和局部地度量预测残差的非零编码的频率的第二度量(B)来局部地改变所述去块或去振铃滤波器(120)的强度。
15.根据权利要求14所述的编码器(10),被配置为:
将所述图片划分为块(181、182、183、184;181a-181g;182a-182d),以及
使用所述块(181、182、183、184;181a-181g;182a-182d)执行编码,
其中,所述第一度量(A)被设计为局部地度量所述块(181、182、183、184;181a-181g;182a-182d)的大小。
16.根据权利要求15所述的编码器(10),被配置为:在编码时,向各个块(181、182、183、184;181a-181g;182a-182d)分配多个预测模式中的一个预测模式,所述多个预测模式包括一个或多个帧内预测模式和/或一个或多个帧间预测模式。
17.根据权利要求15或16所述的编码器(10),被配置为通过以下步骤执行划分:
对所述图片(12)被预划分为的多个树根块(181、182、183、184)中的每个树根块进行递归多树细分,使得所述块形成所述多个树根块(181、182、183、184)的叶块(181a-181g;182a-182d),以及
针对每个树根块(181、182、183、184)局部地确定所述第一度量(A)和所述第二度量(B)。
18.根据权利要求17所述的编码器(10),被配置为:
基于划分信息来执行对所述多个树根块(181、182、183、184)中的每个树根块的递归多树细分,
将所述划分信息插入所述数据流(14)中,以及
取决于所述划分信息来确定所述第一度量(A)。
19.根据权利要求17或18所述的编码器(10),被配置为:通过针对每个树根块(181、182、183、184)确定相应的树根块(181、182、183、184)被分割为的叶块(181a-181g;182a-182d)的数量,来确定所述第一度量(A)。
20.根据权利要求17至19中任一项所述的编码器(10),被配置为:
以系数块为单位将所述预测残差编码到所述数据流(14)中,所述系数块代表预测残差的逐片的变换,每块(181、182、183、184;181a-181g;182a-182d)至少一个系数块,以及
通过针对每个树根块(181、182、183、184)确定未被完全量化为零的系数块的数量,来确定所述第二度量(B)。
21.根据权利要求20所述的编码器(10),被配置为:针对每个系数块,从多个变换中选择一个变换,所述变换可选地包括恒等变换,并且使用所选择的逆变换来获得对应的块(181、182、183、184)或所述块的子块(181a-181g;182a-182d)。
22.根据权利要求14至21中任一项所述的编码器(10),被配置为通过以下步骤来执行所述去块或去振铃滤波器(120)的强度的局部改变:
对于所述第一度量和所述第二度量(A,B)满足预定标准的、所述图片(12)的第一部分,将指示要应用在相应部分的去块或去振铃滤波器(120)的第一强度的强度信息插入所述数据流(14)中,以及
对于所述第一度量和所述第二度量(A,B)不满足预定标准的、所述图片(12)的第二部分,将要应用在相应部分的去块或去振铃滤波器(120)的强度设置为较低的第二强度。
23.根据权利要求22所述的编码器(10),其中,如果以下条件成立,则满足预定标准:
第一度量(A)下降到低于第一预定阈值,以及
第二度量(B)超过或等于第二预定阈值。
24.根据权利要求23所述的编码器(10),其中,
对于所述树根块(181、182、183、184)中的每个树根块,第一预定阈值是p,p满足1<p<17,和/或
对于所述树根块(181、182、183、184)中的每个树根块,第二预定阈值是q,q满足-1<q<51。
25.根据权利要求22至24中任一项所述的编码器(10),其中,所述第一部分和所述第二部分是所述图片(12)被预划分为的树根块(181、182、183、184),且进一步对所述树根块(181、182、183、184)进行多树细分以产生块(181a-181g;182a-182d),使用所述块(181a-181g;182a-182d)来执行编码。
26.一种使用去块或去振铃滤波器(110)对图片数据进行基于块的解码的方法,所述方法包括以下步骤:
使用预测并使用编码在数据流(14)中的预测残差,以逐块的方式从所述数据流(14)中重构图片(12),以获得所述图片(12)的重构版本(12’)
将所述去块或去振铃滤波器(110)应用于所述图片(12)的重构版本(12’),以及
取决于局部地度量平均块大小的第一度量(A)和局部地度量预测残差的非零编码的频率的第二度量(B)来局部地改变所述去块或去振铃滤波器(110)的强度。
27.一种使用去块或去振铃滤波器(120)作为环路滤波器对图片数据进行基于块的编码的方法,所述方法包括以下步骤:
通过使用预测并通过将预测残差编码到数据流(14)中,以逐块的方式将图片(12)编码到所述数据流(14)中,其中在预测环路(136)中提供所述图片(12)的重构版本(12’),
将所述去块或去振铃滤波器(120)应用于所述图片(12)的重构版本(12’),以及
取决于局部地度量平均块大小的第一度量(A)和局部地度量预测残差的非零编码的频率的第二度量(B)来局部地改变所述去块或去振铃滤波器(120)的强度。
28.一种计算机可读数字存储介质,其上存储有计算机程序,所述计算机程序具有程序代码,所述程序代码在计算机上运行时用于执行根据权利要求26或27所述的方法。
29.一种数据流,通过根据权利要求26或27所述的方法获得。
30.一种用于对图片(12)的块(1000)进行滤波的去块滤波器(110、120),其中,所述去块滤波器(110、120)被配置为:
针对块(1000)的边框(1010)的至少八个边框部分(1011、1012、1013、1014、1021、1022、1023、1024)中的每个边框部分,确定沿着相应边框部分(1011、1012、1013、1014、1021、1022、1023、1024)的所述块(1000)的未经滤波的内容(1015)与所述块(1000)附近的周围图片内容(1016)之间的相异度,所述八个边框部分(1011、1012、1013、1014、1021、1022、1023、1024)包括四个角边框部分(1021、1022、1023、1024)和四个边缘边框部分(1011、1012、1013、1014),所述四个角边框部分( 1021、1022、1023、1024)各自布置在所述块(1000)的拐角处,所述四个边缘边框部分(1011、1012、1013、1014)各自布置在所述块(1000)的拐角之间的边框(1010)的中间部分,
使用针对所述至少八个边框部分(1011、1012、1013、1014、1021、1022、1023、1024)确定的相异度对所述块(1000)的去块滤波进行参数化,以便获得所述块(1000)的经滤波的内容。
31.根据权利要求30所述的去块滤波器(110、120),被配置为:
通过计算第一样本与第二样本之间的平均差,针对所述至少八个边框部分(1011、1012、1013、1014、1021、1022、1023、1024)中的每个边框部分确定相异度,所述第一样本位于所述块(1000)内部且与相应边框部分(1011、1012、1013、1014、1021、1022、1023、1024)邻接,并且所述第二样本位于所述块(i000)外部且与相应边框部分(1011、1012、1013、1014、1021、1022、1023、1024)邻接。
32.根据权利要求30或31所述的去块滤波器(110、120),被配置为:
通过计算第一样本的第一总和与第二样本的第二总和之间的差异,针对所述至少八个边框部分(1011、1012、1013、1014、1021、1022、1023、1024)中的每个边框部分确定相异度,所述第一样本位于所述块(1000)内部且与相应边框部分(1011、1012、1013、1014、1021、1022、1023、1024)邻接,并且所述第二样本位于所述块(1000)外部且与相应边框部分(1011、1012、1013、1014、1021、1022、1023、1024)邻接。
33.根据权利要求30至32中任一项所述的去块滤波器(110、120),被配置为:
取决于所述块(1000)的大小来设置所述至少八个边框部分(1011、1012、1013、1014、1021、1022、1023、1024)的宽度,使得至少对于所述八个边框部分(1011、1012、1013、1014、1021、1022、1023、1024)中的一个边框部分,相应边框部分(1011、1012、1013、1014、1021、1022、1023、1024)的宽度等于所述块的边框(1010)的长度的分数部分,所述分数部分随着不同的块大小而变化。
34.根据权利要求30至33中任一项所述的去块滤波器(110、120),被配置为:
取决于所述块(1000)的大小来设置所述至少八个边框部分(1011、1012、1013、1014、1021、1022、1023、1024)的宽度,使得:
如果所述块(1000)的大小小于第一预定量,则四个边缘边框部分(1011、1012、1013、1014)和四个角边框部分(1021、1022、1023、1024)相互重叠,以及
如果所述块(1000)的大小大于第一预定量,则四个边缘边框部分(1011、1012、1013、1014)和四个角边框部分(1021、1022、1023、1024)不重叠。
35.根据权利要求30至34中任一项所述的去块滤波器(110、120),被配置为:
取决于所述块(1000)的大小来设置所述至少八个边框部分(1011、1012、1013、1014、1021、1022、1023、1024)的宽度,使得:
如果所述块(1000)的大小小于第一预定量,则四个边缘边框部分(1011、1012、1013、1014)和四个角边框部分(1021、1022、1023、1024)相互重叠,以及
如果所述块(1000)的大小在第一预定量和第二预定量之间,则四个边缘边框部分(1011、1012、1013、1014)和四个角边框部分(1021、1022、1023、1024)相互彼此邻接,以及
如果所述块(1000)的大小大于第二预定量,则四个边缘边框部分(1011、1012、1013、1014)和四个角边框部分(1021、1022、1023、1024)相互彼此间隔开。
36.根据权利要求33至35中任一项所述的去块滤波器(110、120),被配置为:
取决于所述块(1000)的大小分别沿着水平轴和竖直轴设置所述至少八个边框部分(1011、1012、1013、1014、1021、1022、1023、1024)的宽度。
37.根据权利要求30至36中任一项所述的去块滤波器(110、120),被配置为通过以下步骤执行对块(1000)的去块滤波:
通过使用偏移值来偏移沿着所述块(1000)的边框(1010)延伸的块(1000)的边界带(1033)内的每个样本,并且设置所述偏移值使得:
对于与所述块的边框(1010)等同地成形且具有恒定样本偏移的每条样本线(1031、1032),所述偏移值在每个边界部分(1041a、1041b、1051、1061a、1061b)内是恒定的,所述边界带(1033)被沿周向划分为所述边界部分(1041a、1041b、1051、1061a、1061b),
对相应边界部分(1041a、1041b、1051、1061a、1061b)内的样本的偏移值进行从所述边框(1010)到所述块(1000)的内部的衰减,以及使得:
基于针对边框部分(1011、1012、1013、1014、1021、1022、1023、1024)中沿周向最接近相应边界部分(1041a、1041b、1051、1061a、1061b)的一个或多个边框部分确定的相异度,来计算相应边界部分(1041a、1041b、1051、1061a、1061b)内的样本的偏移值。
38.根据权利要求37所述的去块滤波器(110、120),被配置为相对于所述块(1000)的大小单调地增加所述边界带的带宽。
39.根据权利要求37或38所述的去块滤波器(110、120),被配置为使得所述边界带包括恒定的周向宽度。
40.根据权利要求37至39中任一项所述的去块滤波器(110、120),被配置为使得所述边界带(1033)的边界部分至少包括:
在所述块(1000)的每个拐角处,从相应拐角朝向所述块(1000)的内部(1030)对角延伸的角边界部分(1041a、1041b),以及
在所述块(1000)的每对相邻的角边界部分(1041a,1041b)之间的两个或三个边界部分(1051、1061a、1061b)。
41.根据权利要求40所述的去块滤波器(110、120),被配置为使得在所述块(1000)的每对相邻的角边界部分(1041a,1041b)之间的所述两个或三个边界部分(1051、1061a,1061b)包括:
沿周向与相应对的第一角边界部分(1041a)相邻的第一分段(1061a),
沿周向与相应对的第二角边界部分(1041b)相邻的第二分段(1061b),以及
沿周向布置在相应对的第一角边界部分和第二角边界部分(1041a、1041b)之间的中间边界部分(1051)。
42.根据权利要求40所述的去块滤波器(110、120),被配置为使得在所述块(1000)的每对相邻的角边界部分(1041a,1041b)之间的所述两个或三个边界部分(1051、1061a,1061b)包括以下项:
如果沿着在拐角之间延伸的方向度量的块大小大于所述边界带(1033)的两倍宽度,其中相应对的相邻的角边界部分(1041a、1041b)从所述拐角朝向所述块(1000)的内部延伸,则所述两个或三个边界部分(1051、1061a,1061b)包括:
沿周向与相应对的第一角边界部分(1041a)相邻的第一分段(1061a),
沿周向与相应对的第二角边界部分(1041b)相邻的第二分段(1061b),以及
沿周向在相应对的第一角边界部分和第二角边界部分(1041a、1041b)之间延伸的中间边界部分(1051),以及
如果沿着在拐角之间延伸的方向度量的块大小不大于所述边界带(1033)的两倍宽度,其中相应对的相邻的角边界部分(1041a、1041b)从所述拐角朝向所述块(1000)的内部延伸,则所述两个或三个边界部分(1051、1061a,1061b)包括:
沿周向与相应对的第一角边界部分(1041a)相邻的第一分段(1061a),以及
沿周向与相应对的第二角边界部分(1041b)相邻的第二分段(1061b),
其中所述第一分段和所述第二分段(1061a、1061b)彼此邻接。
43.根据权利要求41或42所述的去块滤波器(110、120),被配置为使得所述中间边界部分(1051)沿周向与所述块(1000)减去所述边界带(1033)的两倍宽度一样宽。
44.根据权利要求40至43中任一项所述的去块滤波器(110、120),被配置为:
对于每个角边界部分(1041),设置用于相应角边界部分(1041)内的样本的偏移值(oc),使得:
基于针对角边框部分(1021、1022、1023、1024)确定的相异度来确定所述偏移值(oc),相应角边界部分(1041)从所述角边框部分(1021、1022、1023、1024)朝向所述块(1000)的内部对角延伸,并且对所述偏移值进行从所述块(1000)的边框(1010)朝向所述块(1000)的内部(1030)的衰减。
45.根据权利要求37至44中任一项所述的去块滤波器(110、120),其中,从所述块(1000)的边框(1010)朝向所述块(1000)的内部(1030)的衰减是线性或指数衰减。
46.根据权利要求40至45中任一项所述的去块滤波器(110、120),被配置为:
对于每个角边界部分(1041),设置用于相应角边界部分(1041)内的样本的偏移值(oc),使得:
根据以下第一偏移值(offsetc)和第二偏移值(mc)的加权平均值,从所述块(1000)的边框(1010)朝向所述块(1000)的内部(1030)改变相应角边界部分(1041)内的样本的偏移值(oc),
所述第一偏移值(offsetc)基于针对角边框部分(1021、1022、1023、1024)确定的相异度来确定,相应角边界部分(1041)从所述角边框部分(1021、1022、1023、1024)朝向所述块(1000)的内部对角延伸,以及
所述第二偏移值(mc)基于针对边缘边框部分(1011、1012、1013、1014)确定的相异度来确定,所述边缘边框部分沿周向与相应角边框部分(1021、1022、1023、1024)相邻,相应角边界部分(1041)从相应角边框部分(1021、1022、1023、1024)朝向所述块(1000)的内部对角延伸,
其中,所述加权平均值的权重取决于所述样本距所述块(1000)的边框(1010)的距离,使得随着距离增加,与所述第二偏移值(mc)相比,所述加权平均值对所述第一偏移值(offsetc)的依赖性单调减少。
47.根据权利要求40至46中任一项所述的去块滤波器(110、120),被配置为使得所述块(1000)的每对相邻的角边界部分(1041a、1041b)之间的所述两个或三个边界部分(1051、1061a、1061b)包括:
沿周向与相应对的第一角边界部分(1041a)相邻的第一分段(1061a),
沿周向与相应对的第二角边界部分(1041b)相邻的第二分段(1061b),以及
沿周向在相应对的第一角边界部分和第二角边界部分(1041a、1041b)之间的中间边界部分(1051),以及
其中,所述去块滤波器(110、120)还被配置为:
针对所述第一分段(1061a)设置用于所述第一分段(1061a)内的样本的偏移值,使得
对于每条线(1031、1032),在相应线(1031、1032)中的第一角边界部分(1041a)的偏移值和相应线(1031、1032)中的中间边界部分(1051)的偏移值之间对相应线(1031、1032)内的样本的偏移值进行插值,以及
针对所述第二分段(1061b)设置用于所述第二分段(1061b)内的样本的偏移值,使得
对于每条线(1031、1032),在相应线(1031、1032)中的第二角边界部分(1041b)的偏移值和相应线(1031、1032)中的中间边界部分(1051)的偏移值之间对相应线(1031、1032)内的样本的偏移值进行插值。
48.一种用于对图片(12)进行基于块的解码的解码器(20),所述解码器(20)包括根据权利要求30至45中任一项所述的去块滤波器(110、120)。
49.根据权利要求48所述的解码器(20),被配置为:
以系数块为单位从数据流(14)中解码预测残差,所述系数块表示将所述预测残差划分为的变换块,其中,所述去块滤波器(110、120)被配置为以变换块为单位对所述图片(12)进行去块。
50.一种用于对图片(12)进行基于块的编码的编码器(10),所述编码器(10)包括根据权利要求30至45中任一项所述的去块滤波器(110、120)。
51.根据权利要求50所述的编码器(10),被配置为:
以系数块为单位将预测残差编码到数据流(14)中,所述系数块表示将所述预测残差划分为的变换块,其中,所述去块滤波器(110、120)被配置为以变换块为单位对所述图片(12)进行去块。
52.一种用于对基于块进行编码的图片(12)的块(1000)进行滤波的方法,该方法包括以下步骤:
针对所述块(i000)的边框(1010)的至少八个边框部分(1011、1012、1013、1014、1021、1022、1023、1024)中的每个边框部分,确定沿着相应边框部分(1011、1012、1013、1014、1021、1022、1023、1024)的所述块(1000)的未经滤波的内容(1015)与所述块(1000)附近的周围图片内容(1016)之间的相异度,所述八个边框部分(1011、1012、1013、1014、1021、1022、1023、1024)包括四个角边框部分(1021、1022、1023、1024)和四个边缘边框部分(1011、1012、1013、1014),所述四个角边框部分(1021、1022、1023、1024)各自布置在所述块(1000)的拐角处,所述四个边缘边框部分(1011、1012、1013、1014)各自布置在所述块(1000)的拐角之间的边框(1010)的中间部分,以及
使用针对所述至少八个边框部分(1011、1012、1013、1014、1021、1022、1023、1024)确定的相异度对所述块(1000)的去块滤波进行参数化,以便获得所述块(1000)的经滤波的内容。
53.一种计算机可读数字存储介质,其上存储有计算机程序,所述计算机程序具有程序代码,所述程序代码在计算机上运行时用于执行根据权利要求52所述的方法。
54.一种数据流,由根据权利要求52所述的方法获得。
CN201980076577.1A 2018-09-28 2019-09-26 去块或去振铃滤波器以及应用和改变去块或去振铃滤波器的强度的编码器、解码器和方法 Pending CN113170120A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP18197609 2018-09-28
EP18197609.3 2018-09-28
EP18201517 2018-10-19
EP18201517.2 2018-10-19
PCT/EP2019/076080 WO2020064949A1 (en) 2018-09-28 2019-09-26 Deblocking or deringing filter and encoder, decoder and method for applying and varying a strength of a deblocking or deringing filter

Publications (1)

Publication Number Publication Date
CN113170120A true CN113170120A (zh) 2021-07-23

Family

ID=68062949

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980076577.1A Pending CN113170120A (zh) 2018-09-28 2019-09-26 去块或去振铃滤波器以及应用和改变去块或去振铃滤波器的强度的编码器、解码器和方法

Country Status (8)

Country Link
US (1) US11843805B2 (zh)
EP (1) EP3857880A1 (zh)
JP (1) JP7227364B2 (zh)
KR (1) KR102606092B1 (zh)
CN (1) CN113170120A (zh)
BR (1) BR112021005758A2 (zh)
MX (1) MX2021003624A (zh)
WO (1) WO2020064949A1 (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000059769A (ja) * 1998-08-01 2000-02-25 Samsung Electronics Co Ltd 映像デ―タル―プフィルタリング方法及び装置
US20070217508A1 (en) * 2006-03-17 2007-09-20 Fujitsu Limited Apparatus and method for coding moving pictures
US20090141814A1 (en) * 2006-01-09 2009-06-04 Peng Yin Method and Apparatus for Providing Reduced Resolution Update Mode for Multi-View Video Coding
WO2011127961A1 (en) * 2010-04-13 2011-10-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e. V. Adaptive image filtering method and apparatus
WO2014043516A1 (en) * 2012-09-14 2014-03-20 Qualcomm Incorporated Performing quantization to facilitate deblocking filtering
US20150365666A1 (en) * 2013-01-07 2015-12-17 Vid Scale, Inc. Enhanced deblocking filters for video coding
CN105409221A (zh) * 2014-04-29 2016-03-16 微软技术许可有限责任公司 用于样本自适应偏移滤波的编码器侧决策
CN106464866A (zh) * 2014-05-29 2017-02-22 佳能株式会社 用于对视频样本的块进行去块的方法、设备和系统
WO2018024425A1 (en) * 2016-08-04 2018-02-08 Thomson Licensing A method and an apparatus for image block encoding and decoding
CN107925773A (zh) * 2015-06-11 2018-04-17 英迪股份有限公司 使用自适应去块滤波编码和解码图像的方法及其装置
US20180131969A1 (en) * 2016-11-10 2018-05-10 Mediatek Inc. Method and apparatus of video coding

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI375470B (en) * 2007-08-03 2012-10-21 Via Tech Inc Method for determining boundary strength
JP2011223302A (ja) * 2010-04-09 2011-11-04 Sony Corp 画像処理装置と画像処理方法
WO2012096614A2 (en) * 2011-01-14 2012-07-19 Telefonaktiebolaget L M Ericsson (Publ) A method for filter control and a filtering control device
PL4024864T3 (pl) * 2011-11-04 2024-03-18 Lg Electronics, Inc. Sposób i aparat do kodowania/dekodowania informacji wideo

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000059769A (ja) * 1998-08-01 2000-02-25 Samsung Electronics Co Ltd 映像デ―タル―プフィルタリング方法及び装置
US20090141814A1 (en) * 2006-01-09 2009-06-04 Peng Yin Method and Apparatus for Providing Reduced Resolution Update Mode for Multi-View Video Coding
US20070217508A1 (en) * 2006-03-17 2007-09-20 Fujitsu Limited Apparatus and method for coding moving pictures
WO2011127961A1 (en) * 2010-04-13 2011-10-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e. V. Adaptive image filtering method and apparatus
WO2014043516A1 (en) * 2012-09-14 2014-03-20 Qualcomm Incorporated Performing quantization to facilitate deblocking filtering
US20150365666A1 (en) * 2013-01-07 2015-12-17 Vid Scale, Inc. Enhanced deblocking filters for video coding
CN105409221A (zh) * 2014-04-29 2016-03-16 微软技术许可有限责任公司 用于样本自适应偏移滤波的编码器侧决策
CN106464866A (zh) * 2014-05-29 2017-02-22 佳能株式会社 用于对视频样本的块进行去块的方法、设备和系统
CN107925773A (zh) * 2015-06-11 2018-04-17 英迪股份有限公司 使用自适应去块滤波编码和解码图像的方法及其装置
WO2018024425A1 (en) * 2016-08-04 2018-02-08 Thomson Licensing A method and an apparatus for image block encoding and decoding
US20180131969A1 (en) * 2016-11-10 2018-05-10 Mediatek Inc. Method and apparatus of video coding

Also Published As

Publication number Publication date
JP7227364B2 (ja) 2023-02-21
BR112021005758A2 (pt) 2021-07-06
US11843805B2 (en) 2023-12-12
JP2022502947A (ja) 2022-01-11
WO2020064949A1 (en) 2020-04-02
KR20210080392A (ko) 2021-06-30
MX2021003624A (es) 2021-06-23
US20210211737A1 (en) 2021-07-08
KR102606092B1 (ko) 2023-11-29
EP3857880A1 (en) 2021-08-04

Similar Documents

Publication Publication Date Title
US11102515B2 (en) In loop chroma deblocking filter
KR102201051B1 (ko) 비디오 코딩 방법 및 장치
EP4336830A2 (en) Method for encoding/decoding image signal and device for same
CN110024405B (zh) 图像处理方法及其装置
CN114710669B (zh) 视频编解码方法/装置和相应非易失性计算机可读介质
KR102398612B1 (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
EP3523977A1 (en) Deringing filter for video coding
WO2018117938A1 (en) Deringing filter for video coding
EP3843389A1 (en) Method for encoding/decoding image signal and apparatus therefor
KR102654647B1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR20210134392A (ko) 하이브리드 비디오 코딩을 위한 인코더, 디코더, 방법, 비디오 비트 스트림 및 컴퓨터 프로그램
JP2022106982A (ja) 画像の符号化/復号化方法及び装置
KR102389267B1 (ko) 성분 간 참조 기반의 비디오 신호 처리 방법 및 장치
JP2020129828A (ja) ビデオ符号化のためのサンプルの適応フィルタリングの方法および装置
KR20200000543A (ko) 지도 학습을 이용한 영상 개선 방법 및 장치
JP7227364B2 (ja) デブロッキングまたはデリンギングフィルタ、およびエンコーダ、デコーダ、ならびにデブロッキングまたはデリンギングフィルタの強度を適用および変更するための方法
KR102511611B1 (ko) 영상 부호화 방법/장치, 영상 복호화 방법/장치 및 비트스트림을 저장한 기록 매체
US11956427B2 (en) Method of restoration in subblock units, and video decoding apparatus
US20230412798A1 (en) Method and apparatus for video coding for improving predicted signals of intra prediction
KR20230042236A (ko) 영상 부호화 방법/장치, 영상 복호화 방법/장치 및 비트스트림을 저장한 기록 매체
KR20130069452A (ko) 적응적 밴드 오프셋 구간을 이용한 인-루프 필터링 방법 및 장치, 그리고 적응적 밴드 오프셋 구간을 이용한 부호화 및 복호화 장치
CN116458160A (zh) 利用自适应替代模式的影像编码和解码方法
KR20190023294A (ko) 영상 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination