CN114450964A - 去块滤波装置、解码装置及程序 - Google Patents

去块滤波装置、解码装置及程序 Download PDF

Info

Publication number
CN114450964A
CN114450964A CN202180005451.2A CN202180005451A CN114450964A CN 114450964 A CN114450964 A CN 114450964A CN 202180005451 A CN202180005451 A CN 202180005451A CN 114450964 A CN114450964 A CN 114450964A
Authority
CN
China
Prior art keywords
block
unit
filter
deblocking
filtering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180005451.2A
Other languages
English (en)
Inventor
岩村俊辅
根本慎平
近藤雄一
井口和久
市谷敦郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK filed Critical Nippon Hoso Kyokai NHK
Publication of CN114450964A publication Critical patent/CN114450964A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

第一方式的去块滤波装置，其具备：去块滤波器，对第一重构块和与所述第一重构块相邻的第二重构块的边界进行滤波处理；以及滤波器控制部，基于所述第一重构块和所述第二重构块中的至少一方是否使用从Cb色差分量和Cr色差分量各自的预测残差生成一个联合预测残差的JCCR(Joint coding of chroma residual)进行编码，控制所述去块滤波器的边界滤波强度。

Description

去块滤波装置、解码装置及程序
技术领域
本发明涉及去块滤波装置、解码装置以及程序。
背景技术
在HEVC(高效率视频编码(High Efficiency Video Coding))以及作为下一代的编码方式的VVC(通用视频编码(Versatile Video Coding))中，作为环路滤波，采用去块滤波，所述去块滤波用于抑制在以块单位进行编码处理时的块的边界部分的失真。在去块滤波的控制中，根据在相邻的两个块中的至少一个块是否存在非零变换系数，控制去块滤波器的边界滤波强度(boundary filtering strength)。这是因为由于通过非零变换系数的逆变换，预测残差的能量分布于块整体，所以在两块的边界产生不连续性的可能性高。
现有技术文献
非专利文献
非专利文献1：JVET-Q2001“Versatile Video Coding(Draft 8)”
发明内容
第一方式的去块滤波装置，其具备：去块滤波器，进行针对第一重构块和与所述第一重构块相邻的第二重构块的边界的滤波处理；以及滤波器控制部，根据所述第一重构块以及所述第二重构块的至少一方是否使用从Cb色差分量以及Cr色差分量的各自的预测残差生成一个联合预测残差的JCCR(色度残差的联合编码(Joint coding of chromaresidual))进行了编码，控制所述去块滤波器的边界滤波强度。
第二方式的解码装置，其具备：第一方式的去块滤波装置；以及熵解码部，针对所述第一重构块和所述第二重构块中的每一个取得表示是否使用所述JCCR进行编码的标记，所述滤波器控制部基于针对所述第一重构块和所述第二重构块中的每一个的所述标记，控制所述去块滤波器的边界滤波强度。
第三方式的程序，其使计算机作为第一方式的去块滤波装置发挥作用。
附图说明
图1是示出实施方式的编码装置的构成的图。
图2是用于说明实施方式的去块滤波器的操作的图。
图3是示出实施方式的解码装置的构成的图。
图4是示出实施方式的滤波器控制部的操作例的图。
图5是示出变形例2的编码装置的构成的图。
图6是示出变形例2的解码装置的构成的图。
具体实施方式
在VVC标准方案中，采用如下的被称为自适应颜色变换(ACT：Adaptive ColorTransform)的技术：在输入图像的色度格式为4：4：4的情况下，将预测残差的颜色空间(RGB空间)变换为YCgCo空间，针对颜色空间变换后的预测残差进行变换处理·熵编码处理等编码处理(参照非专利文献1)。编码装置能够控制针对每个编码对象块是否应用ACT，针对每个编码对象块流式输出ACT应用标记。解码装置针对使用ACT进行了编码的块进行熵解码·逆变换处理等，将预测残差复原，将复原后的预测残差的颜色空间(YCgCo空间)逆变换为RGB空间。
在上述的以往的技术中，在相邻的两个块中的至少一个块存在非零变换系数的情况下，解码装置针对该两个块的边界应用去块滤波。另一方面，在相邻的两个块的两块不存在非零变换系数的情况下，也可以针对该两个块的边界不应用去块滤波。
但是，对于应用了ACT的块，通过逆变换处理从变换系数将预测残差复原后，通过颜色空间逆变换将预测残差的颜色空间从YCgCo空间变换为RGB空间。因此，在某个颜色分量的块存在非零变换系数的情况下，变成在颜色空间逆变换时该非零变换系数对其它颜色分量的块造成影响。
因此，如果针对使用ACT进行了编码的块应用基于有无非零变换系数的去块滤波控制，则存在无法适当地控制去块滤波器的边界滤波强度并引起图像质量的劣化的可能性。
在应用作为其它编码工具的预测残差联合编码(Joint coding of chromaresidual：JCCR)的情况下也可能发生与上述相同的问题。
因此，本发明的目的在于提供能够抑制图像质量的劣化的去块滤波装置、解码装置以及程序。
参照附图对实施方式的编码装置以及解码装置进行说明。实施方式的编码装置以及解码装置分别对由MPEG代表的运动图像进行编码以及解码。在以下的附图的记载中，对相同或类似的部分赋予相同或类似的附图标记。
[第一实施方式]
＜编码装置的构成＞
首先，对本实施方式的编码装置的构成进行说明。图1是示出本实施方式的编码装置1的构成的图。
如图1所示，编码装置1具有块分割部100、残差生成部110、切换部111、颜色空间变换部112、变换量化部120、熵编码部130、逆量化逆变换部140、切换部143、颜色空间逆变换部144、合成部150、去块滤波器160、存储器170、以及预测部180。
块分割部100将构成运动图像的帧(或图像)单位的输入图像亦即原始图像分割成多个图像块，向残差生成部110输出通过分割得到的图像块。图像块的尺寸例如为32×32像素、16×16像素、8×8像素或4×4像素等。图像块的形状不限于正方形，也可以是长方形(非正方形)。图像块是编码装置1进行编码处理的单位(即，编码对象块)，并且是解码装置进行解码处理的单位(即，解码对象块)。这样的图像块有时也被称为CU(编码单元(CodingUnit))。
输入图像可以是RGB信号，色度格式可以是4：4：4。RGB空间是第一颜色空间的一个示例。“R”分量相当于第一分量，“G”分量相当于第二分量，“B”分量相当于第三分量。块分割部100分别对构成图像的R分量、G分量以及B分量的每一个进行块分割，由此输出块。在以下的编码装置的说明中，在不区别各颜色分量时只称为编码对象块。
残差生成部110计算预测残差，所述预测残差表示块分割部100输出的编码对象块与预测部180对编码对象块进行预测得到的预测块的差分(误差)。具体而言，残差生成部110通过从编码对象块的各像素值减去预测块的各像素值，计算预测残差，向切换部111输出计算出的预测残差。在本实施方式中，残差生成部110通过各颜色分量的编码对象块与各颜色分量的预测块的差分，来生成各颜色分量的预测残差。
切换部111向变换量化部120以及颜色空间变换部112中的任意一方输出残差生成部110输出的各颜色分量的预测残差。切换部111在不进行颜色空间变换处理(ACT处理)的情况下向变换量化部120输出预测残差，在进行ACT处理的情况下向颜色空间变换部112输出预测残差。
颜色空间变换部112针对各颜色分量的预测残差进行ACT处理，向变换量化部120输出ACT处理后的预测残差。颜色空间变换部112通过针对编码对象块的预测残差的R分量、G分量以及B分量进行下述这样的变换计算，生成新的预测残差。
Co＝R－B
t＝B+(Co＞＞1)
Cg＝G－t
Y＝t+(Cg＞＞1)
其中，“＞＞”表示右移运算。另外，“Y”分量相当于第一分量，“Cg”分量相当于第二分量，“Co”分量相当于第三分量。这样的YCgCo空间是第二颜色空间的一个示例。
切换部111以及颜色空间变换部112能够控制针对每个编码对象块是否应用颜色变换处理。熵编码部130在比特流中用信号发送表示针对该编码块是否进行了颜色变换处理的标记(ACT应用标记)。
另外，颜色空间变换部112的ACT处理只要通过针对各颜色分量的加法·减法·乘法·除法·移位处理等生成由新的颜色分量构成的预测残差即可。另外，ACT处理无需是对全部的颜色分量造成影响的变换。例如，颜色空间变换部112可以应用不变更并维持第一分量、将第二分量与第三分量的平均值作为新的第二分量、将第二分量与第三分量的差分作为新的第三分量这样的ACT处理。
变换量化部120以块单位进行变换处理以及量化处理。变换量化部120具有变换部121以及量化部122。
变换部121针对切换部111或颜色空间变换部112输出的预测残差(不论有无应用ACT处理都称为预测残差)进行变换处理，计算变换系数，向量化部122输出计算出的变换系数。具体而言，变换部121通过以块单位对各颜色分量的预测残差进行变换处理，生成各颜色分量的变换系数。变换处理例如可以是DCT、DST、离散小波变换等频率变换。另外，变换部121向熵编码部130输出与变换处理有关的信息。
变换处理包括在HEVC、VVC标准方案中采用的不进行变换处理的变换跳过。在HEVC的变换跳过模式下，通过在不进行水平以及垂直的变换处理的情况下对预测残差实施缩放，来作为变换系数，但是本实施方式的变换跳过也包括仅应用水平的变换处理的变换以及仅应用垂直的变换处理的变换。另外，变换部121也可以进行对通过变换处理得到的变换系数进一步应用变换处理的二次变换处理。另外，二次变换处理可以仅应用于变换系数的一部分的区域。
量化部122使用量化参数以及缩放列表对从变换部121输出的变换系数进行量化，向熵编码部130以及逆量化逆变换部140输出量化后的变换系数。另外，量化部122向熵编码部130以及逆量化部141输出与量化处理有关的信息(具体而言，在量化处理中使用的量化参数以及缩放列表的信息)。
熵编码部130针对量化部122输出的量化变换系数进行熵编码，进行数据压缩，生成比特流(编码数据)，向解码侧输出比特流。熵编码可以使用哈夫曼编码、CABAC(基于上下文的自适应二进制算术编码(Context-Based Adaptive Binary Arithmetic Coding))等。另外，熵编码部130将从变换部121输入的与变换处理有关的信息包含在比特流中用信号发送至解码侧，或者将从预测部180输入的与预测处理有关的信息包含在比特流中用信号发送至解码侧。
此外，熵编码部130针对每个编码对象块将表示有无应用ACT的颜色空间变换标记包含在比特流中用信号发送至解码侧。这样的颜色空间变换标记也称为ACT应用标记。在ACT应用标记为开(“1”)的情况下，表示针对对应的编码对象块应用ACT。在ACT应用标记为关(“0”)的情况下，表示针对对应的编码对象块不应用ACT。另外，也可以代替ACT应用标记使用ACT未应用标记。在该情况下，在ACT未应用标记为开(“1”)的情况下，表示针对对应的编码对象块未应用ACT。在ACT未应用标记为关(“0”)的情况下，表示针对对应的编码对象块应用ACT。
逆量化逆变换部140以块单位进行逆量化处理以及逆变换处理。逆量化逆变换部140具有逆量化部141以及逆变换部142。
逆量化部141进行与量化部122进行的量化处理对应的逆量化处理。具体而言，逆量化部141通过使用量化参数(Qp)以及缩放列表对量化部122输出的量化变换系数进行逆量化，来复原变换系数，向逆变换部142输出复原后的变换系数。
逆变换部142进行与变换部121进行的变换处理对应的逆变换处理。例如，在变换部121进行了离散余弦变换的情况下，逆变换部142进行逆离散余弦变换。逆变换部142针对逆量化部141输出的变换系数进行逆变换处理，复原预测残差，向切换部143输出复原后的预测残差亦即复原预测残差。
切换部143向合成部150以及颜色空间逆变换部144中的任意一方输出逆变换部142输出的各颜色分量的复原预测残差。切换部143对于应用ACT的块向合成部150输出复原预测残差，对于未应用ACT的块向颜色空间逆变换部144输出复原预测残差。
颜色空间逆变换部144进行颜色空间变换部112进行的ACT处理的逆处理亦即颜色空间逆变换处理(逆ACT处理)，向合成部150输出逆ACT处理后的预测残差。具体而言，使用复原后的预测残差的Y分量、Cg分量、Co分量，进行下述这样的逆变换计算，由此进行从YCgCo空间向RGB空间的逆变换。
t＝Y－(Cg＞＞1)
G＝Cg+t
B＝t－(Co＞＞1)
R＝Co+B
合成部150将逆变换部142或颜色空间逆变换部144输出的复原预测残差与预测部180输出的预测块以像素单位合成。合成部150将复原预测残差的各像素值与预测块的各像素值相加，复原(重构)编码对象块，向去块滤波器160输出已复原块。另外，已复原块有时也被称为重构块。
去块滤波器160针对合成部150输出的已复原块进行滤波处理，向存储器170输出滤波处理后的已复原块。滤波器控制部161控制去块滤波器160。对于去块滤波器160以及滤波器控制部161的细节，在后面叙述。
存储器170存储去块滤波器160输出的滤波处理后的已复原块，以帧单位存储已复原块作为已复原图像。存储器170向预测部180输出存储的已复原块或已复原图像。
预测部180以块单位进行预测处理。预测部180通过实施针对编码对象块的帧内预测以及帧间预测等预测处理，生成每个颜色分量的预测块。预测部180具有帧间预测部181、帧内预测部182以及切换部183。
帧间预测部181进行利用了帧间相关性的帧间预测。具体而言，帧间预测部181使用存储在存储器170中的已复原图像作为参照图像，通过块匹配等方法计算运动矢量，对编码对象块进行预测，生成帧间预测块，向切换部183输出生成的帧间预测块。在此，帧间预测部181从使用多个参照图像的帧间预测(典型而言，双预测)以及使用一个参照图像的帧间预测(单方向预测)中选择最合适的帧间预测方法，使用所选择的帧间预测方法进行帧间预测。帧间预测部181向熵编码部130输出与帧间预测有关的信息(运动矢量等)。
帧内预测部182进行利用帧内的空间相关性的帧内预测。具体而言，帧内预测部182参照存储于存储器170的已复原图像中的位于编码对象块周围的已复原像素，生成帧内预测块，向切换部183输出生成的帧内预测块。帧内预测部182从多个帧内预测模式中选择对编码对象块应用的帧内预测模式，使用所选择的帧内预测模式对编码对象块进行预测。
切换部183在帧间预测部181输出的帧间预测块与帧内预测部182输出的帧内预测块之间进行切换，向残差生成部110以及合成部150输出任意一种预测块。
接着，对本实施方式的去块滤波器160以及滤波器控制部161进行说明。
去块滤波器160进行针对由已复原块(第一块)和与该已复原块相邻的已复原块(第二块)构成的两个块的块边界的滤波处理，向存储器170输出滤波处理后的各已复原块。滤波处理是用于减轻起因于块单位的处理的信号劣化的处理，并且是使相邻的两个块的块边界的信号的间隙(gap)平滑化的滤波处理。
滤波器控制部161控制去块滤波器160。具体而言，滤波器控制部161控制表示是否对块对的块边界进行滤波处理的边界滤波强度(Bs：Boundary strength)、以及去块滤波器160的滤波强度。边界滤波强度Bs是指用于确定是否应用滤波处理以及该滤波处理的种类的参数。另外，是否进行滤波处理的控制可以视为是使边界滤波强度Bs为1以上还是使边界滤波强度Bs为零的控制。
图2是用于说明本实施方式的去块滤波器160的操作的图。在图2所示的示例中，去块滤波器160将每个8×8像素的块的块边界作为对象进行滤波处理。另外，去块滤波器160可以将4行或4列作为单位进行滤波处理。图2所示的块P(第一重构块)以及块Q(第二重构块)是去块滤波器160的滤波处理的一个单位、示出了块尺寸为4×4像素的一个示例。块P和块Q也可以分别被称为子块。块Q是与编码对象块对应的已复原块，块P是与该块Q相邻的已复原块。
滤波器控制部161根据下述的表1确定边界滤波强度Bs。在本实施方式中，边界滤波强度Bs的值为0、1、2中的任意一个。
[表1]
Bs值 确定Bs值的条件
2 对至少一个块应用帧内预测
1 两个块的运动矢量的差为阈值以上
1 两个块的运动矢量的数值或参照图像不同
1 至少一个块包含有意义的变换系数(非零变换系数)
1 对至少一个块应用了ACT
0 上述以外
如图2以及表1所示，在对块P和块Q中的至少一方应用了帧内预测的情况下，滤波器控制部161将Bs值设为2。
在对块P和块Q的双方应用了运动补偿预测(帧间预测)且至少满足以下的(a)至(d)中的一个条件的情况下，滤波器控制部161将Bs值设为1，在其它的情况下将Bs值设为0。
(a)块P和块Q的运动矢量的差的绝对值为阈值(例如1像素)以上。
(b)块P和块Q的运动矢量的数值或参照图像不同。
(c)块P和块Q中的至少一方包含有意义的变换系数(即，非零变换系数)。
(d)对块P和块Q的至少一方应用了ACT。
在边界滤波强度Bs的值为0的情况下，滤波器控制部161控制去块滤波器160不进行去块滤波处理。在下文中，以图2所示的垂直块边界为例进行说明。
在边界滤波强度Bs的值为1或2的情况下，在满足下面式(1)的情况下，滤波器控制部161可以控制去块滤波器160进行去块滤波处理。
[数学式1]
|p20-2p10+p00|+|p23-2p13+p03|+|q20-2q10+q00+|q23-2q14+q03|＜β (1)
另外，在进行去块滤波处理的情况下，滤波器控制部161在满足以下的条件式(2)至(7)的全部的情况下应用强滤波，在其以外的情况下应用弱滤波。
[数学式2]
2(|p20-2p10+p00+|q20-2q10+q00|)＜β/4 (2)
2(|p23-2pl3+p03+|q23-2q13+q03|)＜β/4 (3)
|p30-p00|+|q00-q30|＜β/8 (4)
|p33p03|+|q03-q33|＜β/8 (5)
|p00-q00|＜(5tC+1)/2 (6)
|p03-q03|＜(5tC+1)/2 (7)
其中，阈值β以及tC的值根据相邻的块P与块Q的量化参数的平均值Qav变化。
<解码装置的构成>
接着，以与编码装置1的不同点为主对本实施方式的解码装置进行说明。图3是示出本实施方式的解码装置2的构成的图。
如图3所示，解码装置2具有熵解码部200、逆量化逆变换部210、切换部215、颜色空间逆变换部216、合成部220、去块滤波器230、存储器240以及预测部250。
熵解码部200对编码数据(比特流)进行解码，取得与解码对象块对应的量化变换系数，向逆量化逆变换部210输出取得的量化变换系数。另外，熵解码部200取得与变换处理以及量化处理有关的信息，向逆量化逆变换部210输出与变换处理以及量化处理有关的信息。此外，熵解码部200取得与预测处理有关的信息，向预测部250输出与预测处理有关的信息。熵解码部200取得每个解码对象块的颜色空间变换标记，向切换部215以及滤波器控制部231输出取得的颜色空间变换标记。
逆量化逆变换部210以块单位进行逆量化处理以及逆变换处理。逆量化逆变换部210具有逆量化部211以及逆变换部212。
逆量化部211进行与编码装置1的量化部122进行的量化处理对应的逆量化处理。逆量化部211通过使用量化参数(Qp)以及缩放列表对熵解码部200输出的量化变换系数进行逆量化，来复原解码对象块的变换系数，向逆变换部212输出复原后的变换系数。
逆变换部212进行与编码装置1的变换部121进行的变换处理对应的逆变换处理。逆变换部212针对逆量化部211输出的变换系数进行逆变换处理，复原预测残差，向切换部215输出复原预测残差。
切换部215基于颜色空间变换标记向合成部220以及颜色空间逆变换部216中的任一方输出逆变换部212输出的各颜色分量的预测残差。切换部111对于应用了颜色空间逆变换处理ACT)的块向变换量化部120输出预测残差，对于应用了ACT的块向颜色空间逆变换部216输出预测残差。
颜色空间逆变换部216进行编码装置1的颜色空间变换部112进行的ACT处理的逆处理亦即颜色空间逆变换处理(逆ACT处理)，向合成部220输出逆ACT处理后的预测残差。具体而言，颜色空间逆变换部216使用复原后的预测残差的Y分量、Cg分量、Co分量，进行下述这样的逆变换计算。
t＝Y－(Cg＞＞1)
G＝Cg+t
B＝t－(Co＞＞1)
R＝Co+B
合成部220通过将切换部215或颜色空间逆变换部216输出的预测残差与预测部250输出的预测块以像素单位合成，来解码(重构)原始的块，向去块滤波器230输出已复原的块。
去块滤波器230针对合成部220输出的已复原块进行滤波处理，向存储器240输出滤波处理后的已复原块。具体而言，去块滤波器230进行针对由已复原块(第一块)以及与该已复原块相邻的已复原块(第二块)构成的两个块的块边界的滤波处理，向存储器240输出滤波处理后的各已复原块。去块滤波器230的功能与编码装置1的去块滤波器160的功能相同。
滤波器控制部231控制去块滤波器230。滤波器控制部231控制去块滤波器230。具体而言，滤波器控制部231控制表示对块对的块边界是否进行滤波处理的边界滤波强度(Bs：Boundary strength)以及去块滤波器230的滤波强度。滤波器控制部231的功能与编码装置1的滤波器控制部161的功能相同。滤波器控制部231的功能根据上述的表1确定边界滤波强度Bs。
即，本实施方式的滤波器控制部231基于相邻的块P和块Q中的至少一方是否使用自适应颜色变换(ACT)进行编码，控制去块滤波器230的边界滤波强度Bs。
如上所述，熵解码部200针对块P和块Q中的每一个取得表示是否使用自适应颜色变换进行了编码的标记(颜色空间变换标记)。滤波器控制部231基于针对块P和块Q中的每一个的颜色空间变换标记，控制去块滤波器230的边界滤波强度Bs。
在块P和块Q中的至少一方使用自适应颜色变换进行编码的情况下，滤波器控制部231控制边界滤波强度Bs以使去块滤波器230进行滤波处理(即，设定边界滤波强度Bs＝1)。具体而言，在即使块P和块Q双方都不存在非零变换系数的情况下，当块P和块Q中的至少一方使用自适应颜色变换进行编码的情况下，滤波器控制部231控制边界滤波强度Bs以使去块滤波器230进行滤波处理。
存储器240存储合成部220输出的已复原块，以帧单位存储已复原块作为已复原图像。存储器240向预测部250输出已复原块或已复原图像。另外，存储器240向解码装置2的外部输出帧单位的已复原图像。
预测部250针对每个颜色分量以块单位进行预测。预测部250具有帧间预测部251、帧内预测部252以及切换部253。
帧间预测部251进行利用帧间相关性的帧间预测。具体而言，帧间预测部251基于熵解码部200输出的与帧间预测有关的信息(例如，运动矢量信息)，使用存储在存储器240中的已复原图像作为参照图像，对编码对象块进行预测，生成帧间预测块，向切换部253输出生成的帧间预测块。
帧内预测部252进行利用了帧内的空间相关性的帧内预测。具体而言，帧内预测部252使用对应于熵解码部200输出的与帧内预测有关的信息(例如帧内预测模式信息)的帧内预测模式，参照存储于存储器240的已复原图像中的位于编码对象块周围的已复原像素，生成帧内预测块，向切换部253输出生成的帧内预测块。
切换部253在帧间预测部251输出的帧间预测块与帧内预测部252输出的帧内预测块之间进行切换，向合成部220输出任意一种预测块。
这样，本实施方式的解码装置2具有：熵解码部200，通过对编码流进行解码，输出与块P对应的变换系数；逆量化逆变换部210，通过对熵解码部200输出的变换系数进行逆量化处理以及逆变换处理，复原与块P(第一块)对应的预测残差；合成部220，通过将复原后的预测残差与对块P进行预测得到的预测块进行合成，来复原块P；去块滤波器230，对复原后的块P以及与块P相邻的已复原的块Q(第二块)的边界进行滤波处理；以及滤波器控制部231，基于块P和块Q中的至少一方是否使用自适应颜色变换(ACT)进行编码，控制去块滤波器230的边界滤波强度Bs。
对于应用了ACT的块，在通过逆变换处理从变换系数将预测残差复原后，通过颜色空间逆变换(逆ACT)将预测残差的颜色空间从YCgCo空间逆变换为RGB空间。因此，当在某个颜色分量的块存在非零变换系数的情况下，在颜色空间逆变换时该非零变换系数对其它颜色分量的块产生影响。
因此，本实施方式的滤波器控制部231不仅基于有无非零变换系数来控制去块滤波器230的边界滤波强度Bs，而且也考虑有无应用ACT来控制去块滤波器230的边界滤波强度Bs。由此，能够适当地控制去块滤波器230的边界滤波强度Bs，因此即时在应用ACT的情况下，也能够抑制图像质量的劣化。
＜滤波器控制部的操作＞
接着，对本实施方式的滤波器控制部161以及滤波器控制部231的操作进行说明。由于编码侧的滤波器控制部161以及解码侧的滤波器控制部231进行相同的操作，所以举出解码侧的滤波器控制部231作为示例进行说明。图4是示出本实施方式的滤波器控制部231的操作例的图。另外，图4所示的判断的顺序是一个示例，也可以变更判断的顺序。
如图4所示，在步骤S1中，滤波器控制部231判断对由块P和块Q构成的块对的至少一方是否应用了帧内预测。在对块对的至少一方应用了帧内预测的情况下(步骤S1：是)，在步骤S2中，滤波器控制部231控制去块滤波器230进行去块滤波处理。具体而言，滤波器控制部231设定边界滤波强度Bs＝2。
在针对块对的任意一方都未应用帧内预测的情况下(步骤S1：否)，在步骤S3中，滤波器控制部231判断对象块对的运动矢量的差是否为阈值以上。在对象块对的运动矢量的差为阈值以上的情况下(步骤S3：是)，在步骤S4中，滤波器控制部231控制去块滤波器230进行去块滤波处理。具体而言，滤波器控制部231设定边界滤波强度Bs＝1。
在块对的运动矢量的差不为阈值以上的情况下(步骤S3：否)，在步骤S5中，滤波器控制部231判断块对的运动矢量的数值或参照图像是否不同。在块对的运动矢量的数值或参照图像不同的情况下(步骤S5：是)，在步骤S4中，滤波器控制部231控制去块滤波器230进行去块滤波处理。具体而言，滤波器控制部231设定边界滤波强度Bs＝1。
在块对的运动矢量的数值或参照图像为相同的情况下(步骤S5：否)，在步骤S6中，滤波器控制部231判断块对的至少一个块是否包含非零变换系数。在块对的至少一方包含非零变换系数的情况下(步骤S6：是)，在步骤S4中，滤波器控制部231控制去块滤波器230进行去块滤波处理。具体而言，滤波器控制部231设定边界滤波强度Bs＝1。
在块对的任意一方的块都不包含非零变换系数的情况下(步骤S6：否)，在步骤S7中，滤波器控制部231基于熵解码部200输出的各块的颜色空间变换标记，判断块对的至少一个块是否使用ACT进行了编码。在块对的至少一个块使用ACT进行了编码的情况下(步骤S7：是)，在步骤S4中，滤波器控制部231控制去块滤波器230进行去块滤波处理。具体而言，滤波器控制部231设定边界滤波强度Bs＝1。另一方面，在块对的任意一方的块都未使用ACT进行编码的情况下(步骤S7：否)，在步骤S8中，滤波器控制部231控制去块滤波器230不进行去块滤波处理。具体而言，滤波器控制部231设定边界滤波强度Bs＝0。
＜变形例1＞
解码侧的滤波器控制部231也可以基于从编码装置1用信号发送的标记来判断块对(块P和块Q)的至少一个块是否包含非零变换系数。
具体而言，编码装置1的熵编码部130针对每个块在编码流中包含表示是否包含非零变换系数的标记(tu_coded_flag)。例如，熵编码部130对于包含非零变换系数的块，将标记(tu_coded_flag)设为“1”，对于不包含非零变换系数的块，将标记(tu_coded_flag)设为“0”。
解码装置2的熵解码部200针对每个块取得标记(tu_coded_flag)，向滤波器控制部231输出取得的标记(tu_coded_flag)。滤波器控制部231对于标记(tu_coded_flag)为“1”的块解释为不包含非零变换系数。而且，滤波器控制部231如下述表2所示地设定去块滤波器230的边界滤波强度Bs。
[表2]
Bs值 确定Bs值的条件
2 对至少一个块应用了帧内预测
1 两个块的运动矢量的差为阈值以上
1 两个块的运动矢量的数值或参照图像不同
1 至少一个块的tu_coded_flag为“1”
1 对至少一个块应用了ACT
0 上述以外
如表2所示，在块对中的至少一个块的tu_coded_flag为“1”的情况下，滤波器控制部231控制去块滤波器230以进行去块滤波处理。具体而言，滤波器控制部231设定边界滤波强度Bs＝1。
＜变形例2＞
如上所述地，对于应用了ACT的块，在通过逆变换处理从变换系数将预测残差复原后，通过逆ACT将预测残差的颜色空间从YCgCo空间逆变换为RGB空间。因此，当在某个颜色分量的块存在非零变换系数的情况下，在逆ACT时该非零变换系数对其它颜色分量的块产生影响。
因此，在应用ACT的情况下，基于有无非零变换系数来控制去块滤波器230的边界滤波强度Bs不能适当地发挥作用。因此，在本变形例中，不是基于变换系数而是基于逆变换处理后的预测残差，控制去块滤波器230的边界滤波强度Bs。由此，在逆ACT时即使非零变换系数对其它颜色分量的块产生影响，也能够基于受到了该影响后的预测残差适当地控制去块滤波器230的边界滤波强度Bs。
即，本变形例的滤波器控制部161以及滤波器控制部231基于下述的表3，设定去块滤波器230的边界滤波强度Bs。
[表3]
Bs值 确定Bs值的条件
2 对至少一个块应用了帧内预测
1 两个块的运动矢量的差为阈值以上
1 两个块的运动矢量的数值或参照图像不同
1 至少一个块的预测残差包含非零值
0 上述以外
图5是示出本变形例的编码装置1的构成的图。
如图5所示，在编码装置1中，向滤波器控制部161输入与向合成部150输入的预测残差(复原预测残差)相同的预测残差。对于应用ACT的块，成为向滤波器控制部161输入逆ACT后的预测残差。在块对(块P和块Q)中的至少一个块的复原预测残差包含非零值的情况下，滤波器控制部161控制去块滤波器160进行去块滤波处理。具体而言，滤波器控制部161设定边界滤波强度Bs＝1。
图6是示出本变形例的解码装置2的构成的图。
如图6所示，在解码装置2中，向滤波器控制部231输入与向合成部220输入的预测残差(复原预测残差)相同的预测残差。对于应用ACT的块，向滤波器控制部231输入逆ACT后的预测残差。在块对(块P和块Q)中的至少一个块的复原预测残差包含非零值的情况下，滤波器控制部231控制去块滤波器230进行去块滤波处理。具体而言，滤波器控制部231设定边界滤波强度Bs＝1。
[第二实施方式]
在上述的实施方式及其变形例中对应用作为编码工具中的一种的ACT的一个示例进行了说明。但是，在应用作为另外的编码工具的预测残差联合编码(Joint coding ofchroma residual：JCCR)的情况下也有可能发生与上述相同的问题。因此，可以将上述实施方式及其变形例应用于JCCR，并将上述实施方式及其变形例中的ACT适当地换成JCCR。例如，可以按照下面表4所示地控制边界滤波强度Bs。
[表4]
Bs值 确定Bs值的条件
2 对至少一个块应用了帧内预测
1 两个块的运动矢量的差为阈值以上
1 两个块的运动矢量的数值或参照图像不同
1 至少一个块包含有意义的变换系数(非零变换系数)
1 对至少一个块应用了JCCR
1 对至少一个块应用了ACT
0 上述以外
JCCR是色差分量的系数编码模式(参照非专利文献1)。在JCCR中，编码装置1利用第一色差分量(Cb分量)以及第二色差分量(Cr分量)各自的预测残差的相关性，从第一色差分量的预测残差以及第二色差分量的预测残差，生成一个联合预测残差。例如，编码装置1将把第二色差分量的预测残差正负反转后的预测残差与第一色差分量的预测残差合成，生成联合预测残差。而且，编码装置1针对生成的联合预测残差进行变换处理、量化处理以及熵编码处理并进行传送。
解码装置2根据传送来的联合预测残差对第一色差分量的预测残差以及第二色差分量的预测残差进行重构。这样，通过针对两个色差分量仅传送一个联合预测残差，能够提高编码效率。
这样，本实施方式的去块滤波装置具备：去块滤波器(160、230)，对第一重构块(块P)与第二重构块(块Q)的边界进行滤波处理；以及滤波器控制部(161、231)，基于第一重构块(块P)和第二重构块(块Q)中的至少一方是否使用从Cb色差分量和Cr色差分量各自的预测残差生成一个联合预测残差的JCCR(Joint coding of chroma residual)进行了编码，控制去块滤波器(160、230)的边界滤波强度Bs。
在第一重构块(块P)和第二重构块(块Q)中的至少一方使用JCCR进行编码的情况下，滤波器控制部(161，231)可以控制边界滤波强度Bs以使去块滤波器(160、230)进行滤波处理。
即使在第一重构块(块P)和第二重构块(块Q)的双方不存在非零变换系数的情况下，在第一重构块(块P)和第二重构块(块Q)中的至少一方使用JCCR进行了编码的情况下，滤波器控制部(161、231)也可以控制边界滤波强度Bs以使去块滤波器(160、230)进行滤波处理。
在本实施方式中，解码装置2的熵解码部200可以针对第一重构块(块P)和第二重构块(块Q)中的每一个取得表示是否使用JCCR进行了编码的标记。滤波器控制部231可以基于针对第一重构块(块P)和第二重构块(块Q)的每一个的标记，控制去块滤波器230的边界滤波强度Bs。例如，在第一重构块(块P)和第二重构块(块Q)中的至少一个块的所述标记为“1”的情况下，滤波器控制部231可以控制边界滤波强度Bs以使去块滤波器230进行滤波处理。
在本实施方式中，解码装置2的熵解码部200可以针对第一重构块(块P)和第二重构块(块Q)的每一个还取得表示是否包含非零变换系数的tu_coded_flag。滤波器控制部231可以还基于针对第一重构块(块P)以及第二重构块(块Q)的每一个的tu_coded_flag，控制去块滤波器230的边界滤波强度Bs。例如，在第一重构块(块P)和第二重构块(块Q)的至少一个块的tu_coded_flag为“1”的情况下，滤波器控制部231可以控制边界滤波强度Bs以使去块滤波器230进行滤波处理。
对于应用JCCR的第一色差分量(Cb分量)和第二色差分量(Cr分量)的各块，上述的tu_coded_flag虽然被设定为“1”，但是实际上一方的颜色分量不存在变换系数。因此，与上述的变形例2同样地，优选的是，对于某个颜色分量，变更为是否存在非零变换系数的判断，使用重构后的预测残差是否包含非零值的判断。
[其它实施方式]
在上述的实施方式中，以控制边界滤波强度Bs作为去块滤波器(160、230)的控制的一个示例为主进行了说明。但是，不限于边界滤波强度Bs的控制，也可以进行滤波长度的控制、多个滤波器的切换控制。
可以提供使计算机执行上述的编码装置1进行的各处理的程序。另外，可以提供使计算机执行解码装置2进行的各处理的程序。程序可以存储于计算机可读介质。如果使用计算机可读介质，则可以将程序安装于计算机。在此，存储有程序的计算机可读介质可以是非暂时性存储介质。非暂时性存储介质没有特别的限定，例如可以是CD-ROM、DVD-ROM等存储介质。
也可以将执行编码装置1进行的各处理的电路集成化，通过半导体集成电路(芯片组、SoC)构成编码装置1。也可以将执行解码装置2进行的各处理的电路集成化，通过半导体集成电路(芯片组、SoC)构成解码装置2。
以上，参照附图对实施方式详细地进行了说明，但是具体的构成不限于上述的构成，在不脱离主旨的范围内可以进行各种各样的设计变形等。
本申请要求第2020-101293号(2020年6月10日申请)日本专利申请的优先权，该日本专利申请的全部内容通过参照并入本申请说明书。

Claims (8)

1.一种去块滤波装置，其中，所述去块滤波装置具备：
去块滤波器，对第一重构块和与所述第一重构块相邻的第二重构块的边界进行滤波处理；以及
滤波器控制部，基于所述第一重构块和所述第二重构块中的至少一方是否使用从Cb色差分量和Cr色差分量各自的预测残差生成一个联合预测残差的JCCR(Joint coding ofchroma residual)进行编码，控制所述去块滤波器的边界滤波强度。
2.根据权利要求1所述的去块滤波装置，其中，
在所述第一重构块以及所述第二重构块中的至少一方使用所述JCCR进行编码的情况下，所述滤波器控制部控制所述边界滤波强度以进行所述滤波处理。
3.根据权利要求2所述的去块滤波装置，其中，
即使在所述第一重构块和所述第二重构块中的双方不存在非零变换系数的情况下，所述滤波器控制部也在所述第一重构块和所述第二重构块中的至少一方使用所述JCCR进行编码时，控制所述边界滤波强度以进行所述滤波处理。
4.一种解码装置，其中，所述解码装置具备：
权利要求1至3中任一项所述的去块滤波装置；以及
熵解码部，针对所述第一重构块和所述第二重构块中的每一个取得表示是否使用所述JCCR进行编码的标记，
所述滤波器控制部基于针对所述第一重构块和所述第二重构块中的每一个的所述标记，控制所述去块滤波器的边界滤波强度。
5.根据权利要求4所述的解码装置，其中，
在所述第一重构块和所述第二重构块中的至少一个块的所述标记为“1”的情况下，所述滤波器控制部控制所述边界滤波强度以进行所述滤波处理。
6.根据权利要求4或5所述的解码装置，其中，
所述熵解码部还针对所述第一重构块和所述第二重构块中的每一个取得表示是否包含非零变换系数的tu_coded_flag，
所述滤波器控制部还基于针对所述第一重构块和所述第二重构块中的每一个的所述tu_coded_flag，控制所述去块滤波器的边界滤波强度。
7.根据权利要求6所述的解码装置，其中，
在所述第一重构块和所述第二重构块中的至少一个块的所述tu_coded_flag为“1”时，所述滤波器控制部控制所述边界滤波强度以进行所述滤波处理。
8.一种程序，其特征在于使计算机作为权利要求1至3中任一项所述的去块滤波装置发挥作用。
CN202180005451.2A 2020-06-10 2021-06-08 去块滤波装置、解码装置及程序 Pending CN114450964A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-101293 2020-06-10
JP2020101293 2020-06-10
PCT/JP2021/021814 WO2021251398A1 (ja) 2020-06-10 2021-06-08 デブロッキングフィルタ装置、復号装置、及びプログラム

Publications (1)

Publication Number Publication Date
CN114450964A true CN114450964A (zh) 2022-05-06

Family

ID=78845791

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180005451.2A Pending CN114450964A (zh) 2020-06-10 2021-06-08 去块滤波装置、解码装置及程序

Country Status (4)

Country Link
US (1) US20220217339A1 (zh)
JP (2) JP7343702B2 (zh)
CN (1) CN114450964A (zh)
WO (1) WO2021251398A1 (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10182241B2 (en) 2014-03-04 2019-01-15 Microsoft Technology Licensing, Llc Encoding strategies for adaptive switching of color spaces, color sampling rates and/or bit depths
KR20240015149A (ko) * 2019-08-23 2024-02-02 후아웨이 테크놀러지 컴퍼니 리미티드 조인트 크로마 코딩을 사용하는 블록에 대해 크로마 디블로킹을 수행하기 위한 인코더, 디코더 및 대응 방법
CN114902657A (zh) * 2019-12-31 2022-08-12 字节跳动有限公司 视频编解码中的自适应颜色变换

Also Published As

Publication number Publication date
JP2023162377A (ja) 2023-11-08
WO2021251398A1 (ja) 2021-12-16
JP7343702B2 (ja) 2023-09-12
US20220217339A1 (en) 2022-07-07
JPWO2021251398A1 (zh) 2021-12-16

Similar Documents

Publication Publication Date Title
US20240195992A1 (en) Decoding device, program, and decoding method
CN114450950B (zh) 编码装置、解码装置及存储介质
US20230239514A1 (en) Encoding device, decoding device and program
US11991356B2 (en) Deblocking filter control device and program
JP7343702B2 (ja) デブロッキングフィルタ装置、復号装置、及びプログラム
WO2021251400A1 (ja) 復号装置及びプログラム
CN114342383B (zh) 编码装置、解码装置及程序
CN114365487B (zh) 编码装置、解码装置及程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination