CN114342382A - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN114342382A
CN114342382A CN202080060686.7A CN202080060686A CN114342382A CN 114342382 A CN114342382 A CN 114342382A CN 202080060686 A CN202080060686 A CN 202080060686A CN 114342382 A CN114342382 A CN 114342382A
Authority
CN
China
Prior art keywords
unit
parameter set
image
decoded image
color difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080060686.7A
Other languages
English (en)
Inventor
池田优
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN114342382A publication Critical patent/CN114342382A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本技术涉及能够提高图像质量的图像处理装置和图像处理方法。对当将去块滤波器应用于通过解码比特流获得的解码图像的色差分量时使用的色差偏移参数集进行设置。对图像进行编码以生成包括色差偏移参数集的比特流。比特流被解码以生成解码图像。使用色差偏移参数集将去块滤波器应用于解码图像的块边界附近的像素的色差分量。当对图像进行编码和解码时可以应用本技术。

Description

图像处理装置和图像处理方法
技术领域
本技术涉及图像处理装置和图像处理方法，并且更具体地，涉及例如能够提高图像质量的图像处理装置和图像处理方法。
背景技术
ITU-T和ISO/IEC的联合标准化组织JVET(联合视频专家组)正在对作为下一代图像编码方法的VVC(通用视频编码)进行标准化，其目的是与H.265/HEVC相比进一步提高编码效率。
关于作为DF(去块滤波器)的滤波器参数的tc和beta，例如，在NPL1和NPL 2中描述了用于以切片为单位分别设置一组偏移参数slice_tc_offset_div2和slice_beta_offset_div2的技术。
根据NPL 1和NPL 2中描述的技术，滤波器参数tc和beta可以通过以切片为单位的偏移参数slice_tc_offset_div2和slice_beta_offset_div2来调整，可以使用经调整的滤波器参数来控制DF，并且可以应用DF。
引文列表
非专利文献
NPL 1：Benjamin Bross,Jianle Chen,Shan Liu，Versatile Video Coding(Draft 6)，JVET-O2001-v14(版本14，日期2019-07-31)
NPL 2：Jianle Chen,Yan Ye,Seung Hwan Kim，Algorithm description forVersatile Video Coding and Test Model 6(VTM 6)，JVET-O2002-v1(版本1，日期2019-08-15)
发明内容
技术问题
在NPL 1和NPL 2中描述的技术中，当切片中的期望增强DF滤波强度以抑制块噪声的部分以及片中的期望减弱DF滤波强度以保持要被编码的原始图像的细节的部分具有不同的亮度分量和不同的色差分量时，难以调整亮度分量与色差分量之间的滤波强度。因此，难以提高解码图像的(主观)图像质量。
本技术是鉴于这样的情况而提出的，并且能够提高图像质量。
问题的解决方案
本技术的第一图像处理装置是包括以下单元的图像处理装置：解码单元，其对比特流进行解码以生成解码图像；以及滤波器单元，其使用色差偏移参数集，将去块滤波器应用于由解码单元生成的解码图像的块边界附近的像素的色差分量，色差偏移参数集是在将去块滤波器应用于由解码单元生成的解码图像的色差分量时使用的。
本技术的第一图像处理方法是包括以下步骤的图像处理方法：解码步骤，对比特流进行解码以生成解码图像；以及滤波步骤，使用色差偏移参数集，将去块滤波器应用于通过解码步骤生成的解码图像的块边界附近的像素的色差分量，色差偏移参数集是在将去块滤波器应用于由解码步骤生成的解码图像的色差分量时使用的。
在本技术的第一图像处理装置和第一图像处理方法中，对比特流进行解码以生成解码图像。使用色差偏移参数集，将去块滤波器应用于解码图像的块边界附近的像素的色差分量，色差偏移参数集是在将去块滤波器应用于解码图像的色差分量时使用的。
像素数据的第二图像处理装置是包括以下单元的图像处理装置：设置单元，其设置色差偏移参数集，色差偏移参数集是在将去块滤波器应用于通过解码比特流获得的解码图像的色差分量时使用的；以及编码单元，其对图像进行编码以生成包括由设置单元设置的色差偏移参数集的比特流。
本技术的第二图像处理方法是包括以下步骤的图像处理方法：设置步骤，设置色差偏移参数集，色差偏移参数集是在将去块滤波器应用于通过解码比特流获得的解码图像的色差分量时使用的；以及编码步骤，对图像进行编码以生成包括通过设置步骤设置的色差偏移参数集的比特流。
在本技术的第二图像处理装置和图像处理方法中，设置了当将去块滤波器应用于通过解码比特流获得的解码图像的色差分量时使用的色差偏移参数集。对图像进行编码以生成包括色差偏移参数集的比特流。
图像处理装置可以是独立装置或构成一个装置的内部块。
可以通过使计算机执行程序来实现图像处理装置。可以通过经由传输介质进行传输或者通过在记录介质上进行记录来提供程序。
附图说明
[图1]图1是示出作为要被编码的图像(原始图像)的图片的示例的图。
[图2]图2是示出量化步长与DF的滤波器参数tc和beta之间的关系的图。
[图3]图3是示出应用本技术的图像处理系统的实施方式的配置示例的框图。
[图4]图4是示出编码器11的详细配置示例的框图。
[图5]图5是示出编码器11的编码处理的示例的流程图。
[图6]图6是示出解码器51的详细配置示例的框图。
[图7]图7是示出解码器51的解码处理的示例的流程图。
[图8]图8是示出DF 31a的配置示例的框图。
[图9]图9是示出DF 31b的配置示例的框图。
[图10]图10是示出当图片参数集中包括两组偏移参数集时图片参数集的语法的示例的图。
[图11]图11是示出当在切片报头中包括两组偏移参数集时的切片报头的语法的示例的图。
[图12]图12是示出应用了本技术的计算机的一个实施方式的配置的示例的框图。
具体实施方式
本说明书中公开的范围不限于实施方式的内容。在提交本申请时已经公知的以下参考文献REF 1至REF 6中的公开内容也通过引用并入本说明书中。换言之，以下参考文献REF 1至REF 6中的公开内容也用作关于支持要求的确定的依据。例如，即使在本发明的具体实施方式中没有直接限定四叉树块结构、OTBT(四叉树加二叉树)、块结构和MTT(多类型树)块结构，这些结构也被认为包括在本公开内容的范围内并且满足权利要求书的支持要求。例如，同样适用于诸如解析、语法和语义的技术术语。即使这些技术术语没有在本发明的具体实施方式中直接定义，这些技术术语也被认为包括在本公开内容的范围内并且满足权利要求书的支持要求。类似地，同样适用于诸如去块滤波器和偏移参数(tc、beta)的技术术语。即使这些技术术语没有在本发明的具体实施方式中直接定义，这些技术术语也被认为包括在本公开内容的范围内并且满足权利要求书的支持要求。
REF1：建议书ITU-T H.264(04/2017)“Advanced video coding for genericaudiovisual services”，2017年4月
REF2：建议书ITU-T H.265(02/2018)“High efficiency video coding”，2018年2月
REF3：Benjamin Bross,Jianle Chen，Shan Liu,Versatile Video Coding(草案6)，JVET-O2001-v14(版本14，日期2019-07-31)
REF4：Jianle Chen,Yan Ye,Seung Hwan Kim,Algorithm description forVersatile Video Coding and Test Model 6(VTM 6)，JVET-O2002-v1(版本1，日期2019-08-15)
REF5：Geert Van der Auwera,Rajan Joshi，Marta Karczewicz:AHG6：Quantization Matrices and Deblocking Filtering，JCTVC-I0280_r1(版本2，2012-04-25)
REF6：Kazushi Sato:Title:On Deblocking Filter and DC Component ofQuantization Matrices,JCTVC-J0186_r1(版本2，日期2012-07-11)
<定义>
在本公开内容中，如下定义以下术语。
原始图像意指编码前的原始图像。
解码图像意指在解码处理中生成的图像。解码图像包括在解码处理的中途生成的图像以及在执行解码处理之后输出的图像。
局部解码图像意指当对图像进行编码时局部解码中生成的图像，并且包括局部解码中途生成的图像以及局部解码之后输出的图像。下文中，也将局部解码图像简称为解码图像。
编码数据意指对图像(纹理)进行编码之后的数据。
比特流(或编码比特流，或编码流)意指包括编码数据以及其中编码或解码所需的参数被编码的数据的数据。
参数(编码参数)是编码或解码所需的数据的总称，并且通常是比特流的语法、参数集等。参数(编码参数)包括在推导过程中使用的变量等。
滤波器参数是在控制滤波器时使用的参数。例如，对于去块滤波器，REF3/REF4中描述的tc和beta对应于滤波器参数。
偏移参数是调整在控制滤波器时使用的滤波器参数的偏移。例如，对于去块滤波器，REF3/REF4中描述的tc_offset和beta_offset对应于偏移参数。
偏移参数集意指一组(组)偏移参数，并且对应于例如(tc_offset，beta_offset)的集合。
多个偏移参数集对应于(tc_offset0，beta_offset0)，(tc_offset1，beta_offset1)，……，(tc_offset#N，beta_offset#N)。例如，两组偏移参数对应于(tc_offset0，beta_offset0)和(tc_offset1，beta_offset1)。
块意指当执行编码处理时作为处理单元的块(一组像素(值))。
预测块意指当执行帧内预测或帧间预测时作为处理单元的块，并且在预测块中包括子块。
当预测块与诸如在执行正交变换时作为处理单元的正交变换块以及在执行编码处理时作为处理单元的编码块的处理单元统一时，预测块(例如，PU)、正交变换块(例如，TU)和编码块(例如，CU)意指相同的块。
块边界意指块的边界。
位于块边界附近的像素意指位于将去块滤波器应用于块边界的范围内的像素。
在本公开内容中，可以将识别多个模式的识别数据设置为比特流的语法。在这种情况下，解码器可以通过解析和参考识别数据来更有效地执行处理。
<原始图像的示例>
图1是示出作为要被编码的图像(原始图像)的图片的示例的图。
图片中捕获了各种主体。图1中的图片示出了构成一个篝火场景的火堆的火焰和烟雾、人物、旗帜、草坪等。
在通过对捕获了各种主体的图片进行编码和解码而获得的解码图像中，根据块中捕获的主体的特征、块尺寸等，块边界明显的部分和块边界不那么明显的部分被混合。
从提高解码图像的图像质量的角度来看，期望对块边界明显的部分应用具有相对强的滤波强度(平滑程度)的DF，而对块边界不那么明显的部分应用具有相对弱的滤波强度的DF。
因此，在解码图像中，期望应用具有相对强的滤波强度的DF的部分以及期望应用具有弱滤波强度的DF的部分被混合。
例如，在图1中，捕获烟雾的部分以及捕获旗帜的平坦部分对应于期望应用具有强滤波强度的DF的部分。
另一方面，捕获人的面部的部分以及捕获草坪的纹理部分对应于块尺寸可能被设置得小并且期望应用具有弱滤波强度的DF的部分。
通常，量化参数越大，(编码)块的块尺寸趋于越大。对于具有较大块尺寸的块，两个相邻的块的块边界很容易被注意到，并且需要应用DF。
在VVC中，采用具有较强滤波强度的长抽头滤波器(long-tap filter)作为DF之一。当满足应用长抽头滤波器的条件时，对具有32个或更多亮度分量像素或者8个或更多色差分量像素的较大块尺寸的块应用长抽头滤波器。因此，可能需要将具有较强滤波强度的DF应用于具有较大块尺寸的块。
为了提高(主观)图像质量，例如，可以设想设置积极应用长抽头滤波器的DF的偏移参数。
然而，偏移参数以切片为单位反映在DF滤波器参数tc和beta中。因此，如果在切片中存在具有相对小的块尺寸的块，除了具有大的块尺寸的块之外，不希望主动应用DF，则可能将DF应用于具有小的块尺寸的块以及具有大的块尺寸的块。在这种情况下，解码图像变得模糊，并且难以提高图像质量。
另一方面，当不应用偏移参数时，难以将DF应用于切片中具有大块尺寸的块，并且块噪声变得明显。
<量化步长(quantization step size)与滤波器参数tc和beta之间的关系>
图2是示出量化步长与DF的滤波器参数tc和beta之间的关系的图。
在图像编码中应用量化矩阵时，对量化步长进行调整。VVC的DF滤波器参数tc和beta是基于两个相邻块的量化参数QPp和QPq的平均((QPp+QPq+1)>>1)导出的。因此，量化矩阵对量化步长的调整并未反映在滤波器参数tc和beta中。
图2示出了作为其中基本QP(QPp和QPq)为17、对应于量化矩阵的scalingList[]例如为16作为默认缩放、量化步长Qstep为20的两个相邻块的相邻块B1。
另外，图2示出了作为其中基本QP为23、对应于量化矩阵的scalingList[]为16作为默认缩放、量化步长Qstep为40的两个相邻块的相邻块B2。
在图2中，应用于相邻块B1的块边界(其附近的像素)的DF的滤波器参数tc和beta(t'c和β')分别为0和7。应用于相邻块B2的块边界的DF滤波器参数tc和beta分别为5和13。
现在，如果将对应于量化矩阵的scalingList[]从16改变为32作为相邻块B1的默认缩放，则量化步长Qstep被调整为40，其与相邻块B2的量化步长Qstep相同。
然而，在将量化步长Qstep调整为40之后，应用于相邻块B1的块边界的滤波器参数tc和beta分别保持为0和7。
如上所述，在基本QP＝23&&默认缩放列表(scalingList[]＝16)以及基本QP＝17&&scalingList[]＝32的情况下，量化步长相同，但导出的DF滤波器参数可能显著地不同。
也就是说，对于基本QP为17、scalingList[]为32的相邻块B1以及基本QP为23、scalingList[]为16作为默认缩放的相邻块B2，量化步长Qstep均为一样的40。
然而，应用于基本QP为17并且scalingList[]为32的相邻块B1的块边界的DF的滤波器参数tc和beta分别为0和7。应用于基本QP为23并且scalingList[]为16作为默认缩放的相邻块B2的块边界的DF滤波器参数tc和beta分别为5和13。因此，DF的滤波器参数tc和beta在具有相同的量化步长Qstep为40的相邻块B1和B2中显著不同。
参考文献REF5和REF6提出了用于调整量化参数的技术，但是由于增加了处理的复杂性而未被采用。对于量化矩阵对量化步长的调整不反映在滤波器参数tc和beta中的问题，需要一种简单的解决方法。
可以利用偏移参数来调整滤波器参数tc和beta。考虑到期望将DF应用于较大块的趋势，要求仅对较大块(具有较大块尺寸的块)进行偏移参数中的滤波器参数tc和beta的调整。
在将当前的一组偏移参数一致地应用于切片时，将DF(具有较强滤波强度的DF)强烈地应用于相对小的块(具有小的块尺寸的块)，并且使图像可能变得模糊。
另一方面，如果不应用偏移参数，则在较大块中块噪声将是明显的。
因此，利用当前的一组偏移参数，也就是说，利用仅一组用于调整滤波器参数tc的偏移参数以及用于调整滤波器参数beta的偏移参数(偏移参数集)，可能难以在较大块和较小块被混合的切片中整体地提高图像质量。
因此，在本技术中，当调整DF的滤波器参数tc和beta时，可以在要调整滤波器参数tc和beta的处理单元(滤波处理单元)(在下文中，也称为调整单元)中设置多组偏移参数集。设置的多组偏移参数集可以被设置为其中对图像进行编码的比特流的语法。
作为用于通过多组偏移参数集来调整滤波器参数tc和beta的调整的调整单元，例如，可以采用图片单元或切片单元。
当采用图片单元作为调整单元时，可以在图片参数集或图片报头中设置多组偏移参数集。
当采用切片单元作为调整单元时，可以在切片报头中设置多组偏移参数集。
当采用图片单元作为调整单元时，可以在图片参数集和切片二者中设置多组偏移参数集。当针对图片参数集和切片二者设置多组偏移参数集时，在图片参数集和切片的偏移参数不同的情况下，在图片参数集中设置的多组偏移参数集可以优选地用于调整滤波器参数tc和beta。
作为在调整单元中设置的偏移参数集的组数，可以采用任意多组，例如2组、3组、4组或更多。当使用两组偏移参数集作为要在调整单元中设置的偏移参数集的组数时，可以简化处理并且可以减小偏移参数集的大小。
可以根据编码参数从多组偏移参数集中选择当前偏移参数集，即用于应用DF的块边界的偏移参数。
当根据编码参数选择当前偏移参数集时，可以将编码参数的阈值设置为用于根据编码参数选择当前偏移参数集的选择标准。
作为用于选择当前偏移参数集的编码参数，例如，可以采用块尺寸。
在这种情况下，例如，可以设置用于调整应用于块尺寸等于或大于阈值的块的块边界的DF的滤波器参数tc和beta的第一偏移参数集，以及用于调整应用于块尺寸不是等于或大于阈值的块的块边界的DF的滤波器参数tc和beta的第二偏移参数集。
对于块尺寸等于或大于阈值的块，可以选择第一偏移参数集作为当前偏移参数集。对于块尺寸不是等于或大于阈值的块，可以选择第二偏移参数集作为当前偏移参数集。
可以在比特流的语法中设置第一偏移参数集、第二偏移参数集和块尺寸的阈值。
作为多组偏移参数集，例如，可以设置解码图像的亮度分量和色差分量中的每一个的偏移参数集。
当存在多个色差分量时，可以针对多个色差分量共同设置一组偏移参数集，或者可以针对多个色差分量中的每一个单独设置一组偏移参数集。
当针对解码图像的亮度分量和色差分量中的每一个设置偏移参数集时，如果针对多个色差分量中的每一个设置一组偏移参数集，则针对解码图像的每个分量设置一组偏移参数集。
例如，当解码图像具有YCbCr的分量时(当解码图像的颜色空间为YCbCr时)，可以针对YCbCr的每个分量(即，亮度分量Y、色差分量Cb(Cb分量)和色差分量Cr(Cr分量)中的每一个)设置一组偏移参数集。在这种情况下，设置三组偏移参数集。
此外，例如，当解码图像具有YUV的分量时(当解码图像的颜色空间为YUV时)，可以针对YUV的每个分量(即，亮度分量Y、色差分量U(U分量)和色差分量V(V分量)中的每一个)设置一组偏移参数集。在这种情况下，设置三组偏移参数集。
当总共设置两组偏移参数集时，一组偏移参数集用于亮度分量，并且一组偏移参数集用于色差分量，在DF的应用中，亮度分量的偏移参数集被用作来自两组偏移参数集的亮度分量的当前偏移参数集，并且色差分量的偏移参数集被用作色差分量的当前偏移参数集。
在DF的应用中，当总共设置三组偏移参数集时，一组偏移参数集(亮度偏移参数集)用于亮度分量Y，一组偏移参数集(第一色差偏移参数集)用于色差分量(第一色差分量)Cb或U，以及一组偏移参数集(第二色差偏移参数集)用于色差分量(第二色差分量)Cr或V，亮度分量Y的偏移参数集被用作来自三组偏移参数集的亮度分量Y的当前偏移参数集。色差分量Cb或U的偏移参数集被用作色差分量Cb或U的当前偏移参数集，并且色差分量Cr或V的偏移参数集被用作色差分量Cr或V的当前偏移参数集。
在DF的应用中，当总共使用两组偏移参数集时，一组偏移参数集用于亮度分量，并且一组偏移参数集用于色差分量，并且当期望增强DF滤波强度以抑制块噪声的部分以及期望减弱DF滤波强度以保持要被编码的原始图像的细节的部分具有不同的亮度分量和不同的色差分量时，可以调整亮度分量与色差分量之间的滤波强度，并且提高解码图像的图像质量。
在DF的应用中，当总共使用三组偏移参数集时，一组偏移参数集用于亮度分量Y，一组偏移参数集用于色差分量Cb或U，并且一组偏移参数集用于色差分量Cr或V，并且当期望增强DF滤波强度以抑制块噪声的部分以及期望减弱DF滤波强度以保持要被编码的原始图像的细节的部分具有不同的亮度分量和不同的色差分量时，可以调整分量之间的滤波强度，并且提高解码图像的图像质量。
<应用本技术的图像处理系统>
图3是示出应用本技术的图像处理系统的实施方式的配置示例的框图。
图像处理系统10具有作为编码器11的图像处理装置和作为解码器51的图像处理装置。
编码器11对向其提供的要被编码的原始图像进行编码，并且输出通过编码获得的编码比特流。编码比特流经由记录介质或传输介质(未示出)被提供给解码器51。
解码器51对向其提供的编码比特流进行解码，并且输出通过解码获得的解码图像。
<编码器11的配置示例>
图4是示出图3的编码器11的详细配置示例的框图。
在下面描述的框图中，为了避免使图变得复杂，适当地省略了对提供每个块的处理所需的信息(数据)的线路的描述。
在图4中，编码器11具有A/D转换单元21、画面重排缓冲器22、计算单元23、正交变换单元24、量化单元25、无损编码单元26和累积缓冲器27。编码器11包括逆量化单元28、逆正交变换单元29、计算单元30、帧存储器32、选择单元33、帧内预测单元34、运动预测/补偿单元35、预测图像选择单元36和速率控制单元37。编码器11具有DF 31a、自适应偏移滤波器41和ALF(自适应环路滤波器)42。
A/D转换单元21将模拟信号的原始图像(编码目标)A/D转换为数字信号的原始图像，将数字信号的原始图像提供给画面重排缓冲器22，并且将数字信号的原始图像存储在其中。当将数字信号的原始图像提供给编码器11时，编码器11可以被配置成不提供A/D转换单元21。
画面重排缓冲器22根据GOP(图片组)从显示顺序按照编码(解码)的顺序重新排列原始图像的帧，并且将原始图像提供给计算单元23、帧内预测单元34和运动预测/补偿单元35。
计算单元23从来自画面重排缓冲器22的原始图像中减去经由预测图像选择单元36从帧内预测单元34或运动预测/补偿单元35提供的预测图像，并且将通过减法获得的残差(预测残差)提供给正交变换单元24。
正交变换单元24对从计算单元23提供的残差执行诸如离散余弦变换或Karhunen-Loeve变换的正交变换，并且将通过正交变换获得的正交变换系数提供给量化单元25。
量化单元25对从正交变换单元24提供的正交变换系数进行量化。量化单元25基于从速率控制单元37提供的代码量(code amount)的目标值(目标代码量值)来设置量化参数，并且执行对正交变换系数的量化。量化单元25将作为经量化的正交变换系数的编码数据提供给无损编码单元26。
无损编码单元26通过预定的无损编码方法对作为来自量化单元25的编码数据的经量化正交变换系数进行编码。
无损编码单元26从与编码器11的预测编码相关的编码信息中的每个块获取解码装置170解码所需的编码信息。
此处，编码信息的示例包括帧内预测或帧间预测的预测模式、诸如运动矢量的运动信息、目标代码量值、量化参数、图片类型(I、P、B)以及诸如DF 31a和自适应偏移滤波器41的滤波器参数的编码参数。
预测模式可以从帧内预测单元34和运动预测/补偿单元35获取。运动信息可以从运动预测/补偿单元35获取。DF 31a和自适应偏移滤波器41的滤波器参数可以分别从DF31a和自适应偏移滤波器41获取。
无损编码单元26通过诸如CAVLC(上下文自适应可变长度编码)或CABAC(上下文自适应二进制算术编码)的可变长度编码或算术编码方法以及其他无损编码方法来对编码信息进行编码，以生成包括(复用)经编码的编码信息和来自量化单元25的编码数据的编码比特流，并且将编码比特流提供给累积缓冲器27。
累积缓冲器27临时累积从无损编码单元26提供的编码比特流。累积缓冲器27中累积的编码比特流在预定定时处被读出和传送。
将作为在量化单元25中量化的正交变换系数的编码数据提供给逆量化单元28和无损编码单元26。逆量化单元28通过与量化单元25的量化对应的方法对经量化的正交变换系数执行逆量化，并且将通过逆量化获得的正交变换系数提供给逆正交变换单元29。
逆正交变换单元29通过与由正交变换单元24进行的正交变换处理对应的方法，对从逆量化单元28提供的正交变换系数执行逆正交变换，并且将作为逆正交变换的结果而获得的残差提供给计算单元30。
计算单元30将经由预测图像选择单元36从帧内预测单元34或运动预测/补偿单元35提供的预测图像与从逆正交变换单元29提供的残差相加，并且因此获得并且输出通过对原始图像进行解码而获得的解码图像(的一部分)。
由计算单元30输出的解码图像被提供给DF 31a或帧存储器32。
帧存储器32临时存储从计算单元30提供的解码图像以及从ALF 42提供并且对其应用DF 31a、自适应偏移滤波器41和ALF 42的解码图像(滤波图像)。存储在帧存储器32中的解码图像作为用于在必要的定时处生成预测图像的参考图像被提供给选择单元33。
选择单元33选择从帧存储器32提供的参考图像的提供目的地。当帧内预测单元34执行帧内预测时，选择单元33将从帧存储器32提供的参考图像提供给帧内预测单元34。当运动预测/补偿单元35执行帧间预测时，选择单元33将从帧存储器32提供的参考图像提供给运动预测/补偿单元35。
帧内预测单元34使用从画面重排缓冲器22提供的原始图像以及经由选择单元33从帧存储器32提供的参考图像执行帧内预测(画面内预测)。帧内预测单元34基于预定成本函数(例如，RD成本等)选择最佳帧内预测模式，并且将以最佳帧内预测模式从参考图像生成的预测图像提供给预测图像选择单元36。此外，如上所述，帧内预测单元34将指示基于成本函数选择的帧内预测模式的预测模式适当地提供给无损编码单元26等。
运动预测/补偿单元35使用从画面重排缓冲器22提供的原始图像以及经由选择单元33从帧存储器32提供的参考图像来执行运动预测(帧间预测)。运动预测/补偿单元35根据通过运动预测检测到的运动矢量来执行运动补偿，并且生成预测图像。运动预测/补偿单元35以预先准备的多个帧间预测模式执行帧间预测，并且从参考图像生成预测图像。
运动预测/补偿单元35基于针对多个帧间预测模式中的每一个获得的预测图像的预定的成本函数来选择最佳的帧间预测模式。运动预测/补偿单元35将以最佳帧间预测模式生成的预测图像提供给预测图像选择单元36。
运动预测/补偿单元35将指示基于成本函数选择的帧间预测模式的预测模式以及诸如对在帧间预测模式下编码的编码数据进行解码所需的运动矢量的运动信息提供给无损编码单元26。
预测图像选择单元36从帧内预测单元34和运动预测/补偿单元35选择要提供给计算单元23和计算单元30的预测图像的提供源，并且将从所选择的提供源提供的预测图像提供给计算单元23和计算单元30。
速率控制单元37基于在累积缓冲器27中累积的编码比特流的代码量来控制量化单元25中的量化操作的速率，使得不会发生上溢或下溢。也就是说，速率控制单元37设置编码比特流的目标代码量，并且将该目标代码量提供给量化单元25，使得不发生累积缓冲器27的上溢和下溢。
DF 31a根据需要将DF应用于来自计算单元30的解码图像，并且将应用DF的解码图像(滤波图像)或未应用DF的解码图像提供给自适应偏移滤波器41。
自适应偏移滤波器41根据需要将自适应偏移滤波器应用于来自DF31a的解码图像，并且将应用自适应偏移滤波器的解码图像(滤波图像)或者未应用自适应偏移滤波器的解码图像提供给ALF 42。
ALF 42根据需要将ALF应用于来自自适应偏移滤波器41的解码图像，并且将应用ALF的解码图像或未应用ALF的解码图像提供给帧存储器32。
在如上所述配置的编码器11中，计算单元23、正交变换单元24、量化单元25和无损编码单元26用作使用滤波图像来对图像进行编码以生成编码比特流的编码单元。
<编码处理>
图5是示出图4的编码器11的编码处理的示例的流程图。
图5所示的编码处理的步骤顺序是为了便于说明的顺序，实际的编码处理的步骤以必要的顺序适当并行执行。这也适用于稍后描述的处理。
在编码器11中，在步骤S11中，A/D转换单元21对原始图像进行A/D转换，并且将转换后的原始图像提供给画面重排缓冲器22，并且处理进行至步骤S12。
在步骤S12中，画面重排缓冲器22对来自A/D转换单元21的原始图像进行累积，并且按编码顺序重新排列和输出原始图像，然后处理进行至步骤S13。
在步骤S13中，帧内预测单元34以帧内预测模式执行帧内预测处理，并且处理进行至步骤S14。在步骤S14中，运动预测/补偿单元35执行用于以帧间预测模式执行运动预测和运动补偿的帧间运动预测处理，并且处理进行至步骤S15。
在帧内预测单元34的帧内预测处理和运动预测/补偿单元35的帧间运动预测处理中，计算各种预测模式的成本函数，并且生成预测图像。
在步骤S15中，预测图像选择单元36基于由帧内预测单元34和运动预测/补偿单元35获得的成本函数来确定最佳预测模式。预测图像选择单元36选择并且输出由帧内预测单元34生成的预测图像以及由运动预测/补偿单元35生成的预测图像中的最佳预测模式下的预测图像，并且处理从步骤S15进行至步骤S16。
在步骤S16中，计算单元23计算要被编码的目标图像(其为由画面重排缓冲器22输出的原始图像)与由预测图像选择单元36输出的预测图像之间的残差，并且将残差提供给正交变换单元24，并且处理进行至步骤S17。
在步骤S17中，正交变换单元24对来自计算单元23的残差进行正交变换，将所得到的正交变换系数提供给量化单元25，并且处理进行至步骤S18。
在步骤S18中，量化单元25对来自正交变换单元24的正交变换系数进行量化，并且将通过量化获得的量化系数提供给无损编码单元26和逆量化单元28，并且处理进行至步骤S19。
在步骤S19中，逆量化单元28对来自量化单元25的量化系数进行逆量化，并且将所得到的正交变换系数提供给逆正交变换单元29，并且处理进行至步骤S20。在步骤S20中，逆正交变换单元29对来自逆量化单元28的正交变换系数执行逆正交变换，并且将所得到的残差提供给计算单元30，并且处理进行至步骤S21。
在步骤S21中，计算单元30将来自逆正交变换单元29的残差与由预测图像选择单元36输出的预测图像相加，并且生成与作为计算单元23中的残差计算的目标的原始图像对应的解码图像。计算单元30将解码图像提供给DF 31a，并且处理从步骤S21进行至步骤S22。
在步骤S22中，DF 31a将DF应用于来自计算单元30的解码图像，并且将所得到的滤波图像提供给自适应偏移滤波器41，并且处理进行至步骤S23。
在步骤S23中，自适应偏移滤波器41将自适应偏移滤波器应用于来自DF 31a的滤波图像，并且将所得到的滤波图像提供给ALF 42，并且处理进行至步骤S24。
在步骤S24中，ALF 42将ALF应用于来自自适应偏移滤波器41的滤波图像，并且将所得到的滤波图像提供给帧存储器32，并且处理进行至步骤S25。
在步骤S25中，帧存储器32存储从ALF 42提供的滤波图像，并且处理进行至步骤S26。存储在帧存储器32中的滤波图像被用作参考图像，该参考图像是在步骤S13和S14中从其生成预测图像的源。
在步骤S26中，无损编码单元26对作为来自量化单元25的量化系数的编码数据进行编码，并且生成包括编码数据的编码比特流。无损编码单元26必要时对以下项进行编码，并且将其包括在编码比特流中：用于量化单元25中的量化的量化参数、通过帧内预测单元34中的帧内预测处理获得的预测模式、在运动预测/补偿单元35中帧间运动预测处理中获得的预测模式和运动信息、以及诸如DF 31a和自适应偏移滤波器41的滤波器参数的编码信息。
无损编码单元26将编码比特流提供给累积缓冲器27，并且处理从步骤S26进行至步骤S27。
在步骤S27中，累积缓冲器27累积来自无损编码单元26的编码比特流，并且处理进行至步骤S28。累积在累积缓冲器27中的编码比特流被适当地读出和发送。
在步骤S28中，速率控制单元37基于在累积缓冲器27中累积的编码比特流的代码量(出现代码量)来控制量化单元25中的量化操作的速率，使得不会发生上溢或下溢，并且编码处理结束。
<解码器51的配置示例>
图6是示出图3的解码器51的详细配置示例的框图。
在图6中，解码器51包括累积缓冲器61、无损解码单元62、逆量化单元63、逆正交变换单元64、计算单元65、画面重排缓冲器67和D/A转换单元68。解码器51包括帧存储器69、选择单元70、帧内预测单元71、运动预测/补偿单元72和选择单元73。解码器51具有DF 31b、自适应偏移滤波器81和ALF 82。
累积缓冲器61临时累积从编码器11发送的编码比特流，并且在预定定时将编码比特流提供给无损解码单元62。
无损解码单元62从累积缓冲器61接收编码比特流，并且通过与图4的无损编码单元26的编码方法对应的方法对编码比特流进行解码。
无损解码单元62将作为在编码比特流的解码结果中包括的编码数据的量化系数提供给逆量化单元63。
无损解码单元62具有执行解析的功能。无损解码单元62对在编码比特流的解码结果中包括的必要编码信息进行解析，并且将编码信息提供给帧内预测单元71、运动预测/补偿单元72、DF 31b、自适应偏移滤波器81和其他必要的块。
逆量化单元63通过与图4中的量化单元25的量化方法对应的方法对作为来自无损解码单元62的编码数据的量化系数进行逆量化，并且将通过逆量化获得的正交变换系数提供给逆正交变换单元64。
逆正交变换单元64通过与图4的正交变换单元24的正交变换方法对应的方法，对从逆量化单元63提供的正交变换系数执行逆正交变换，并且将所得到的残差提供给计算单元65。
向计算单元65提供来自逆正交变换单元64的残差，以及经由选择单元73来自帧内预测单元71或运动预测/补偿单元72的预测图像。
计算单元65将来自逆正交变换单元64的残差与来自选择单元73的预测图像相加，以生成解码图像，并且将解码图像提供给DF 31b。
画面重排缓冲器67临时存储从ALF 82提供的解码图像，将解码图像的帧(图片)的布置从编码(解码)顺序重排为显示顺序，并且将解码图像提供给D/A转换单元68。
D/A转换单元68对从画面重排缓冲器67提供的解码图像进行D/A转换，并且将D/A转换后的解码图像输出至显示器(未示出)以供显示。当连接至解码器51的装置接收到数字信号的图像时，解码器51可以被配置成不提供D/A转换单元68。
帧存储器69临时存储从ALF 82提供的解码图像。帧存储器69在预定定时或基于帧内预测单元71、运动预测/补偿单元72等的外部请求，将解码图像提供给选择单元70作为用于生成预测图像的参考图像。
选择单元70选择从帧存储器69提供的参考图像的提供目的地。当对通过帧内预测编码的图像进行解码时，选择单元70将从帧存储器69提供的参考图像提供给帧内预测单元71。当对通过帧间预测编码的图像进行解码时，选择单元70将从帧存储器69提供的参考图像提供给运动预测/补偿单元72。
帧内预测单元71根据从无损解码单元62提供的编码信息中包括的预测模式，在图4的帧内预测单元34中使用的帧内预测模式下，使用经由选择单元70从帧存储器69提供的参考图像执行帧内预测。帧内预测单元71将通过帧内预测获得的预测图像提供给选择单元73。
运动预测/补偿单元72根据从无损解码单元62提供的编码信息中包括的预测模式，在图4的运动预测/补偿单元35中使用的帧间预测模式下，使用经由选择单元70从帧存储器69提供的参考图像执行帧间预测。根据需要使用从无损解码单元62提供的编码信息中包括的运动信息等来执行帧间预测。
运动预测/补偿单元72将通过帧间预测获得的预测图像提供给选择单元73。
选择单元73选择从帧内预测单元71提供的预测图像或者从运动预测/补偿单元72提供的预测图像，并且将预测图像提供给计算单元65。
DF 31b根据在从无损解码单元62提供的编码信息中包括的滤波器参数等将DF应用于来自计算单元65的解码图像，并且将应用了DF的解码图像(滤波图像)或未应用DF的解码图像(滤波图像)提供给自适应偏移滤波器81。
根据在从无损解码单元62提供的编码信息中包括的滤波器参数，自适应偏移滤波器81根据需要将自适应偏移滤波器应用于来自DF 31b的解码图像，并且将应用了自适应偏移滤波器的解码图像(滤波图像)或者未应用自适应偏移滤波器的解码图像提供给ALF 82。
ALF 82根据需要将ALF应用于来自自适应偏移滤波器81的解码图像，并且将应用了ALF的解码图像或未应用ALF的解码图像提供给画面重排缓冲器67和帧存储器69。
在如上所述配置的解码器51中，无损解码单元62、逆量化单元63、逆正交变换单元64和计算单元65用作对编码比特流进行解码以生成图像(解码图像)的解码单元。
<解码处理>
图7是示出图6的解码器51的解码处理的示例的流程图。
在解码处理中，在步骤S51中，累积缓冲器61临时累积从编码器11发送的编码比特流，并且适当地将编码比特流提供给无损解码单元62，并且处理进行至步骤S52。
在步骤S52中，无损解码单元62接收并且解码从累积缓冲器61提供的编码比特流，并且将量化系数作为在编码比特流的解码结果中包括的编码数据提供给逆量化单元63。
无损解码单元62对在编码比特流的解码结果中包括的编码信息进行解析。无损解码单元62将必要的编码信息提供给帧内预测单元71、运动预测/补偿单元72、DF 31b、自适应偏移滤波器81和其他必要的块。
处理从步骤S52进行至步骤S53，并且帧内预测单元71或运动预测/补偿单元72根据经由选择单元70从帧存储器69提供的参考图像和从无损解码单元62提供的编码信息，执行用于生成预测图像的帧内预测处理或帧间运动预测处理。帧内预测单元71或运动预测/补偿单元72将通过帧内预测处理或帧间运动预测处理获得的预测图像提供给选择单元73，并且处理从步骤S53进行至步骤S54。
在步骤S54中，选择单元73对从帧内预测单元71或运动预测/补偿单元72提供的预测图像进行选择，并且将预测图像提供给计算单元65，并且处理进行至步骤S55。
在步骤S55中，逆量化单元63对来自无损解码单元62的量化系数进行逆量化，并且将所得到的正交变换系数提供给逆正交变换单元64，并且处理进行至步骤S56。
在步骤S56中，逆正交变换单元64对来自逆量化单元63的正交变换系数执行逆正交变换，并且将所得到的残差提供给计算单元65，并且处理进行至步骤S57。
在步骤S57中，计算单元65通过将来自逆正交变换单元64的残差和来自选择单元73的预测图像相加来生成解码图像。计算单元65将解码图像提供给DF 31b，并且处理从步骤S57进行至步骤S58。
在步骤S58中，DF 31b根据在从无损解码单元62提供的编码信息中包括的滤波器参数，将DF应用于来自计算单元65的解码图像，并且将所得到的滤波图像提供给自适应偏移滤波器81，并且处理进行至步骤S59。
在步骤S59中，自适应偏移滤波器81根据从无损解码单元62提供的编码信息中包括的滤波器参数将自适应偏移滤波器应用于来自DF 31b的滤波图像，并且将所得到的滤波图像提供给ALF 82，并且处理进行至步骤S60。
ALF 82将ALF应用于来自自适应偏移滤波器81的滤波图像，并且将所得到的滤波图像提供给画面重排缓冲器67和帧存储器69，并且处理进行至步骤S61。
在步骤S61中，帧存储器69临时存储从ALF 82提供的滤波图像，并且处理进行至步骤S62。存储在帧存储器69中的滤波图像(解码图像)被用作参考图像，该参考图像是在步骤S53中在帧内预测处理或帧间运动预测处理中从其生成预测图像的源。
在步骤S62中，画面重排缓冲器67以显示顺序对从ALF 82提供的滤波图像进行重排，并且将重排后的滤波图像提供给D/A转换单元68，并且处理进行至步骤S63。
在步骤S63中，D/A转换单元68对来自画面重排缓冲器67的滤波图像进行D/A转换，并且解码处理结束。输出D/A转换后的滤波图像(解码图像)并且将其显示在显示器(未示出)上。
<DF 31a的配置示例>
图8是示出编码器11的DF 31a的配置示例的框图。
此处，在下文中，例如，对于DF，假设总共设置了两组偏移参数集，一组偏移参数集用于亮度分量并且一组偏移参数集用于色差分量。然后，从两组偏移参数集中，将亮度分量的偏移参数集用作亮度分量的当前偏移参数集，并且将色差分量的偏移参数集用作色差分量的当前偏移参数集。
在图8中，DF 31a具有设置单元111和滤波器单元112。
设置单元111设置应用于解码图像的块的块边界的DF的滤波器参数tc和bata，并且设置用于调整滤波器参数tc和beta的偏移参数集。
对于偏移参数集，设置单元111总共设置两组偏移参数集，一组偏移参数集用于亮度分量，并且一组偏移参数集用于色差分量。
可以根据例如编码参数、从亮度分量和色差分量检测出的图像特征量、预定成本函数等来设置针对亮度分量和色差分量中的每一个的偏移参数集。
由设置单元111设置的滤波器参数tc和beta以及两组偏移参数集被提供给滤波器单元112和无损编码单元26。
在无损编码单元26中，来自设置单元111的滤波器参数tc和beta，以及两组偏移参数集被设置(包括)在编码比特流的语法(例如，图片参数集和切片报头)中。
向滤波器单元112提供来自设置单元111的滤波器参数tc和beta和两组偏移参数集以及来自计算单元30的解码图像。
滤波器单元112使用来自设置单元111的滤波器参数tc和beta将DF(通过DF滤波)应用于来自计算单元30的解码图像的块边界附近的像素。
在DF的应用中，执行滤波器确定。在滤波器确定中，确定存在/不存在DF的应用以及应用DF时要被应用的DF的类型。DF类型的示例包括长抽头滤波器、强滤波器和弱滤波器。
当将DF应用于块边界附近的像素时，应用在滤波器确定中确定要被应用的类型的DF。
在包括滤波器确定的DF的应用中，从来自设置单元111的两组偏移参数集中针对解码图像的亮度分量和色差分量中的每一个选择当前偏移参数集。
也就是说，对于亮度分量，选择亮度分量的偏移参数集作为当前偏移参数集。对于色差分量，选择色差分量的偏移参数集作为当前偏移参数集。
对于亮度分量，使用针对亮度分量选择的当前偏移参数集(也就是说，亮度分量的偏移参数集)来调整滤波器参数tc和beta。
对于色差分量，使用针对色差分量选择的当前偏移参数集(也就是说，色差分量的偏移参数集)来调整滤波器参数tc和beta。
使用经调整的滤波器参数tc和beta，将DF应用于解码图像的块边界附近的像素的亮度分量和色差分量中的每一个。
滤波器单元112通过应用DF生成滤波图像并且将滤波图像提供给自适应偏移滤波器41。
<DF 31b的配置示例>
图9是示出解码器51的DF 31b的配置示例的框图。
在图9中，DF 31b具有滤波器单元121。
向滤波器单元121提供从无损解码单元62解析的滤波器参数tc和beta以及两组偏移参数集。此外，解码图像从计算单元65被提供给滤波器单元121。
滤波器单元121使用来自无损解码单元62的滤波器参数tc和beta将DF应用于来自计算单元65的解码图像的块边界附近的像素。滤波器单元121通过应用DF生成滤波图像并且将滤波图像提供给自适应偏移滤波器81。
由于DF在滤波器单元121中的应用是以与图8中的滤波器单元112中相同的方式执行的，因此将省略对其的描述。
<语法>
图10是示出当图片参数集中包括两组偏移参数集时的图片参数集的语法的示例的图。
在图10中，pps_beta_offset0_div2和pps_tc_offset0_div2分别是调整滤波器参数beta和tc的一组偏移参数集，并且pps_beta_offset1_div2和pps_tc_offset1_div2分别是调整滤波器参数beta和tc的另一组偏移参数集。
例如，pps_beta_offset0_div2和pps_tc_offset0_div2是用于亮度分量的偏移参数集，pps_beta_offset1_div2和pps_tc_offset1_div2是用于色差分量的偏移参数集。
在图10中，deblocking_offset_component_use_flag是指示两组偏移参数集(pps_beta_offset0_div2和pps_tc_offset0_div2以及pps_beta_offset1_div2和pps_tc_offset1_div2)是否分别是亮度分量和色差分量的偏移参数集的标志。
例如，当deblocking_offset_component_use_flag为1(真)时，其指示两组偏移参数集(pps_beta_offset0_div2和pps_tc_offset0_div2以及pps_beta_offset1_div2和pps_tc_offset1_div2)分别是亮度分量和色差分量的偏移参数集。
如果deblocking_offset_component_use_flag不为1，即0(假)，则两组偏移参数集(pps_beta_offset0_div2和pps_tc_offset0_div2以及pps_beta_offset1_div2和pps_tc_offset1_div2)可以用作编码参数，例如，当根据块尺寸选择当前偏移参数集时作为选择目标的多个偏移参数集。
在这种情况下，用于编码参数的阈值可以被包括在图片参数集中，作为用于选择pps_beta_offset0_div2和pps_tc_offset0_div2或pps_beta_offset1_div2和pps_tc_offset1_div2的选择标准。
在图10中，pps_tc_beta_offset_switched_threshold表示编码参数的阈值。
例如，如果pps_tc_beta_offset_switched_threshold是块尺寸的阈值，则当构成应用DF的块边界的块的块尺寸等于或大于阈值pps_tc_beta_offset_switched_threshold时，选择两组偏移参数集pps_beta_offset0_div2和pps_tc_offset0_div2以及pps_beta_offset1_div2和pps_tc_offset1_div2之一。
另一方面，如果块的块尺寸不是等于或大于阈值pps_tc_beta_offset_switched_threshold，则选择两组偏移参数集pps_beta_offset0_div2和pps_tc_offset0_div2以及pps_beta_offset1_div2和pps_tc_offset1_div2中的另一组。
标志deblocking_offset_component_use_flag和阈值pps_tc_beta_offset_switched_threshold被设置在设置单元111中，并且被包括在无损编码单元26中的图片参数集中。
图11是示出当在切片报头中包括两组偏移参数集时切片报头语法的语法的示例的图。
在图11中，slice_beta_offset0_div2、slice_tc_offset0_div2、slice_beta_offset1_div2、slice_tc_offset1_div2和slice_tc_beta_offset_switched_threshold分别对应于图10中的pps_beta_offset0_div2、pps_tc_offset0_div2,pps_beta_offset1_div2、pps_tc_offset1_div2和pps_tc_beta_offset_switched_threshold。
此处，例如，对于DF，假设总共设置两组偏移参数集，一组偏移参数集用于亮度分量，并且一组偏移参数集用于色差分量，亮度分量的偏移参数集用作亮度分量的当前偏移参数集，色差分量的偏移参数集用作色差分量的当前偏移参数集。
然而，对于DF，如图2所述，可以针对YUV或YCbCr的每个分量设置三组偏移参数集，并且可以将每个分量的偏移参数集设置为每个分量的当前偏移参数。
在这种情况下，图10的图片参数集和图11的切片报头可以包括用于YUV或YCbCr的每个分量的三组偏移参数集。
当图片参数集中包括的多组偏移参数集被固定为用于亮度分量和色差分量中的每一个的偏移参数集，或者用于每个分量的偏移参数集时，图10中的图片参数集可以被配置成没有deblocking_offset_component_use_flag和pps_tc_beta_offset_switched_threshold。类似地，图11的切片报头可以被配置成没有deblocking_offset_component_use_flag和slice_tc_beta_offset_switched_threshold。
<对应用本技术的计算机的描述>
上述一系列处理可以通过硬件或软件来执行。在通过软件执行一系列处理的情况下，在通用计算机等中安装配置软件的程序。
图12是示出安装有用于执行以上提及的一系列处理的程序的计算机的实施方式的配置的示例的框图。
程序可以预先记录在作为在计算机中包括的记录介质的硬盘905或ROM 903中。
替选地，程序可以存储(记录)在由驱动器909驱动的可移除记录介质911中。该可移除记录介质911可以作为所谓的封装软件来提供。此处，存在例如作为可移除记录介质911的软盘、致密盘只读存储器(CD-ROM)、磁光(MO)盘、数字通用盘(DVD)、磁盘、半导体存储器等。
注意，除了从以上提及的可移除记录介质911安装到计算机之外，程序还可以通过通信网络或广播网络下载到计算机并且安装在计算机中包括的硬盘905中。也就是说，可以通过用于数字卫星广播的人造卫星以无线方式将程序从下载站点发送到计算机，或者例如通过诸如局域网(LAN)或因特网的网络以有线方式将程序发送到计算机。
计算机包括中央处理单元(CPU)902，并且输入/输出接口910通过总线901连接至CPU 902。
当用户操作输入单元907等以通过输入/输出接口910输入命令时，CPU 902根据该命令执行存储在只读存储器(ROM)903中的程序。替选地，CPU 902将存储在硬盘905中的程序加载到随机存取存储器(RAM)904并且执行该程序。
因此，CPU 902执行根据上述流程图的处理或由上述框图的组件执行的处理。另外，CPU 902例如通过输入/输出接口910从输出单元906输出处理结果，或者从通信单元908发送处理结果，并且根据需要将处理结果另外记录在硬盘905等中。
注意，输入单元907被配置为键盘、鼠标、麦克风等。另外，输出单元906被配置为液晶显示器(LCD)、扬声器等。
此处，由计算机根据程序执行的处理不一定根据本说明书中描述为流程图的顺序来执行。也就是说，由计算机根据程序执行的处理还包括并行或单独执行的处理(例如，并行处理或根据对象的处理)。
另外，程序可以由单个计算机(处理器)处理，或者可以由多个计算机以分布式方式处理。此外，程序可以被发送至远程计算机并且被执行。
此外，在本说明书中，系统是指多个部件(装置、模块(部件)等)的集合，并且所有部件是否布置在单个壳体中无关紧要。因此，容纳在不同壳体中并且经由网络连接的多个装置以及多个模块容纳在一个壳体中的一个装置两者都是系统。
注意，本技术的实施方式不限于以上提及的实施方式，并且可以在不背离本技术的主旨的情况下以各种方式进行修改。
例如，本技术可以被配置为其中由多个装置经由网络共享并且共同处理一个功能的云计算。
此外，上述流程图中描述的各个步骤可以由一个装置执行，或者由多个装置以共享的方式执行。
此外，在多个种类的处理包括在单个步骤中的情况下，包括在单个步骤中的多个种类的处理可以由一个装置执行或者由多个装置以共享的方式执行。
本说明书中描述的效果仅是说明性的而非限制性的，并且可以获得其他效果。
附图标记列表
10 图像处理系统
11 编码器
21 A/D转换单元
22 画面重排缓冲器22
23 计算单元
24 正交变换单元
25 量化单元
26 无损编码单元
27 累积缓冲器
28 逆量化单元
29 逆正交变换单元
30 计算单元
31a、31b DF
32 帧存储器
33 选择单元
34 帧内预测单元
35 运动预测/补偿单元
36 预测图像选择单元
37 速率控制单元
41 自适应偏移滤波器
42 ALF
51 解码器
61 累积缓冲器
62 无损解码单元
63 逆量化单元
64 逆正交变换单元
65 计算单元
67 画面重排单元
68 D/A转换单元
69 帧存储器
70 选择单元
71 帧内预测单元
72 运动预测/补偿单元
73 选择单元
81 自适应偏移滤波器
82 ALF
111 设置单元
112、121 滤波器单元
901 总线
902 CPU
903 ROM
904 RAM
905 硬盘
906 输出单元
907 输入单元
908 通信单元
909 驱动器
910 输入/输出接口
911 可移除记录介质。

Claims (19)

1.一种图像处理装置，包括：
解码单元，其对比特流进行解码以生成解码图像；以及
滤波器单元，其使用色差偏移参数集，将去块滤波器应用于由所述解码单元生成的解码图像的块边界附近的像素的色差分量，所述色差偏移参数集是在将去块滤波器应用于由所述解码单元生成的解码图像的色差分量时使用的。
2.根据权利要求1所述的图像处理装置，其中，
所述滤波器单元使用第一色差偏移参数集和第二色差偏移参数集，将去块滤波器应用于由所述解码单元生成的解码图像的块边界附近的像素的第一色差分量和第二色差分量，所述第一色差偏移参数集是在将去块滤波器应用于所述解码图像的第一色差分量时使用的，所述第二色差偏移参数集是在将去块滤波器应用于所述解码图像的第二色差分量时使用的。
3.根据权利要求2所述的图像处理装置，其中，
当针对所述解码图像的颜色空间为YUV时，
所述第一色差偏移参数集是用于所述解码图像的U分量的偏移参数集，并且
所述第二色差偏移参数集是用于所述解码图像的V分量的偏移参数集。
4.根据权利要求2所述的图像处理装置，其中，
当针对所述解码图像的颜色空间为YCbCr时，
所述第一色差偏移参数集是用于所述解码图像的Cb分量的偏移参数集，并且
所述第二色差偏移参数集是用于所述解码图像的Cr分量的偏移参数集。
5.根据权利要求2所述的图像处理装置，其中，
所述第一色差偏移参数集和所述第二色差偏移参数集被设置为所述比特流的语法，并且
所述解码单元对在所述比特流中包括的所述第一色差偏移参数集和所述第二色差偏移参数集进行解析。
6.根据权利要求5所述的图像处理装置，其中，
所述语法是图片参数集或切片报头。
7.根据权利要求5所述的图像处理装置，其中，
所述语法是图片参数集和切片报头。
8.根据权利要求2所述的图像处理装置，其中，
所述滤波器单元使用亮度偏移参数集，将去块滤波器应用于由所述解码单元生成的解码图像的块边界附近的像素的亮度分量，所述亮度偏移参数集是在将去块滤波器应用于所述解码图像的亮度分量时使用的。
9.一种图像处理方法，包括：
解码步骤，对比特流进行解码以生成解码图像；以及
滤波步骤，使用色差偏移参数集，将去块滤波器应用于由所述解码步骤生成的解码图像的块边界附近的像素的色差分量，所述色差偏移参数集是在将去块滤波器应用于由所述解码步骤生成的解码图像的色差分量时使用的。
10.一种图像处理装置，包括：
设置单元，其设置色差偏移参数集，所述色差偏移参数集是在将去块滤波器应用于通过解码比特流获得的解码图像的色差分量时使用的；以及
编码单元，其对图像进行编码以生成包括由所述设置单元设置的色差偏移参数集的比特流。
11.根据权利要求10所述的图像处理装置，其中，
所述设置单元设置第一色差偏移参数集和第二色差偏移参数集，所述第一色差偏移参数集是在将去块滤波器应用于所述解码图像的第一色差分量时使用的，所述第二色差偏移参数集是在将去块滤波器应用于所述解码图像的第二色差分量时使用的，并且
所述编码单元生成包括由所述设置单元设置的第一色差偏移参数集和第二色差偏移参数集的比特流。
12.根据权利要求11所述的图像处理装置，其中，
当针对所述解码图像的颜色空间为YUV时，
所述第一色差偏移参数集是用于所述解码图像的U分量的参数集，并且
所述第二色差偏移参数集是用于所述解码图像的V分量的参数集。
13.根据权利要求11所述的图像处理装置，其中，
当针对所述解码图像的颜色空间为YCbCr时，
所述第一色差偏移参数集是用于所述解码图像的Cb分量的偏移参数集，并且
所述第二色差偏移参数集是用于所述解码图像的Cr分量的偏移参数集。
14.根据权利要求11所述的图像处理装置，其中，
所述编码单元生成包括由所述设置单元设置的第一色差偏移参数集和第二色差偏移参数集作为语法的比特流。
15.根据权利要求14所述的图像处理装置，其中，
所述语法是图片参数集或切片报头。
16.根据权利要求14所述的图像处理装置，其中，
所述语法是图片参数集和切片报头。
17.根据权利要求11所述的图像处理装置，其中，
所述设置单元设置亮度偏移参数集，所述亮度偏移参数集是在将去块滤波器应用于所述解码图像的亮度分量时使用的，并且
所述编码单元生成包括由所述设置单元设置的亮度偏移参数集的比特流。
18.根据权利要求11所述的图像处理装置，还包括：
滤波器单元，其使用所述色差偏移参数集，将去块滤波器应用于在进行编码时被局部解码的局部解码图像的块边界附近的像素的色差分量，以生成滤波图像，其中，
所述编码单元使用由所述滤波器单元生成的滤波图像对所述图像进行编码。
19.一种图像处理方法，包括：
设置步骤，设置色差偏移参数集，所述色差偏移参数集是在将去块滤波器应用于通过解码比特流获得的解码图像的色差分量时使用的；以及
编码步骤，对图像进行编码以生成包括由所述设置步骤设置的色差偏移参数集的比特流。
CN202080060686.7A 2019-09-06 2020-09-03 图像处理装置和图像处理方法 Pending CN114342382A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962897038P 2019-09-06 2019-09-06
US62/897,038 2019-09-06
PCT/JP2020/033468 WO2021045162A1 (ja) 2019-09-06 2020-09-03 画像処理装置及び画像処理方法

Publications (1)

Publication Number Publication Date
CN114342382A true CN114342382A (zh) 2022-04-12

Family

ID=74853198

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080060686.7A Pending CN114342382A (zh) 2019-09-06 2020-09-03 图像处理装置和图像处理方法

Country Status (6)

Country Link
US (1) US20220295055A1 (zh)
EP (1) EP4020994A4 (zh)
JP (1) JPWO2021045162A1 (zh)
KR (1) KR20220053561A (zh)
CN (1) CN114342382A (zh)
WO (1) WO2021045162A1 (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080069247A1 (en) * 2006-09-15 2008-03-20 Freescale Semiconductor Inc. Video information processing system with selective chroma deblock filtering
US20080240252A1 (en) * 2007-03-27 2008-10-02 Freescale Semiconductor, Inc. Simplified deblock filtering for reduced memory access and computational complexity
WO2011155378A1 (ja) * 2010-06-11 2011-12-15 ソニー株式会社 画像処理装置および方法
WO2013001752A1 (en) * 2011-06-28 2013-01-03 Sony Corporation Image processing device and method
CN104380731A (zh) * 2012-06-27 2015-02-25 索尼公司 图像处理设备和方法
CN104584560A (zh) * 2012-07-02 2015-04-29 微软公司 在去块时使用色度量化参数偏移
WO2016056398A1 (ja) * 2014-10-06 2016-04-14 ソニー株式会社 画像処理装置および方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070121728A1 (en) * 2005-05-12 2007-05-31 Kylintv, Inc. Codec for IPTV
BRPI0611668B1 (pt) * 2005-09-20 2019-06-18 Mitsubishi Electric Corporation Decodificador de imagem, e, método de decodificação de imagem
JP2007174196A (ja) * 2005-12-21 2007-07-05 Toshiba Corp 情報処理装置、制御方法およびプログラム
JP2007180723A (ja) * 2005-12-27 2007-07-12 Toshiba Corp 画像処理装置及び画像処理方法
US20080292505A1 (en) * 2007-05-25 2008-11-27 Jiamin Tian Disposable safety pipet
US10038903B2 (en) * 2011-06-22 2018-07-31 Texas Instruments Incorporated Method and apparatus for sample adaptive offset parameter estimation in video coding
US10484693B2 (en) * 2011-06-22 2019-11-19 Texas Instruments Incorporated Method and apparatus for sample adaptive offset parameter estimation for image and video coding
US9883184B2 (en) * 2014-10-07 2018-01-30 Qualcomm Incorporated QP derivation and offset for adaptive color transform in video coding
US10264269B2 (en) * 2014-10-13 2019-04-16 Apple Inc. Metadata hints to support best effort decoding for green MPEG applications
CN115134609A (zh) * 2015-06-11 2022-09-30 杜比实验室特许公司 使用自适应去块滤波编码和解码图像的方法及其装置
US20170064301A1 (en) * 2015-08-26 2017-03-02 Zhan Ma Methods and Apparatus for Use of Reference Block in Video Coding
WO2020183849A1 (ja) * 2019-03-08 2020-09-17 ソニー株式会社 情報処理装置、情報処理方法及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080069247A1 (en) * 2006-09-15 2008-03-20 Freescale Semiconductor Inc. Video information processing system with selective chroma deblock filtering
US20080240252A1 (en) * 2007-03-27 2008-10-02 Freescale Semiconductor, Inc. Simplified deblock filtering for reduced memory access and computational complexity
WO2011155378A1 (ja) * 2010-06-11 2011-12-15 ソニー株式会社 画像処理装置および方法
WO2013001752A1 (en) * 2011-06-28 2013-01-03 Sony Corporation Image processing device and method
CN104380731A (zh) * 2012-06-27 2015-02-25 索尼公司 图像处理设备和方法
CN104584560A (zh) * 2012-07-02 2015-04-29 微软公司 在去块时使用色度量化参数偏移
WO2016056398A1 (ja) * 2014-10-06 2016-04-14 ソニー株式会社 画像処理装置および方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WOO-SHIK KIM: ""AhG5: Deblocking Filter in 4:4:4 Chroma Format", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 15TH MEETING: GENEVA, CH, 23 OCT. – 1 NOV. 2013，JCTVC-O0089, 1 November 2013 (2013-11-01), pages 1 - 6 *

Also Published As

Publication number Publication date
WO2021045162A1 (ja) 2021-03-11
EP4020994A1 (en) 2022-06-29
KR20220053561A (ko) 2022-04-29
US20220295055A1 (en) 2022-09-15
EP4020994A4 (en) 2022-10-26
JPWO2021045162A1 (zh) 2021-03-11

Similar Documents

Publication Publication Date Title
KR101633197B1 (ko) 변환 의존적 디블록킹 필터링의 수행
US9451258B2 (en) Chroma slice-level QP offset and deblocking
EP3247117B1 (en) Method and device for optimizing encoding/decoding of compensation offsets for a set of reconstructed samples of an image
EP2678944B1 (en) Methods and devices for data compression using offset-based adaptive reconstruction levels
EP2299720A1 (en) Dynamic image encoding/decoding method and device
WO2010061607A1 (ja) 動画像復号方法、動画像符号化方法、動画像復号装置、動画像符号化方法、プログラム、及び集積回路
US20090304086A1 (en) Method and system for video coder and decoder joint optimization
EP2693750A2 (en) In-loop filtering method and apparatus for same
EP2452498B1 (en) Methods and apparatus for collaborative partition coding for region based filters
KR20150035810A (ko) 디블록킹에서 채도 양자화 파라미터 오프셋을 사용하는 기법
US11438607B2 (en) Block artifact suppression in video coding
KR20190091568A (ko) 영상 정보 부호화 및 복호화 방법
JP2006191253A (ja) レート変換方法及びレート変換装置
US11991370B2 (en) Intra prediction device, image encoding device, image decoding device and program
EP4020994A1 (en) Image processing device and image processing method
EP4325848A1 (en) Encoding method, decoding method, encoder, decoder and storage medium
WO2021054437A1 (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination