CN112616326A - 图像解码装置、图像解码方法和程序 - Google Patents
图像解码装置、图像解码方法和程序 Download PDFInfo
- Publication number
- CN112616326A CN112616326A CN202080004683.1A CN202080004683A CN112616326A CN 112616326 A CN112616326 A CN 112616326A CN 202080004683 A CN202080004683 A CN 202080004683A CN 112616326 A CN112616326 A CN 112616326A
- Authority
- CN
- China
- Prior art keywords
- filter
- signal
- processing
- decoded signal
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 54
- 230000008859 change Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 description 38
- 238000001914 filtration Methods 0.000 description 27
- 238000013139 quantization Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 14
- 230000003044 adaptive effect Effects 0.000 description 13
- 230000009466 transformation Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
一种图像解码装置(200)，其具备滤波器部(250B)，该滤波器部(250B)被配置为将滤波处理前解码信号作为输入并输出滤波处理后解码信号，滤波器部(250B)被配置为对滤波处理前解码信号实施限幅处理以使得参考像素值与滤波处理前解码信号的像素值之间的差值的绝对值为预先定义的阈值以下，并通过实施了限幅处理后的值与滤波处理前解码信号的像素值的线性加权和来生成滤波处理后解码信号，并且，定义为即使位深度发生变化，也能够保存亮度信号用的阈值与色差信号用的阈值之间的大小关系。
Description
技术领域
本发明涉及一种图像解码装置、图像解码方法和程序。
背景技术
以往，已知一种通过用阈值对向“ALF(Adaptive Loop Filter：自适应环路滤波器)”输入的输入信号进行限幅来实现非线性滤波处理的技术(例如，参照非专利文献1)。
其中，这样的阈值由数学式定义，并相应于内部位深度的设定值等来导出最终的值。这样的阈值是分别针对亮度信号和色差信号定义的。
现有技术文献
非专利文献
非专利文献1：Versatile Video Coding(Draft 5)、JVET-N1001
发明内容
发明所要解决的问题
然而，在上述现有技术中，亮度信号的阈值与色差信号的阈值之间的大小关系会由于内部位深度而反转。由此，即使对于相同的输入信号，也存在解码图像的特性有可能由于内部位深度的设定而发生变化从而对主观画质造成影响的问题。
因此，本发明是鉴于上述课题而完成的，其目的在于提供一种能够防止解码图像的特性发生变化而对主观画质造成影响的情况的图像解码装置、图像解码方法和程序。
用于解决问题的方案
本发明的第一特征的主旨在于，一种图像解码装置，其具备滤波器部，该滤波器部被配置为将滤波处理前解码信号作为输入并输出滤波处理后解码信号，所述滤波器部被配置为对所述滤波处理前解码信号实施限幅处理以使得参考像素值与所述滤波处理前解码信号的像素值之间的差值的绝对值为预先定义的阈值以下，并通过实施了所述限幅处理后的值与所述滤波处理前解码信号的像素值的线性加权和来生成所述滤波处理后解码信号，并且，定义为即使内部位深度发生变化，也能够保存亮度信号用的所述阈值与色差信号用的所述阈值之间的大小关系。
本发明的第二特征的主旨在于，一种图像解码方法，其具有将滤波处理前解码信号作为输入并输出滤波处理后解码信号的步骤，在所述步骤中，对所述滤波处理前解码信号实施限幅处理以使得参考像素值与所述滤波处理前解码信号的像素值之间的差值的绝对值为预先定义的阈值以下，并通过实施了所述限幅处理后的值与所述滤波处理前解码信号的像素值的线性加权和来生成所述滤波处理后解码信号，并且，定义为即使内部位深度发生变化，也能够保存亮度信号用的所述阈值与色差信号用的所述阈值之间的大小关系。
本发明的第三特征的主旨在于，一种程序，其用在图像解码装置中，其使计算机执行将滤波处理前解码信号作为输入并输出滤波处理后解码信号的步骤，在所述步骤中，对所述滤波处理前解码信号实施限幅处理以使得参考像素值与所述滤波处理前解码信号的像素值之间的差值的绝对值为预先定义的阈值以下，并通过实施了所述限幅处理后的值与所述滤波处理前解码信号的像素值的线性加权和来生成所述滤波处理后解码信号，并且，定义为即使内部位深度发生变化，也能够保存亮度信号用的所述阈值与色差信号用的所述阈值之间的大小关系。
发明的效果
根据本发明，能够提供一种能够防止解码图像的特性发生变化而对主观画质造成影响的情况的图像解码装置、图像解码方法和程序。
附图说明
图1是示出一个实施方式的图像处理系统10的结构的一个示例的图。
图2是示出一个实施方式的图像编码装置100的功能块的一个示例的图。
图3是示出一个实施方式的图像编码装置100的环内滤波处理部150的功能块的一个示例的图。
图4是用于说明一个实施方式的图像编码装置100的环内滤波处理部150的滤波器部150B的功能的一个示例的图。
图5是用于说明一个实施方式的图像编码装置100的环内滤波处理部150的滤波器部150B的功能的一个示例的图。
图6是用于说明一个实施方式的图像编码装置100的环内滤波处理部150的滤波器部150B的功能的一个示例的图。
图7是用于说明一个实施方式的图像编码装置100的环内滤波处理部150的滤波器部150B的功能的一个示例的图。
图8是示出一个实施方式的图像解码装置200的功能块的一个示例的图。
图9是示出一个实施方式的图像解码装置200的环内滤波处理部250的功能块的一个示例的图。
图10是示出一个实施方式的图像解码装置200的环内滤波处理部250的处理过程的一个示例的流程图。
具体实施方式
以下，参照附图对本发明的实施方式进行说明。另外，以下的实施方式中的构成要素可以适当地与现有的构成要素等进行置换，此外，能够进行包括与其他现有的构成要素的组合在内的各种变形。因此，以下的实施方式的记载并非对权利要求书所记载的发明的内容的限定。
(第一实施方式)
以下，参照图1～图10对本发明的第一实施方式的图像处理系统10进行说明。图1是示出本实施方式的图像处理系统10的图。
如图1所示，图像处理系统10包括图像编码装置100和图像解码装置200。
图像编码装置100被配置为通过对输入图像信号进行编码来生成编码数据。图像解码装置200被配置为通过对编码数据进行解码来生成输出图像信号。
其中，这样的编码数据可以经由传输路径从图像编码装置100发送到图像解码装置200。此外，编码数据也可以保存在存储介质中，然后从图像编码装置100提供至图像解码装置200。
(图像编码装置100)
以下，参照图2对本实施方式的图像编码装置100进行说明。图2是示出本实施方式的图像编码装置100的功能块的一个示例的图。
如图2所示，图像编码装置100具有帧间预测部111、帧内预测部112、减法器121、加法器122、变换和量化部131、逆变换和逆量化部132、编码部140、环内滤波处理部150和帧缓冲器160。
帧间预测部111被配置为通过帧间预测(inter-frame prediction)来生成预测信号。
具体地，帧间预测部111被配置为通过对编码目标帧(以下称为目标帧)与保存在帧缓冲器160中的参考帧进行比较，来确定参考帧中包含的参考块，决定针对所确定的参考块的运动矢量。
另外，帧间预测部111被配置为基于参考块和运动矢量为每个预测块生成预测块中包含的预测信号。帧间预测部111被配置为将预测信号输出到减法器121和加法器122。其中，参考帧是与目标帧不同的帧。
帧内预测部112被配置为通过帧内预测(intra-frame prediction)来生成预测信号。
具体地，帧内预测部112被配置为确定目标帧中包含的参考块，并且基于所确定的参考块为每个预测块生成预测信号。另外，帧内预测部112被配置为将预测信号输出到减法器121和加法器122。
其中，参考块是针对预测目标块(以下称为目标块)而参考的块。例如，参考块是与目标块相邻的块。
减法器121被配置为从输入图像信号中减去预测信号，并且将预测残差信号输出到变换和量化部131。其中，减法器121被配置为生成预测残差信号，该预测残差信号是通过帧内预测或帧间预测生成的预测信号与输入图像信号之间的差分。
加法器122被配置为将预测信号与从逆变换和逆量化部132输出的预测残差信号相加来生成滤波处理前解码信号，并且将这样的滤波处理前解码信号输出到帧内预测部112和环内滤波处理部150。
其中，滤波处理前解码信号构成帧内预测部112中使用的参考块。
变换和量化部131被配置为进行预测残差信号的变换处理，并且获取系数级别值。进一步，变换和量化部131也可以被配置为进行系数级别值的量化。
其中，变换处理是将预测残差信号变换为频率分量信号的处理。在这样的变换处理中，可以使用与离散余弦变换(DCT：Discrete Cosine Transfor m)对应的基本模式(变换矩阵)，也可以使用与离散正弦变换(DST：Dis crete Sine Transform)对应的基本模式(变换矩阵)。
逆变换和逆量化部132被配置为对从变换和量化部131输出的系数级别值进行逆变换处理。其中，逆变换和逆量化部132也可以被配置为在逆变换处理之前进行系数级别值的逆量化。
其中，逆变换处理和逆量化按照与由变换和量化部131进行的变换处理和量化相反的顺序来进行。
编码部140被配置为对从变换和量化部131输出的系数级别值进行编码，并且输出编码数据。
其中，例如，编码是基于系数级别值的发生概率来分配不同长度的代码的熵编码。
另外，编码部140被配置为除了系数级别值之外，还对解码处理中使用的控制数据进行编码。
其中，控制数据可以包括编码块(CU：Coding Unit)尺寸、预测块(P U：PredictionUnit)尺寸、变换块(TU：Transform Unit)尺寸等尺寸数据。
环内滤波处理部150被配置为对从加法器122输出的滤波处理前解码信号进行滤波处理，并且将滤波处理后解码信号输出到帧缓冲器160。
另外，环内滤波处理部150也可以被配置为将输入图像信号和滤波处理前解码信号作为输入来决定与滤波处理有关的参数，并且将这样的参数输出到编码部140。编码部140也可以被配置为对这样的参数进行编码并作为附加信息传输给图像解码装置200。
其中，例如，滤波处理是减少解码图像的编码失真的自适应环路滤波处理。
帧缓冲器160被配置为累积帧间预测部111中使用的参考帧。
其中，滤波处理后解码信号构成帧间预测部111中使用的参考帧。
(环内滤波处理部150)
以下，对本实施方式的环内滤波处理部150进行说明。图3是示出本实施方式的环内滤波处理部150的图。
如图3所示，环内滤波处理部150包括类别判定部150A、滤波器部150B和参数决定部150C。
环内滤波处理部150能够以编码树块(CTU：Coding Tree Unit)为单位选择自适应环路滤波处理的应用或不应用中的任意一种。另外，在应用自适应环路滤波处理的情况下，环内滤波处理部150能够选择使用多个滤波器组中的哪个滤波器组。
各滤波器组包括最多二十五种(类)亮度信号用滤波器和一类色差信号用滤波器。
如后所述，包括与这样的自适应环路滤波处理的应用或不应用有关的信息、与在自适应环路滤波处理中应使用的滤波器组有关的信息等的参数被作为附加信息按照每个CTU进行编码，并被传输至图像解码装置200。此外，如后所述，这样的参数由参数决定部150C决定。
其中，例如，在输入信号为“YCbCr4：2：0格式”的情况下，CTU也可以被定义为例如将亮度(Y)信号划分为128×128像素尺寸、将色差信号(Cb、Cr)划分为64×64像素尺寸而得到的各块。
此外，对属于被判断为不应用自适应环路滤波处理的CTU的亮度信号和色差信号的像素，可以省略后述的由类别判定部150A进行的判定处理和由滤波器部150B进行的滤波处理。
类别判定部150A被配置为将滤波处理前解码信号作为输入并输出类别判定信息，该类别判定信息表示使用预先决定的多种滤波器(自适应环路滤波器)中的哪种(类)滤波器。
其中，类别判定部150A被配置为将滤波处理前解码信号分割为小块，并且对每个这样的块判定应使用的类别。例如，类别判定部150A能够决定对于每个4×4像素块应使用二十五种中的哪个类别的滤波器。
其中，作为类别的判定方法，可以使用任意判定方法，只要是能够仅将由图像编码装置100侧和图像解码装置200侧两者都能得到的信息作为输入来进行判定的方法即可。
例如，在非专利文献1中，使用滤波处理前解码信号的像素值的梯度来进行上述类别的判定。通过仅使用由图像编码装置100侧和图像解码装置200侧两者都能得到的信息，即使在图像解码装置200侧也能够进行与图像编码装置100侧同样的类别的判定，因此不需要将类别判定信息从图像编码装置100侧传输到图像解码装置200侧。
滤波器部150B被配置为将滤波处理前解码信号作为输入并输出滤波处理后解码信号。
具体地，滤波器部150B被配置为将滤波处理前解码信号、从类别判定部150A输出的类别判定信息和从参数决定部150C输入的参数(环路滤波处理的参数群)作为输入来进行滤波处理并输出滤波处理后解码信号。
滤波处理后解码信号的各像素的值可以通过例如以下公式来计算。
[数学式1]
★
其中，I(x，y)为位于坐标(x，y)处的滤波处理前解码信号的像素值，O(x，y)为位于坐标(x，y)处的滤波处理后解码信号的像素值，(i，j)为表示参考像素相对于位于坐标(x，y)处的像素的相对位置的坐标(参考像素位置)，C(i，j)为与参考像素位置(i，j)对应的滤波器系数，K()为以下所示的限幅处理，k(i，j)为限幅处理中使用的阈值。
K(I，k)＝min(k，max(-k，I))
其中，min()为返回自变量中的最小值的函数，而max()为返回自变量中的最大值的函数。因此，K()为在输入值I小于-k的情况下返回-k、在输入值I大于k的情况下返回k、并且在其他情况下直接返回输入值I的处理。
即，滤波器部150B被配置为对滤波处理前解码信号实施限幅处理以使得参考像素值I(x+i，y+j)与滤波处理前解码信号的像素值I(x，y)之间的差值的绝对值为预先定义的阈值k(i，j)以下。
另外，滤波器部150B被配置为通过实施了限幅处理后的值与滤波处理前解码信号的像素值I(x，y)的线性加权和来生成滤波处理后解码信号。
滤波器系数C由参数决定部150C决定，并且传输到图像解码装置200侧。为了减少与滤波器系数C有关的信息的代码量，可以通过将相同的滤波器系数C应用于多个像素来减少滤波器系数C的个数。在图4中示出具体示例。
图4(a)示出了亮度信号的滤波处理中的滤波器系数C的配置的示例，图4(b)示出了色差信号的滤波处理中的滤波器系数C的配置的示例。
如图4(a)所示，例如，在亮度信号中，使用十二种滤波器系数C0～C11。在图4(a)中，记载为X的像素为通过这样的滤波处理对像素值进行了校正的像素位置(x，y)。以像素位置(x，y)为中心，将应用了相同的滤波器系数C的像素点对称地配置。
如图4(b)所示，对于色差信号，也同样地以记载为X的像素为中心将其他的滤波器系数点对称地配置。
例如，在参考像素是图片外的像素的情况下，能够通过将位于图片边界的滤波处理前解码信号的像素值复制(称为填充)来实现滤波处理。
其中，图5示出图片的下端(图片边界)处的滤波处理的一个示例。
在图5(a)中，变灰的滤波器系数C0～C3参考了图片外的像素。此时，作为对变灰的滤波器系数C2和C0的输入，可以使用与在图5(a)中配置于滤波器系数C2的正上方的滤波器系数C6所对应的像素值相同的像素值。
同样地，作为对变灰的滤波器系数C3的输入，可以使用与在图5(a)中配置于滤波器系数C3的正上方的滤波器系数C7所对应的像素值相同的像素值，作为对变灰的滤波器系数C1的输入，可以使用与在图5(a)中配置于滤波器系数C1的正上方的滤波器系数C5所对应的像素值相同的像素值。
另外，考虑到上述滤波器系数C的点对称性，在将填充的值用于参考像素的一部分时，也可以使用填充的值作为对与这样的参考像素对应的位置处的滤波器系数C的输入。
在图5(b)的示例中，除了在图5(a)的示例中说明的图片的下端处的滤波处理之外，也可以针对变灰的滤波器系数C0～C3将填充的值作为输入。
例如，作为对图5(b)中的滤波器系数C0和C2的输入，也可以填充并使用与滤波器系数C2的正下方的滤波器系数C6对应的像素值。
同样地，对于滤波器系数C1和C3的输入，也可以分别填充并使用与滤波器系数C1和C3的正下方的滤波器系数C5和C7对应的像素值。
在上述示例中，已经对图片的下端处的滤波处理进行了说明，但是也可以将同样的滤波处理应用于图片的上端和左右端。
另外，如果处于不仅图片边界、还不能参考被称为切片、瓦片的编码的并行处理单位的边界、被称为虚拟边界的流水线处理上的边界等边界的前面的像素值的情况，则能够应用上述滤波处理的方法同样地进行处理。
此外，通过将上述图片边界、瓦片边界、切片边界、虚拟边界等边界处的滤波处理预先设为相同的处理，与针对各边界处理不同的情况相比，能够简化安装。
另外，限幅处理中使用的阈值能够针对每个滤波器类别和每个滤波器系数C分别设定。
例如，在亮度信号用滤波器有二十五类、并且如上述那样各类别的滤波器系数C有十二种的情况下，需要针对最多25×12＝300个滤波器系数分别设定阈值。这样的阈值由后述的参数决定部150C决定，并作为附加信息传输到图像解码装置200侧。
其中，为了减少与这样的阈值有关的信息所涉及的代码量，作为与这样的阈值有关的信息，也可以不传输阈值本身，而是仅对索引(index)信息进行编码，其中，该索引信息表示针对每个滤波器系数使用预先决定的多种阈值中的哪种阈值。
另外，在分别预先准备了四种亮度信号用的阈值和色差信号用的阈值的情况下，亮度信号用的阈值和色差信号用的阈值例如能够如图6(a)那样定义。
亮度信号的方差具有比色差信号的方差大的趋势，因此如图6(a)所示，通过将亮度信号用的阈值设定为色差信号用的阈值以上，能够进行考虑了各信号的特性的限幅处理。
即，如图6(a)所示，定义为即使内部位深度(图6中的“bitdepth”)发生变化，也能够保存亮度信号用的阈值与色差信号用的阈值之间的大小关系(例如，亮度信号用的阈值为色差信号用的阈值以上的关系)。
另外，如图6(a)所示，亮度信号用的阈值和色差信号用的阈值也可以被定义为通过相应于内部位深度的变化分别乘以相同倍率的值来计算。根据这样的结构，即使内部位深度发生变化，也能够保存亮度信号用的阈值与色差信号用的阈值之间的大小关系，并能够与内部位深度无关地进行同样的限幅处理。
其中，内部位深度是指在编码处理和解码处理中对亮度信号和色差信号的像素值进行运算时的位精度。这样的内部位深度例如取8～16位的整数值，并作为附加信息从图像编码装置100侧传输到图像解码装置200侧。
另外，如图6(a)所示，通过用2的幂来预先定义与内部位深度相关的倍率，能够如图6(b)那样仅通过位移位来实现这样的限幅处理，能够减轻硬件、软件中的处理负荷。
即，亮度信号用的阈值和色差信号用的阈值也可以被定义为通过相应于内部位深度的变化分别进行位移位来计算。
此外，图6(a)和图6(b)中的与索引0对应的阈值是与可以由对应的内部位深度表示的最大值相同的值。因此，通过选择这样的阈值，在与这样的阈值相对应的滤波器系数C中，实质上等同于不进行限幅处理。
为了获得与上述示例同样的效果，不必如上述那样将针对所有阈值的倍率设为相同的值。在预先决定的内部位深度的定义域(例如，8～16位)中，在亮度信号内和色差信号内，分别与各索引对应的阈值的大小关系不反转，另外，在亮度信号与色差信号之间，只要是保证与相同索引对应的阈值的大小关系不反转的形式，则也可以将针对各阈值的倍率分别设为不同的值。
此外，在设置了分别分配有0～N-1的索引的N种(N为1以上的自然数)亮度信号用的阈值和色差信号用的阈值的情况下，具有相同的索引的亮度信号用的阈值和色差信号用的阈值也可以被定义为通过相应于内部位深度而乘以相同倍率来计算。
另外，在上述示例中，对相应于内部位深度将阈值乘以倍率的情况进行了说明，但也可以不是乘以倍率而是加上偏移值的处理。
此外，即使在亮度信号的内部位深度与色差信号的内部位深度不同的情况下，如图6那样，通过分别预先定义亮度信号用的阈值和色差信号用的阈值，也能够在进行了换算以使得亮度信号和色差信号的动态范围相同的情况下，定义为亮度信号与色差信号之间的限幅处理中使用的阈值的大小关系始终不变。
另外，在上述示例中，对为每个类别和每个滤波器系数C设定阈值的情况进行了说明，但是也可以采用例如为每个类别将所有滤波器系数C设定相同的阈值，即，为每个类别各设定一个阈值的方法。在该情况下，应传输的阈值的个数会减少，因此能够减少与阈值的索引相关的代码量。
另外，如后所述，在阈值的索引之前传输表示是否对每个类别实施限幅处理的标志，因此在每个类别只有一种阈值的情况下，不必定义与上述索引0对应的阈值(等同于不进行限幅处理)。因此，在上述示例中，能够将阈值可取的模式从四种减少到三种，因此能够期待与阈值的索引相关的代码量的进一步的减少。
在上述示例中，对将亮度信号用的阈值和色差信号用的阈值设定为不同的值的情况进行了说明，但是也可以将两者设为相同的值。由此，例如，可以在硬件中使与亮度信号和色差信号的限幅处理相关的电路共用化，能够削减电路规模。
另外，亮度信号用的阈值和色差信号用的阈值也可以被定义为通过以内部位深度为10位的情况为基准、相应于当前的内部位深度进行运算来计算。
例如，在图6(a)中，示出了以下情况的示例：以亮度信号的10位时的阈值为1024、181、32、6这四种、色差信号的10位时的阈值为1024、161、25、4这四种的情况为基准，相应于当前的内部位深度(图6中的bitdepth)的值而乘以2的幂，从而得到最终的阈值。
其中，在图6中，10位时的阈值用具体的数值(1024、181…等)表示，但是也可以以数学式的形式定义。
例如，也可以定义为，如图7所示，将亮度信号的10位时的阈值设为“2^(10(10×(4-index)/4)(其中，index＝0，1，2，3))”，并将其乘以“2^(bitdepth-10)”，从而得到与当前内部位深度相应的最终的阈值。
图7所示的色差信号的定义也同样可以考虑为：“2^(8×(3-index)/4)×2^(2)”为10位时的阈值，并将其乘以“2^(bitdepth-10)”，从而计算出与当前内部位深度相应的阈值。
参数决定部150C被配置为将输入图像信号和滤波处理前解码信号作为输入，决定与自适应环路滤波器有关的参数并作为附加信息输出到编码部140，并且将所决定的参数输出到滤波器部150B。
由参数决定部150C决定的参数例如包括以下参数。
第一，作为这样的参数，可以列举出以帧为单位的滤波器组。其中，一个滤波器组包括最多二十五类亮度信号用滤波器和一类色差信号用滤波器。对于各类别的滤波器，决定滤波器系数的值、表示是否实施限幅处理的标志、在用这样的类别实施限幅处理时各个滤波器系数中的限幅处理中使用的阈值的索引等。
参数决定部150C可以预先针对某帧具有多个滤波器组，并且如后述那样选择针对每个区域使用哪个滤波器组。
第二，作为这样的参数，可以列举出例如表示是否对每个CTU应用自适应环路滤波器的标志。此外，参数决定部150C能够在应用自适应环路滤波器的情况下设定索引信息，该索引信息表示使用多个滤波器组中的哪一个。
此外，关于这样的参数的决定方法，可以使用公知的方法，因此省略详细说明。
另外，虽然在图3中未图示，但是参数决定部150C也可以在参数的决定中使用类别判定部150A的判定结果、在临时的参数设定中实施的滤波器部150B的结果。
(图像解码装置200)
以下，参照图7对本实施方式的图像解码装置200进行说明。图7是示出本实施方式的图像解码装置200的功能块的一个示例的图。
如图7所示，图像解码装置200包括解码部210、逆变换和逆量化部220、加法器230、帧间预测部241、帧内预测部242、环内滤波处理部250和帧缓冲器260。
解码部210被配置为对由图像编码装置100生成的编码数据进行解码，并且对系数级别值进行解码。
其中，例如，解码是与由编码部140进行的熵编码相反的顺序的熵解码。
另外，解码部210也可以被配置为通过对编码数据进行解码处理来获取控制数据。
此外，如上所述，控制数据也可以包含编码块尺寸、预测块尺寸和变换块尺寸等尺寸数据。
逆变换和逆量化部220被配置为对从解码部210输出的系数级别值进行逆变换处理。其中，逆变换和逆量化部220也可以被配置为在逆变换处理之前进行系数级别值的逆量化。
其中，逆变换处理和逆量化按照与由变换和量化部131进行的变换处理和量化相反的顺序来进行。
加法器230被配置为将预测信号与从逆变换和逆量化部220输出的预测残差信号相加来生成滤波处理前解码信号，并且将滤波处理前解码信号输出到帧内预测部242和环内滤波处理部250。
其中，滤波处理前解码信号构成帧内预测部242中使用的参考块。
帧间预测部241与帧间预测部111同样地，被配置为通过帧间预测(inter-frameprediction)来生成预测信号。
具体地，帧间预测部241被配置为基于从编码数据解码的运动矢量和参考帧中包含的参考信号，为每个预测块生成预测信号。帧间预测部241被配置为将预测信号输出到加法器230。
帧内预测部242与帧内预测部112同样地，被配置为通过帧内预测(intra-frameprediction)来生成预测信号。
具体地，帧内预测部242被配置为确定目标帧中包含的参考块，并基于所确定的参考块为每个预测块生成预测信号。帧内预测部242被配置为将预测信号输出到加法器230。
环内滤波处理部250与环内滤波处理部150同样地，被配置为对从加法器230输出的滤波处理前解码信号进行滤波处理，并且将滤波处理后解码信号输出到帧缓冲器260。
其中，例如，滤波处理是减少解码图像的编码失真的自适应环路滤波处理。
帧缓冲器260与帧缓冲器160同样地，被配置为累积帧间预测部241中使用的参考帧。
其中，滤波处理后解码信号构成帧间预测部241中使用的参考帧。
(环内滤波处理部250)
以下，对本实施方式的环内滤波处理部250进行说明。图9是示出本实施方式的环内滤波处理部250的图。
如图9所示，环内滤波处理部250包括类别判定部250A和滤波器部250B。
类别判定部250A与类别判定部150A同样地，被配置为将滤波处理前解码信号作为输入、并输出类别判定信息，该类别判定信息表示使用预先决定的多种环内滤波器中的哪个类别的滤波器。
滤波器部250B与滤波器部150B同样地，被配置为基于滤波处理前解码信号、由类别判定部250A决定的类别判定信息、以及作为附加信息从图像编码装置100侧传输来的参数来进行滤波处理，并且输出滤波处理后解码信号。
图10是示出本实施方式的图像解码装置200的环内滤波处理部250的处理过程的一个示例的流程图。
如图10所示，在步骤S101中，环内滤波处理部250将滤波处理前解码信号作为输入、并输出类别判定信息，该类别判定信息表示使用预先决定的多种环内滤波器中的哪个类别的滤波器。
在步骤S102中，环内滤波处理部250基于滤波处理前解码信号、由类别判定部250A决定的类别判定信息、以及作为附加信息从图像编码装置100侧传输来的参数来进行滤波处理，并且输出滤波处理后解码信号。
根据本实施方式的图像编码装置100和图像解码装置200，关于自适应内插滤波器的输入信号的阈值处理，与内部位深度的设定无关，在进行换算了以使得亮度信号和色差信号的动态范围相同时，亮度信号用的阈值与色差信号用的阈值之间的大小关系不变，因此能够防止主观画质的特性无意中发生变化。
此外，上述图像编码装置100和图像解码装置200可以通过使计算机执行各功能(各步骤)的程序来实现。
此外，在上述实施方式中，以应用于图像编码装置100和图像解码装置200为例对本发明进行了说明，但是本发明不限于这样的示例，也同样可以应用于具备图像编码装置100和图像解码装置200的各功能的图像编码/解码系统。
符号说明
10…图像处理系统；100…图像编码装置；111、241…帧间预测部；112、242…帧内预测部；121…减法器；122，230…加法器；131…变换和量化部；132、220…逆变换和逆量化部；140…编码部；150、250…环内滤波处理部；150A、250A…类别判定部；150B、250B…滤波器部；150C…参数决定部；160，260…帧缓冲器；200…图像解码装置；210…解码部。
Claims (8)
1.一种图像解码装置，其特征在于：
其具备滤波器部，该滤波器部被配置为将滤波处理前解码信号作为输入并输出滤波处理后解码信号，
所述滤波器部被配置为对所述滤波处理前解码信号实施限幅处理以使得参考像素值与所述滤波处理前解码信号的像素值之间的差值的绝对值为预先定义的阈值以下，并且通过实施了所述限幅处理后的值与所述滤波处理前解码信号的像素值的线性加权和来生成所述滤波处理后解码信号，
并且，定义为即使内部位深度发生变化，也能够保存亮度信号用的所述阈值与色差信号用的所述阈值之间的大小关系。
2.根据权利要求1所述的图像解码装置，其特征在于：
所述亮度信号用的阈值和所述色差信号用的阈值被定义为通过相应于所述内部位深度的变化分别乘以相同倍率来计算。
3.根据权利要求2所述的图像解码装置，其特征在于：
所述倍率用2的幂来定义。
4.根据权利要求2或3所述的图像解码装置，其特征在于：
设置了分别分配有0～N-1的索引的N种所述亮度信号用的阈值和所述色差信号用的阈值，其中，N为1以上的自然数，
具有相同的所述索引的所述亮度信号用的阈值和所述色差信号用的阈值被定义为通过相应于所述内部位深度而乘以相同倍率来计算。
5.根据权利要求1～4中任一项所述的图像解码装置，其特征在于：所述亮度信号用的阈值和所述色差信号用的阈值被定义为相同的值。
6.根据权利要求2～5中任一项所述的图像解码装置，其特征在于：
所述亮度信号用的阈值和所述色差信号用的阈值被定义为通过以所述内部位深度为10位的情况为基准、相应于当前的内部位深度进行运算来计算。
7.一种图像解码方法，其具有将滤波处理前解码信号作为输入并输出滤波处理后解码信号的步骤，其特征在于：
在所述步骤中，对所述滤波处理前解码信号实施限幅处理以使得参考像素值与所述滤波处理前解码信号的像素值之间的差值的绝对值为预先定义的阈值以下，并通过实施了所述限幅处理后的值与所述滤波处理前解码信号的像素值的线性加权和来生成所述滤波处理后解码信号，
并且，定义为即使内部位深度发生变化，也能够保存亮度信号用的所述阈值与色差信号用的所述阈值之间的大小关系。
8.一种程序，其用在图像解码装置中，其特征在于，
其使计算机执行将滤波处理前解码信号作为输入并输出滤波处理后解码信号的步骤，
在所述步骤中，对所述滤波处理前解码信号实施限幅处理以使得参考像素值与所述滤波处理前解码信号的像素值之间的差值的绝对值为预先定义的阈值以下，并通过实施了所述限幅处理后的值与所述滤波处理前解码信号的像素值的线性加权和来生成所述滤波处理后解码信号，
并且，定义为即使内部位深度发生变化，也能够保存亮度信号用的所述阈值与色差信号用的所述阈值之间的大小关系。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311040097.4A CN116916020A (zh) | 2019-06-20 | 2020-06-11 | 图像解码装置、图像解码方法和存储介质 |
| CN202311043605.4A CN116916021A (zh) | 2019-06-20 | 2020-06-11 | 图像解码装置、图像解码方法和存储介质 |
| CN202311043613.9A CN116916022A (zh) | 2019-06-20 | 2020-06-11 | 图像解码装置、图像解码方法和存储介质 |
| CN202311038454.3A CN116916019A (zh) | 2019-06-20 | 2020-06-11 | 图像解码装置、图像解码方法和存储介质 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019-114961 | 2019-06-20 | ||
| JP2019114961A JP6811931B2 (ja) | 2019-06-20 | 2019-06-20 | 画像復号装置、画像復号方法及びプログラム |
| PCT/JP2020/022975 WO2020255847A1 (ja) | 2019-06-20 | 2020-06-11 | 画像復号装置、画像復号方法及びプログラム |
Related Child Applications (4)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311040097.4A Division CN116916020A (zh) | 2019-06-20 | 2020-06-11 | 图像解码装置、图像解码方法和存储介质 |
| CN202311038454.3A Division CN116916019A (zh) | 2019-06-20 | 2020-06-11 | 图像解码装置、图像解码方法和存储介质 |
| CN202311043605.4A Division CN116916021A (zh) | 2019-06-20 | 2020-06-11 | 图像解码装置、图像解码方法和存储介质 |
| CN202311043613.9A Division CN116916022A (zh) | 2019-06-20 | 2020-06-11 | 图像解码装置、图像解码方法和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112616326A true CN112616326A (zh) | 2021-04-06 |
| CN112616326B CN112616326B (zh) | 2023-09-12 |
Family
ID=73994379
Family Applications (5)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311040097.4A Pending CN116916020A (zh) | 2019-06-20 | 2020-06-11 | 图像解码装置、图像解码方法和存储介质 |
| CN202080004683.1A Active CN112616326B (zh) | 2019-06-20 | 2020-06-11 | 图像解码装置、图像解码方法和存储介质 |
| CN202311043605.4A Pending CN116916021A (zh) | 2019-06-20 | 2020-06-11 | 图像解码装置、图像解码方法和存储介质 |
| CN202311038454.3A Pending CN116916019A (zh) | 2019-06-20 | 2020-06-11 | 图像解码装置、图像解码方法和存储介质 |
| CN202311043613.9A Pending CN116916022A (zh) | 2019-06-20 | 2020-06-11 | 图像解码装置、图像解码方法和存储介质 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311040097.4A Pending CN116916020A (zh) | 2019-06-20 | 2020-06-11 | 图像解码装置、图像解码方法和存储介质 |
Family Applications After (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311043605.4A Pending CN116916021A (zh) | 2019-06-20 | 2020-06-11 | 图像解码装置、图像解码方法和存储介质 |
| CN202311038454.3A Pending CN116916019A (zh) | 2019-06-20 | 2020-06-11 | 图像解码装置、图像解码方法和存储介质 |
| CN202311043613.9A Pending CN116916022A (zh) | 2019-06-20 | 2020-06-11 | 图像解码装置、图像解码方法和存储介质 |
Country Status (4)
| Country | Link |
|---|---|
| EP (1) | EP3849195A4 (zh) |
| JP (1) | JP6811931B2 (zh) |
| CN (5) | CN116916020A (zh) |
| WO (1) | WO2020255847A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117768644A (zh) * | 2019-06-24 | 2024-03-26 | 华为技术有限公司 | 用于非线性自适应环路滤波器的限幅电平 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102057680A (zh) * | 2008-07-04 | 2011-05-11 | 株式会社东芝 | 运动图像编码/解码方法和装置 |
| CN102227910A (zh) * | 2008-11-27 | 2011-10-26 | 松下电器产业株式会社 | 运动图像解码方法、运动图像编码方法、运动图像解码装置、运动图像编码装置、程序以及集成电路 |
| JP2017005508A (ja) * | 2015-06-10 | 2017-01-05 | 日本電信電話株式会社 | イントラ予測処理装置、イントラ予測処理方法、イントラ予測処理プログラム、画像符号化装置及び画像復号装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2580173B (en) * | 2018-12-21 | 2022-07-27 | Canon Kk | A filter |
-
2019
- 2019-06-20 JP JP2019114961A patent/JP6811931B2/ja active Active
-
2020
- 2020-06-11 CN CN202311040097.4A patent/CN116916020A/zh active Pending
- 2020-06-11 CN CN202080004683.1A patent/CN112616326B/zh active Active
- 2020-06-11 EP EP20827571.9A patent/EP3849195A4/en active Pending
- 2020-06-11 CN CN202311043605.4A patent/CN116916021A/zh active Pending
- 2020-06-11 CN CN202311038454.3A patent/CN116916019A/zh active Pending
- 2020-06-11 WO PCT/JP2020/022975 patent/WO2020255847A1/ja unknown
- 2020-06-11 CN CN202311043613.9A patent/CN116916022A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102057680A (zh) * | 2008-07-04 | 2011-05-11 | 株式会社东芝 | 运动图像编码/解码方法和装置 |
| CN102227910A (zh) * | 2008-11-27 | 2011-10-26 | 松下电器产业株式会社 | 运动图像解码方法、运动图像编码方法、运动图像解码装置、运动图像编码装置、程序以及集成电路 |
| JP2017005508A (ja) * | 2015-06-10 | 2017-01-05 | 日本電信電話株式会社 | イントラ予測処理装置、イントラ予測処理方法、イントラ予測処理プログラム、画像符号化装置及び画像復号装置 |
Non-Patent Citations (1)
| Title |
|---|
| BENJAMIN BROSS ET AL: "《Versatile Video Coding (Draft 5)》", 《JVET》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020255847A1 (ja) | 2020-12-24 |
| EP3849195A1 (en) | 2021-07-14 |
| CN116916021A (zh) | 2023-10-20 |
| CN116916019A (zh) | 2023-10-20 |
| JP6811931B2 (ja) | 2021-01-13 |
| CN116916022A (zh) | 2023-10-20 |
| JP2021002726A (ja) | 2021-01-07 |
| CN116916020A (zh) | 2023-10-20 |
| EP3849195A4 (en) | 2022-08-03 |
| CN112616326B (zh) | 2023-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102015374B1 (ko) | 색차 성분 양자화 매개 변수 결정 방법 및 이러한 방법을 사용하는 장치 | |
| KR102192778B1 (ko) | 선택 가능한 보간 필터를 구비한 비디오 모션 보상 장치 및 방법 | |
| US7805016B2 (en) | Decoding apparatus and decoding method | |
| JP5502336B2 (ja) | 映像信号符号化装置及び、映像信号符号化方法 | |
| EP3547685A1 (en) | Encoding device, decoding device, encoding method, and decoding method | |
| US20230224458A1 (en) | Image decoding device, image decoding method, and program | |
| EP4344479A1 (en) | Systems and methods for image filtering | |
| US11871021B2 (en) | Moving picture decoding device, moving picture decoding method, and program obtaining chrominance values from corresponding luminance values | |
| JP2018530278A (ja) | 一連のピクチャをエンコード及びデコードする方法及びデバイス、並びに対応するコンピュータプログラム製品及びコンピュータ読取可能媒体 | |
| JP5800362B2 (ja) | 動画像送出装置、動画像受信装置、動画像伝送システム、動画像送出方法、動画像受信方法、およびプログラム | |
| US20210185354A1 (en) | Image decoding device, image encoding device, image decoding method, and program | |
| CN112616326A (zh) | 图像解码装置、图像解码方法和程序 | |
| CN116095345A (zh) | 预测值的确定方法、编码器、解码器以及计算机存储介质 | |
| JP6941752B1 (ja) | 画像復号装置、画像復号方法及びプログラム | |
| JP6912642B2 (ja) | 画像復号装置、画像復号方法及びプログラム | |
| JP7485838B2 (ja) | 画像復号装置、画像復号方法及びプログラム | |
| WO2012118359A2 (ko) | 색차 성분 양자화 매개 변수 결정 방법 및 이러한 방법을 사용하는 장치 | |
| US20240236313A9 (en) | Systems and methods for image filtering | |
| CN118338009A (zh) | 动态图像解码装置、动态图像解码方法及程序 | |
| JP2018050150A (ja) | 画像符号化装置、画像符号化方法及びコンピュータプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |