CN111836044B - 决定量化参数的方法 - Google Patents

Abstract

本发明公开了一种决定量化参数的方法，包括下列步骤：接收一图像数据区块；计算该图像数据区块的一普通方差；通过将该普通方差减去该图像数据区块的一图像矩，计算该图像数据区块的一基于平面的方差；以及根据该基于平面的方差，决定用于该图像数据区块的一量化参数。

Description

决定量化参数的方法

技术领域

本发明涉及一种用于图像编码器的方法，尤其涉及一种用于图像编码器的决定量化参数的方法。

背景技术

智能编码技术广泛用于现代的图像编码方案中，智能编码可针对不同特征的图像区块采用不同压缩率，其中，对人眼而言较不敏感的图像可通过较高的压缩率进行压缩，以降低数据量，而对人眼而言较敏感的图像则通过较低的压缩率进行压缩，以维持较高保真度。此压缩率可由量化参数(Quantization Parameter，QP)来定义，详细来说，较大的量化参数代表较高的压缩率，其可产生较少数据量，但伴随着较大的衰减。

方差自适应量化(Variance Adaptive Quantization，VAQ)是一种图像编码算法，常用于现代各种图像编码装置，如x264及x265编码器等。在方差自适应量化方案中，量化参数是根据图像数据区块的方差而取得，使得每一区块可被分配适当的量化参数，从而实现智能编码。然而，图像数据区块的方差可能无法正确反映该区块的视觉敏感度。举例来说，具有颜色渐层或亮度渐层的区块对人眼而言具有高敏感度，但往往被分配到较高的量化参数，导致人们容易感觉到渐层区域上的图像质量较差。鉴于此，现有技术实有改进的必要。

发明内容

因此，本发明的主要目的即在于提供一种基于平面的方差自适应量化(VarianceAdaptive Quantization，VAQ)，可改善图像在渐层区域上的质量。

本发明的一实施例公开了一种决定量化参数的方法，所述方法包括下列步骤：接收一图像数据区块；计算该图像数据区块的一普通方差；通过将该普通方差减去该图像数据区块的一图像矩，计算该图像数据区块的一基于平面的方差；以及根据该基于平面的方差，决定用于该图像数据区块的一量化参数。

本发明的另一实施例公开了一种决定量化参数的方法，所述方法包括下列步骤：接收一图像数据区块；利用该图像数据区块的一图像矩来计算该图像数据区块的一基于平面的方差；以及根据该基于平面的方差，决定用于该图像数据区块的一量化参数。

附图说明

图1A及1B为基于方差自适应量化的量化参数布置的示意图。

图2为本发明实施例一流程的流程图。

图3A为计算一区块像素数据的普通方差的示意图。

图3B为计算该区块像素数据的基于平面的方差的示意图。

图4A及4B为一示例性图片中量化参数布置的示意图。

其中，附图标记说明如下：

20 流程

200～210 步骤

具体实施方式

请参考图1A及1B，图1A及1B为基于方差自适应量化(Variance AdaptiveQuantization，VAQ)的量化参数(Quantization Parameter，QP)布置的示意图。搭配方差自适应量化，可根据各区块中的纹理复杂度来布置量化参数。由于图像是以每一区块为单元进行压缩，因此每一区块都被分配一量化参数。图1A为一示例性图片，图1B则示出此图片中的量化参数布置，其中，布置较小量化参数的区块以较浅的颜色表示，而布置较大量化参数的区块以较深的颜色表示。在方差自适应量化机制之下，优选地，可针对不同区块使用适当的量化参数，使得一图像帧上的每一区块具有不同量化参数。如图1A及1B所示，纹理复杂度较高的区块通常包括物体的边界，因此具有较高的图像数据方差。由于物体的边界在视觉上较为明确，使得用户不易发现边界上的微小差异，因此，此区块通常给予较高的量化参数，在此情形下，此区块可采用较高的压缩率以节省数据量。另一方面，纹理复杂度较低的区块通常位于平坦区域，因此具有较低的图像数据方差。由于平坦区域在视觉上较为敏感，使得观看者容易发现平坦区域上的任何变化或失真，因此，此区块通常给予较低的量化参数，在此情形下，此区块可采用较低的压缩率，以维持平坦区域的图像质量。

如上所述，图像数据区块的方差可能无法正确反映区块的视觉敏感度，特别是在具有渐层图像或颜色的区块上。更明确来说，在图像数据逐渐上升或下降的渐层区域中，区块的方差远大于平坦区域的方差。较大的方差使得位于渐层区域的区块被分配到较大的量化参数。然而，颜色的渐层对人眼而言十分敏感，且观看者容易观察到渐层区域上的图像衰减。因此，普通的方差自适应量化方案将无法得到对渐层区域的区块而言适合的量化参数。

为解决此问题，本发明提供了一种基于平面的方差自适应量化方法，可改良普通方差自适应量化以针对图像数据区块取得更适合的量化参数，特别是针对具有渐层图像或颜色的区块。根据基于平面的方差自适应量化计算而得的渐层区域区块的方差较接近平坦区域区块的方差。

请参考图2，图2为本发明实施例一流程20的流程图。流程20可实现于一图像编码器，用来决定每一图像数据区块的量化参数。如图2所示，流程20包括以下步骤：

步骤200：开始。

步骤202：接收一图像数据区块。

步骤204：计算图像数据区块的普通方差。

步骤206：通过将普通方差减去图像数据区块的一图像矩，计算图像数据区块的基于平面的方差。

步骤208：根据基于平面的方差，决定用于图像数据区块的一量化参数。

步骤210：结束。

根据流程20，图像编码器可接收一区块的图像数据，并计算该图像数据区块的普通方差。普通方差代表像素数据相对于该图像数据区块中数据平均值的差值的平均。接着，图像编码器计算该图像数据区块的基于平面的方差，其中，可将普通方差减去该图像数据区块的一图像矩以取得基于平面的方差，图像矩可反映图像数据区块中的渐层。接着，图像编码器即可根据基于平面的方差，决定用于该区块的量化参数，随后将此量化参数布置给该区块以进行后续压缩操作。

由于基于平面的方差包括图像矩的信息，其相关于图像渐层或颜色渐层，因此，根据基于平面的方差而取得的量化参数是在考虑渐层的情况下所做的决定。如上所述，渐层颜色的图像质量对人眼的敏感度相似于平坦区域，因此，减去图像矩的运算使得基于平面的方差的数值更接近平坦区域的方差值(即较小方差)。一般来说，当一区块的基于平面的方差的数值较小时，用于该区块的量化参数可决定为具有较小数值，使该区块的图像以较低的压缩率进行压缩，以维持较高的保真度。

请参考图3A，图3A为计算一区块像素数据P_x的普通方差V的示意图。每一像素数据P_x可以是区块中的像素或子像素所对应的颜色灰度值。为方便说明，图3A以一维(1D)区块为例，其中像素数据P_x具有一渐层分布，其平均值为μ。该区块像素数据P_x的普通方差V为该区块像素数据P_x相对于平均值μ的差值的平均，其可通过以下方式计算：

V＝E[(P_x-f_x)²]

＝E[(P_x-μ)²]

＝E[P_x ²]-μ²。

请参考图3B，图3B为计算该区块像素数据P_x的基于平面的方差V_pb的示意图。基于平面的方差V_pb为像素数据P_x相对于一函式的差值的平均，此函式不同于该区块像素数据P_x的平均值μ。更明确来说，此函式可以是用来表示该区块像素数据P_x的最小均方误差(Minimum Mean Square Error，MMSE)估计式(fx＝ax+b)的直线。最小均方误差估计式可反映区块中的渐层趋势。该区块像素数据P_x的基于平面的方差V_pb可通过以下方式计算：

V_pb＝E[(P_x-f_x)²]

＝E[(P_x-ax-b)²]

＝E[P_x ²]-μ²-m·E[x·P_x]²。

由此可知，基于平面的方差V_pb与普通方差V之间存在一差值m·E[x·P_x]²，代表像素数据P_x区块的图像矩。在一实施例中，普通方差V可通过以上方式计算并取得，即E[P_x ²]-μ²，接着，可将普通方差V减去图像矩m·E[x·P_x]²以取得基于平面的方差V_pb，如流程20所述。需注意的是，m为可用来控制区块中图像渐层与量化参数数值相关性的矩参数。一般来说，矩参数为可变的数值，可在0到大约3的范围之间变动。当矩参数m约等于3时，量化参数的决定需完整考虑渐层图像；当矩参数m等于0时，量化参数的决定则不考虑渐层图像，此时基于平面的方差V_pb等于普通方差V。在一实施例中，可根据系统需求来控制或调整矩参数m，使其位于0到3之间的适合数值，例如可根据是否考虑渐层图像以及用于决定量化参数的渐层特征权重来控制或调整矩参数m。

在上述实施例中，基于平面的方差V_pb是由普通方差V减去图像矩而得，但在另一实施例中，也可在不计算普通方差V的情况下，直接计算基于平面的方差V_pb。实际上，通过图像矩，基于平面的方差V_pb可通过任何方式计算，也就是说，无论基于平面的方差V_pb是以何种方式取得，基于平面的方差V_pb的计算结果必然包括相关于图像矩的因子。举例来说，基于平面的方差V_pb可直接通过公式V_pb＝E[(P_x-ax-b)²]来计算，其中，ax-b项即为关于图像矩的因子。

值得注意的是，上述计算普通方差及基于平面的方差的概念可延伸到一般二维(2D)的像素数据区块。对包括像素数据P(x,y)的N×N区块而言(N为大于或等于1的整数)，普通方差V可通过以下方式取得：

其中，函数f(x,y)为区块中像素数据P(x,y)的平均，其等于：

依照类似于前述一维实施例的方式计算，可得到以下结果：

同样地，在包括像素数据P(x,y)的N×N区块中，基于平面的方差V_pb可通过以下方式取得：

其中，函数f(x,y)为像素数据P(x,y)的最小均方误差估计式，可表示为：

f(x,y)＝αx+βy+γ。

根据类似于前述一维实施例的方式计算，可得到以下结果：

由此可知，基于平面的方差V_pb可通过将普通方差V减去沿着X方向的一第一图像矩并减去沿着Y方向的一第二图像矩而取得，其中，第一图像矩等于沿着x方向的一第一原始图像矩∑_x,yxP(x,y)乘上一第一矩参数m₁，第二图像矩等于沿着y方向的一第二原始图像矩∑_x,yyP(x,y)乘上一第二矩参数m₂。根据上述公式，矩参数m₁及m₂的数值等于

代表量化参数的决定是在完整考虑渐层图像的情况下进行。若N等于64时，矩参数m₁及m₂的最大值为

约等于3.0007326。在本发明实施例中，可将矩参数m₁及m₂设定为任何可能的数值，以控制区块中图像渐层与量化参数之间的相关性。举例来说，在一实施例中，矩参数m₁及m₂的数值都可设定为位于0到

之间的范围，端看渐层特征的权重而定。在另一实施例中，为求简化，可将矩参数m₁及m₂的数值设定为位于0到3之间的范围。

根据基于平面的方差自适应量化，可在渐层颜色的区域上采用数值较低的量化参数。请参考图4A及4B，图4A及4B为一示例性图片中量化参数布置的示意图。图4A示出了根据普通的方差自适应量化决定其量化参数的图片，图4B示出了同一张图片，其中的量化参数是根据基于平面的方差自适应量化来决定。根据普通方差自适应量化和基于平面的方差自适应量化而得到的图片在渐层区域上(如鼻子和靠近鼻子的脸部)存在些微的差异，图4A及4B将此区域放大以显示量化参数。如图4A所示，此渐层区域中的量化参数是以普通的方差自适应量化方式来决定，其位于31到37之间的范围。如图4B所示，此渐层区域中的量化参数是以基于平面的方差自适应量化方式来决定，其位于29到34之间的范围。由此可知，本发明的基于平面的方差自适应量化可针对渐层区域提供较小的量化参数值(较接近平坦区域的量化参数值)，从而改善人眼敏感度高的渐层区域上的图像质量。

值得注意的是，本发明的目的在于提供一种根据基于平面的方差自适应量化来决定量化参数的方法，可考虑到图像的渐层。本领域技术人员可据此进行修饰或变化，而不限于此。举例来说，在上述实施例中，用来计算基于平面的方差的差值的函数为代表最小均方误差估计式的直线。在另一实施例中，此函数也可以是由二次函式表示的曲线。除此之外，本发明的基于平面的方差自适应量化可实现于任何类型的图像编码器，只要图像编码器可通过布置量化参数到图像上多个区块来进行图像的压缩，无论此图像编码器使用哪一种图像编码标准，其都可以采用基于平面的方差自适应量化来决定量化参数的数值。再者，区块可通过任何方式来布置，且所决定的量化参数值可应用于各种不同大小的区块。举例来说，如图4A及4B所示，根据编码机制，每一区块可具有不同尺寸，而每一区块布置的量化参数都可以根据基于平面的方差自适应量化方法来决定。

综上所述，本发明提供了一种根据基于平面的方差自适应量化来决定用于图像数据区块的量化参数的方法。基于平面的方差可由普通方差减去图像矩的方式计算，图像矩可反映图像数据区块中的渐层。因此，基于平面的方差自适应量化使得渐层区域的量化参数值更接近于平坦区域的量化参数值。如此一来，变化和衰减对人眼而言敏感度高的渐层区域可布置较低的量化参数，从而由较低的压缩率进行压缩并维持较高的保真度。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (18)

1.一种决定量化参数的方法，包括：

接收一图像数据区块；

计算该图像数据区块的一普通方差；

通过将该普通方差减去该图像数据区块的一图像矩，计算该图像数据区块的一基于平面的方差；以及

根据该基于平面的方差，决定用于该图像数据区块的一量化参数。

2.如权利要求1所述的方法，其特征在于，该图像矩反映该图像数据区块中的一图像渐层。

3.如权利要求1所述的方法，其特征在于，该基于平面的方差是图像数据相对于一函式的差值的平方的平均，该函式不同于该图像数据区块的像素数据的一平均值。

4.如权利要求3所述的方法，其特征在于，该函式为该图像数据区块的一最小均方误差估计式。

5.如权利要求1所述的方法，其特征在于，通过将该普通方差减去该图像数据区块的该图像矩，计算该图像数据区块的该基于平面的方差的步骤包括：

将该普通方差减去乘上一第一矩参数的沿着一第一方向的一第一原始图像矩以及乘上一第二矩参数的沿着一第二方向的一第二原始图像矩，以取得该基于平面的方差。

6.如权利要求5所述的方法，其特征在于，还包括：

设定该第一矩参数与该第二矩参数的数值，以控制该图像数据区块中的一图像渐层与该量化参数之间的相关性。

7.如权利要求6所述的方法，其特征在于，该图像数据区块是一N×N区块，N为大于或等于1的整数，且该第一矩参数与该第二矩参数的数值都位于0到m之间的范围，其中m等于：

8.如权利要求6所述的方法，其特征在于，该第一矩参数与该第二矩参数的数值都位于0到3之间的范围。

9.如权利要求1所述的方法，其特征在于，还包括：

当该基于平面的方差具有一第一数值时，决定用于该图像数据区块的该量化参数具有一第二数值；以及

当该基于平面的方差具有小于该第一数值的一第三数值时，决定用于该图像数据区块的该量化参数具有小于该第二数值的一第四数值。

10.一种决定量化参数的方法，包括：

接收一图像数据区块；

利用该图像数据区块的一图像矩来计算该图像数据区块的一基于平面的方差；以及

根据该基于平面的方差，决定用于该图像数据区块的一量化参数；

其中，该基于平面的方差是通过以下方式取得：

V_pb＝E[(P_x-f_x)²]＝E[(P_x-ax-b)²]＝E[P_x ²]-μ²-m·E[x·P_x]²；

其中，V_pb为该基于平面的方差，E[]代表平均，P_x为该图像数据区块的像素数据，f_x＝ax+b为一函式，μ为该图像数据区块的像素数据的一平均值，且m·E[x·P_x]²为该图像矩。

11.如权利要求10所述的方法，其特征在于，该图像矩反映该图像数据区块中的一图像渐层。

12.如权利要求10所述的方法，其特征在于，该基于平面的方差是图像数据相对于该函式的差值的平方的平均，该函式不同于该图像数据区块的像素数据的该平均值。

13.如权利要求12所述的方法，其特征在于，该函式为该图像数据区块的一最小均方误差估计式。

14.如权利要求10所述的方法，其特征在于，利用该图像数据区块的该图像矩来计算该图像数据区块的该基于平面的方差的步骤包括：

计算该图像数据区块的一普通方差；以及

将该普通方差减去乘上一第一矩参数的沿着一第一方向的一第一原始图像矩以及乘上一第二矩参数的沿着一第二方向的一第二原始图像矩，以取得该基于平面的方差。

15.如权利要求14所述的方法，其特征在于，还包括：

设定该第一矩参数与该第二矩参数的数值，以控制该图像数据区块中的一图像渐层与该量化参数之间的相关性。

16.如权利要求15所述的方法，其特征在于，该图像数据区块是一N×N区块，N为大于或等于1的整数，且该第一矩参数与该第二矩参数的数值都位于0到m之间的范围，其中m等于：

17.如权利要求15所述的方法，其特征在于，该第一矩参数与该第二矩参数的数值都位于0到3之间的范围。

18.如权利要求10所述的方法，其特征在于，还包括：

当该基于平面的方差具有一第一数值时，决定用于该图像数据区块的该量化参数具有一第二数值；以及

当该基于平面的方差具有小于该第一数值的一第三数值时，决定用于该图像数据区块的该量化参数具有小于该第二数值的一第四数值。

Images