CN101309422A - 宏块级量化参数处理方法及装置 - Google Patents

Abstract

本发明实施例公开了一种宏块级量化参数处理方法及装置，其中宏块级量化参数处理方法包括：计算宏块的直接残差值；根据所述宏块的直接残差值和所述宏块在图像中的位置判断所述宏块的类型；根据所述宏块的类型计算编码所述宏块所用的量化参数的值。宏块级量化参数处理装置包括：第一计算模块，用于计算宏块的直接残差值；判断模块，用于判断所述宏块的类型；第二计算模块，用于计算编码所述宏块所用的量化参数的值。本发明实施例实现了为感兴趣区域的宏块分配较多的码率而不敏感区域的宏块则分配较少的码率的目的，提高了视频图像的主观质量。

Description

宏块级量化参数处理方法及装置

技术领域

本发明涉及视频编码技术领域，尤其涉及一种宏块级量化参数处理方法及装置。

背景技术

随着视频编码技术的不断更新与发展，出现了新一代视频编码标准——H.264/AVC，该标准与以前的视频编码标准相比，具有压缩效率高、网络性能好、适用于交互和非交互应用环境等显著优点，因此受到了越来越广泛的关注。现有技术中的视频编码标准H.264/AVC正是由于采用了分层设计、帧内预测方法高精度和多模式运动估计/运动补偿、环路滤波、新的熵编码方法、率失真优化技术(Rate Distortion Optimized，RDO)等新技术，使得编码性能得到大大提高。在整个视频编码过程中，码率控制是一个非常关键的环节，其目的是在满足带宽和存储容量限制的同时，取得尽量好的视频输出质量。

现有技术中的H.264/AVC采用JVT-G012模型，通过对量化参数的调整来实现对码率的控制，具体采用二次率失真模型和线性预测模型，其中在目标码率确定的情况下，量化参数(Quantization Parameter，QP)的大小由残差数据(Mean Average Difference，MAD)来决定。在实际应用中，分析人类视觉系统(Human Visual System，HVS)可知，人类总是更关注于图像中变化明显的区域，而对变化平缓的部分不敏感。而现有技术中的控制码率的方法虽可以反映重构图像与原始图像的客观差异，但是没有考虑人对图像差异的敏感度，而且该方法使用较多的码率来提高HVS所不敏感的区域的质量，即使这种提高人们通常也无法观察到。因此，现有技术中的这种平均分配码率及其计算量化参数的方法不仅不能有效地使用有限的码率，而且会造成码率的浪费。

发明内容

本发明实施例的目的是针对上述现有技术的缺陷，提供一种宏块级量化参数处理方法及装置，实现为感兴趣区域的宏块分配较多的码率而不敏感区域的宏块则分配较少的码率的目的，提高视频图像的主观质量，从而最终提高视频图像的整体质量。

为了实现上述目的，本发明实施例提供了一种宏块级量化参数处理方法，包括：

计算宏块的直接残差值；

根据所述宏块的直接残差值和所述宏块在图像中的位置判断所述宏块的类型；

根据所述宏块的类型计算编码所述宏块所用的量化参数的值。

本发明实施例提供了一种宏块级量化参数处理装置，包括：

第一计算模块，用于计算宏块的直接残差值；

判断模块，用于根据所述第一计算模块计算的计算结果和所述宏块在图像中的位置判断所述宏块的类型；

第二计算模块，用于根据所述判断模块的判断结果计算编码所述宏块所用的量化参数的值。

本发明实施例提供了一种宏块级量化参数处理方法及装置，先根据宏块的直接残差值以及宏块在图像中的位置对宏块类型进行判断，然后计算编码该宏块所用的量化参数的初始值，再根据宏块的类型对量化参数的值进行调整，实现了为感兴趣区域的宏块分配较多的码率而不敏感区域的宏块则分配较少的码率的目的，提高了视频图像的主观质量，从而最终提高了视频图像的整体质量。

附图说明

图1为本发明宏块级量化参数处理方法实施例一的流程图；

图2为本发明宏块级量化参数处理方法实施例二的流程图；

图3为本发明宏块级量化参数处理方法实施例二中宏块类型的示意图；

图4a为本发明宏块级量化参数处理方法实施例二中实验结果示意图一；

图4b为本发明宏块级量化参数处理方法实施例二中实验结果示意图二；

图4c为本发明宏块级量化参数处理方法实施例二中实验结果示意图三；

图4d为本发明宏块级量化参数处理方法实施例二中实验结果示意图四；

图5为本发明宏块级量化参数处理装置实施例的结构图。

具体实施方式

下面通过附图和实施例，对本发明例的技术方案做进一步的详细描述。

图1为本发明宏块级量化参数处理方法实施例一的流程图，如图1所示，本实施例提供的宏块级量化参数处理方法包括如下步骤：

步骤101，计算宏块的直接残差值。

直接残差值(MAD)是当前帧与参考帧在运动补偿之前的残差值，这个概念的引入是为了解决H.264/AVC中存在的著名的“蛋鸡悖论”。由于在本发明的实现过程中，提取感兴趣区域(Regions of Interest，ROI)的实际MAD是在运动补偿之后得到的，而率失真优化又需要量化参数预先确定，因此采用直接MAD代替实际MAD来提取ROI。另外，直接MAD可以较好地反映出相邻两帧之间的变化。需要指出的是，在实施本发明提供的宏块级量化参数处理方法时，需要对每帧图像中的每个宏块进行计算直接MAD以及类型判断等，本步骤中所指的宏块为当前处理的宏块，并不代表某个指定的宏块，按照本实施例提供的方法流程处理完一个宏块后接着处理该帧图像中的下一个宏块，每个宏块的处理过程类似，只是处理下一个宏块时各步骤中所指的宏块(即当前的宏块)不同。因此，本步骤具体为：计算当前宏块的直接MAD，具体的计算方法可以采用现有技术中的残差计算方法。

步骤102，根据宏块的直接残差值和宏块在图像中的位置判断宏块的类型。

在本步骤中，当前宏块的类型的判断需要通过步骤101中计算得到的该宏块的直接MAD以及该宏块在该帧图像中的位置来实现，通过判断得到不同的宏块类型，从中提取出感兴趣的宏块，为感兴趣的宏块分配较多的码率，而为不感兴趣的宏块分配较少的码率，从而实现码率的有效分配，提高感兴趣区域的视频主观质量。

步骤103，根据宏块的类型计算编码宏块所用的量化参数的值。

在现有技术中，采用平均分配码率的方法来对图像中每个宏块进行编码，即图像中每个宏块的目标码率都相同，然后利用二次模型计算量化参数的值，而本发明提供的宏块级量化参数处理方法则根据各个宏块的不同类型来计算编码该宏块所用的量化参数的值，即根据宏块的类型为该宏块分配编码码率。

在计算各宏块的量化参数前，需要先计算帧层码率。在H.264/AVC标准中，码率控制算法使用流量往返模型为每个基本单元分配目标码率，然后在宏块层采用二次率失真模型计算量化参数。其中，画面组(Group of Pictures，GOP)层的码率控制过程为：计算每个GOP中剩余比特数；计算每个GOP量化参数的初始值。帧层码率控制过程为：使用线性跟踪理论，为当前帧分配目标码率，当前帧的目标码率是由带宽、帧率、缓冲区实际满度、缓冲区目标满度等因素定义的，具体计算公式如公式(1)所示：

$R\_t\arg \mathrm{et}=(1-\mathrm{\α})[\frac{W}{f}+\mathrm{\β}(B_t-B_c)]+\mathrm{\α}\left[\frac{W_{p}R}{N_p{W}_p+N_b{W}_b}\right]---\left(1\right)$

其中，R_targe t为目标码率，W为带宽、f为帧率，α与β是权值，W_p与W_b分别为P帧与B帧所占的比重，N_p与N_b分别为剩余P帧与B帧的数目，R为编码后的剩余码率。根据上述公式(1)计算得到帧层的目标码率，现有技术中采用将该目标码率平均分配的方法得到宏块层的目标码率，而本发明实施例则需要根据宏块的类型为每个宏块分配不同的码率，但是帧层的目标码率仍采用公式(1)。

在步骤101中计算得到的宏块的直接残差值后，根据如下公式(2)所示的线性预测模型计算该宏块的MAD值：

MAD_prediction＝MAD_actual×C₁+C₂            (2)

其中C₁、C₂是模型参数且为常数。获得宏块的MAD值后，再根据如下公式(3)所示的二次率失真模型计算编码该宏块所用的量化参数的初始值：

$R=\mathrm{MAD}\_\mathrm{prediction}\×[\frac{X_1}{{\mathrm{QP}}^2}+\frac{X_2}{\mathrm{QP}}]---\left(3\right)$

其中X₁、X₂为模型参数且为常数，QP为编码宏块所用的量化参数的值，R是为该宏块分配的目标码率。如果当前宏块为图像中的第一个宏块，则该宏块的QP值等于前一帧所有宏块的QP值的平均值；在编码下一个宏块时，先判断当前帧的剩余码率是否小于0，如果小于0，则增大当前宏块的QP值，例如，对当前宏块的QP值加1，此处所指当前宏块的QP值为按照平均分配码率的原则分配给该宏块的QP值；如果当前帧的剩余码率大于0，则利用公式(3)所示的二次率失真模型计算该宏块的QP值。其中，常数X₁、X₂以及C₁、C₂在计算第二个宏块的QP时分别取1和0，而在计算后续的宏块的QP时，则根据前面宏块的编码情况以及线性回归理论来获取常数X₁、X₂以及C₁、C₂的值。

进一步地，在步骤101之后，还可以包括：根据宏块的直接残差值计算该宏块对应的权值。具体的计算过程依据如下公式(4)所示的方法：

$\mathrm{\ϵ}\left[i\right]=\frac{\mathrm{MAD}\_\mathrm{direct}\left[i\right]}{\mathrm{MAD}\_\mathrm{dirct}}---\left(4\right)$

其中，ε[i]表示第i个宏块对应的权值，MAD_direct[i]表示第i个宏块的直接MAD值，MAD_dirct表示当前帧的直接MAD值，当前帧的直接MAD值可由当前帧内所有宏块的直接MAD的平均值得到。

进一步地，步骤102可以具体为：根据宏块在图像中的位置、宏块的直接残差值和宏块对应的权值判断该宏块的类型。根据该宏块在所在图像中的位置、步骤101中计算得到的该宏块的直接MAD值以及上述步骤中计算得到的该宏块对应的权值来对该宏块的类型进行判断。其中，宏块的类型包括中心宏块(Central Macro-Block，CMB)、扩展宏块(Expanded Macro-Block，EMB)、次不重要的宏块(Lower Macro-Block，LRMB)和不重要的宏块(LowestMacro-Block，LTMB)，其中，由中心宏块和扩展宏块构成了最终的感兴趣的区域，由LRMB和LTMB构成了非感兴趣的区域。

更进一步地，在步骤103之后，还可以包括：根据宏块的类型对量化参数的值进行修正。根据上述各步骤对宏块类型进行判断之后，对步骤103所得的宏块的初始的量化参数的值进行修正。

具体地，根据宏块的类型对量化参数的值进行修正具体包括：当宏块为中心宏块或者扩展宏块时，减小该宏块的量化参数的值；当宏块为次不重要的宏块或者不重要的宏块时，增大该宏块的量化参数的值。其中，中心宏块所减小的量化参数的值大于扩展宏块所减小的量化参数的值；不重要的宏块所增大的量化参数的值大于次不重要的宏块所增大的量化参数的值。具体地，当宏块类型为CMB时，QP′＝QP-2；当宏块类型为EMB时，QP′＝QP-1；当宏块类型为LRMB时，QP′＝QP+1；当宏块类型为LTMB时，QP′＝QP+2。经过上述对宏块的QP值的计算之后，每个宏块获得一个更为合理的QP值，能有效地提高视频的质量，尤其是主观质量。

本发明实施例通过提供一种宏块级量化参数处理方法，先根据宏块的直接残差值以及宏块在图像中的位置对宏块类型进行判断，然后计算编码该宏块所用的量化参数的初始值，再根据宏块的类型对量化参数的值进行调整，实现了为感兴趣区域的宏块分配较多的码率而不敏感区域的宏块则分配较少的码率的目的，提高了视频图像的主观质量，从而最终提高了视频图像的整体质量。

图2为本发明宏块级量化参数处理方法实施例二的流程图，如图2所示，本实施例与上述实施例一的不同之处在于，实施例一中的步骤102可以具体包括如下步骤：

步骤112，根据图像的尺寸设置图像中中心宏块的个数，并设置第一权值阈值和第二权值阈值。

在对宏块的类型进行判断之前，需要根据该图像的尺寸大小设置该图像中包含的宏块类型为中心宏块的宏块的个数，具体的设置方法不限，但只要在一帧图像中中心宏块的个数满足一定的比例即可，例如，当图像的尺寸为176×144时，在该图像的一帧中一共包含有11×9个宏块，则将该图像中中心宏块的个数设置为9个。同时，设置第一权值阈值和第二权值阈值，此处所指的第一权值阈值和第二权值阈值为后续判断宏块为扩展宏块还是次不重要的宏块时所用到的阈值。在发明人实现本发明技术方案的过程中，做了大量的实验，试验结果表明，将第一权值阈值设置为1.3，第二权值阈值设置为0.7时，所得到的图像主观质量比较高。

步骤122，对图像中的所有宏块的直接残差值进行排序。

在步骤101中已经对图像中各个宏块的直接MAD进行了计算，该步骤为将计算得到的所有宏块的直接MAD进行排序，排序的方式采用降序方式，即将宏块的直接MAD按照从大到小的顺序进行排列，每个宏块根据其直接MAD的不同位于所有宏块的排序序列中的不同位置，例如第5个宏块的直接MAD最大，则该宏块在排序序列中位于第1位，第10个宏块的直接MAD第三大，则该宏块在排序序列中位于第3位。

步骤132，判断宏块是否在图像的上边界、左边界或者右边界，如果是，则该宏块为不重要的宏块，并结束本流程，否则执行步骤142。

完成上述步骤112和步骤122的准备工作后，开始进行宏块类型判断的实质步骤，首先判断当前宏块是否处在所在图像的上边界、左边界或者右边界，如果该宏块处在上述边界，则该宏块为不重要的宏块，并结束对当前宏块进行类型判断的流程。如果该宏块未处在上述边界，则继续执行下述的判断步骤142。

步骤142，根据宏块的直接残差值获取该宏块在图像中的所有宏块的排序序列中的位置。

根据步骤122中对图像中宏块进行的排序，根据当前宏块的直接MAD从中获取该宏块在图像中所有宏块的排序序列中的位置。

步骤152，根据宏块在排序序列中的位置判断宏块是否在设置的中心宏块的个数之内，如果是，则该宏块为中心宏块，并结束本流程，否则，执行步骤162。

根据步骤142中获取的该宏块在排序序列中的位置来判断该宏块是否在设置的中心宏块的个数之内，例如，该图像中设置的中心宏块的个数为9，而当前宏块在排序序列中的位置为5，说明该宏块在设置的中心宏块的个数之内，则该宏块为中心宏块，并结束对当前宏块进行类型判断的流程；如果当前宏块在排序序列中的位置为11，说明该宏块不在设置的中心宏块的个数之内，则该宏块不是中心宏块。根据本步骤的判断结果，如果是，则该宏块为中心宏块，并结束对当前宏块进行类型判断的流程，否则继续执行下述的判断步骤162。

步骤162，判断宏块是否位于其他中心宏块的四领域位置，如果是，则该宏块为扩展宏块，并结束本流程，否则执行步骤172。

根据之前已经确定的中心宏块，判断当前宏块时候位于某个中心宏块的四邻域位置，如果当前宏块位于某个中心宏块的四领域位置，则该宏块为扩展宏块，并结束对当前宏块进行类型判断的流程，否则继续执行下述判断步骤172。

步骤172，判断宏块对应的权值是否大于第一权值阈值，如果是，则该宏块为扩展宏块，并结束本流程，否则执行步骤182。

判断当前宏块对应的权值是否大于步骤112中设置的第一权值阈值，第一权值阈值的实验值为1.3，如果该宏块对应的权值大于1.3，则该宏块为扩展宏块，并结束对当前宏块进行类型判断的流程，如果该宏块对应的权值小于1.3，则继续执行下述的判断步骤182。

步骤182，判断宏块对应的权值是否小于第二权值阈值，如果是，则该宏块为次不重要的宏块。

判断当前宏块对应的权值是否小于步骤112中设置的第二权值阈值，第二权值阈值的实验值为0.7，如果该宏块对应的权值小于0.7，则该宏块为次不重要的宏块，并结束对当前宏块进行类型判断的流程。

图3为本发明宏块级量化参数处理方法实施例二中宏块类型的示意图，通过该图可以更加形象地理解本实施例中关于宏块类型的判断方法及判断过程。图4a为本发明宏块级量化参数处理方法实施例二中实验结果示意图一，图4b为本发明宏块级量化参数处理方法实施例二中实验结果示意图二，图4c为本发明宏块级量化参数处理方法实施例二中实验结果示意图三，图4d为本发明宏块级量化参数处理方法实施例二中实验结果示意图四。这四幅图分别利用对两套图像的处理结果来说明本发明的技术方案所达到的效果，从各图中可以看出，和图4a相比，图4b明显突出了感兴趣的区域(例如人眼区域)中的图像特征图，和图4c相比，图4d也明显突出了感兴趣的区域(例如人眼区域)中的图像特征，大大提高了图像的主观质量。

本发明实施例通过提供一种宏块级量化参数处理方法，通过将宏块判断为中心宏块、扩展宏块、次不重要的宏块或者不重要的宏块，实现了为感兴趣区域的宏块分配较多的码率而不敏感区域的宏块则分配较少的码率的目的，提高了视频图像的主观质量，从而最终提高了视频图像的整体质量。

图5为本发明宏块级量化参数处理装置实施例的结构图，如图5所示，本发明提供的一种宏块级量化参数处理装置包括：第一计算模块101、判断模块102、第二计算模块103，其中，第一计算模块101用于计算宏块的直接残差值；判断模块102用于根据第一计算模块101的计算结果和宏块在图像中的位置判断宏块的类型；第二计算模块103用于根据判断模块102的判断结果计算编码宏块所用的量化参数的值。

进一步地，本发明提供的一种宏块级量化参数处理装置还可以包括：第三计算模块104，用于根据第一计算模块101的计算结果计算宏块对应的权值。

具体地，判断模块102可以包括：设置模块112、排序模块122、第一判断模块132、获取模块142、第二判断模块152、第三判断模块162、第四判断模块172和第五判断模块182，其中，设置模块112用于根据图像的尺寸设置图像中中心宏块的个数，并设置第一权值阈值和第二权值阈值；排序模块122用于对图像中的所有宏块的直接残差值进行排序；第一判断模块132用于判断宏块是否在图像的上边界、左边界或者右边界；获取模块142用于根据排序模块122的排序结果获取宏块在图像中的所有宏块的排序序列中的位置；第二判断模块152用于根据获取模块142的获取结果判断宏块是否在设置的中心宏块的个数之内；第三判断模块162用于根据第二判断模块152的判断结果判断宏块是否位于第二判断模块152所判断的其他中心宏块的四领域位置；第四判断模块172用于根据第三判断模块162的判断结果判断宏块对应的权值是否大于第一权值阈值；第五判断模块182用于根据第四判断模块172的判断结果判断宏块对应的权值是否小于第二权值阈值。

更进一步地，本发明提供的一种宏块级量化参数处理装置还可以包括：修正模块105，用于根据判断模块102的判断结果对量化参数的值进行修正。

本发明实施例通过提供一种宏块级量化参数处理装置，先根据宏块的直接残差值以及宏块在图像中的位置对宏块类型进行判断，然后计算编码该宏块所用的量化参数的初始值，再根据宏块的类型对量化参数的值进行调整，实现了为感兴趣区域的宏块分配较多的码率而不敏感区域的宏块则分配较少的码率的目的，提高了视频图像的主观质量，从而最终提高了视频图像的整体质量。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (11)

1、一种宏块级量化参数处理方法，其特征在于，包括：

计算宏块的直接残差值；

根据所述宏块的直接残差值和所述宏块在图像中的位置判断所述宏块的类型；

根据所述宏块的类型计算编码所述宏块所用的量化参数的值。

2、根据权利要求1所述的方法，其特征在于，在所述计算宏块的直接残差值之后，还包括：根据所述宏块的直接残差值计算所述宏块对应的权值。

3、根据权利要求2所述的方法，其特征在于，所述根据所述宏块的直接残差值和所述宏块在图像中的位置判断所述宏块的类型具体为：根据所述宏块的直接残差值、所述宏块在图像中的位置和所述宏块对应的权值判断所述宏块的类型。

4、根据权利要求3所述的方法，其特征在于，判断所述宏块的类型具体包括：

根据图像的尺寸设置所述图像中中心宏块的个数，并设置第一权值阈值和第二权值阈值；

对所述图像中的所有宏块的直接残差值进行排序；

判断所述宏块是否在所述图像的上边界、左边界或者右边界，如果是，则该宏块为不重要的宏块，并结束本流程，否则根据所述宏块的直接残差值获取所述宏块在所述图像中的所有宏块的排序序列中的位置；

根据所述宏块在排序序列中的位置判断所述宏块是否在设置的所述中心宏块的个数之内，如果是，则所述宏块为中心宏块，并结束本流程，否则判断所述宏块是否位于其他中心宏块的四领域位置，如果是，则所述宏块为扩展宏块，并结束本流程，否则判断所述宏块对应的权值是否大于所述第一权值阈值，如果是，则所述宏块为扩展宏块，并结束本流程，否则判断所述宏块对应的权值是否小于所述第二权值阈值，如果是，则所述宏块为次不重要的宏块。

5、根据权利要求4所述的方法，其特征在于，在所述计算编码所述宏块所用的量化参数的值之后，还包括：根据所述宏块的类型对所述量化参数的值进行修正。

6、根据权利要求5所述的方法，其特征在于，所述根据所述宏块的类型对所述量化参数的值进行修正具体包括：

当所述宏块为所述中心宏块或者所述扩展宏块时，减小所述宏块的所述量化参数的值；

当所述宏块为次不重要的宏块或者所述不重要的宏块时，增大所述宏块的所述量化参数的值。

7、根据权利要求6所述的方法，其特征在于，所述中心宏块所减小的所述量化参数的值大于所述扩展宏块所减小的所述量化参数的值；

所述不重要的宏块所增大的所述量化参数的值大于所述次不重要的宏块所增大的所述量化参数的值。

8、一种宏块级量化参数处理装置，其特征在于，包括：

第一计算模块，用于计算宏块的直接残差值；

判断模块，用于根据所述第一计算模块计算的计算结果和所述宏块在图像中的位置判断所述宏块的类型；

第二计算模块，用于根据所述判断模块的判断结果计算编码所述宏块所用的量化参数的值。

9、根据权利要求8所述的装置，其特征在于，还包括：

第三计算模块，用于根据所述第一计算模块的计算结果计算所述宏块对应的权值。

10、根据权利要求8所述的装置，其特征在于，所述判断模块包括：

设置模块，用于根据图像的尺寸设置所述图像中中心宏块的个数，并设置第一权值阈值和第二权值阈值；

排序模块，用于对所述图像中的所有宏块的直接残差值进行排序；

第一判断模块，用于判断所述宏块是否在所述图像的上边界、左边界或者右边界；

获取模块，用于根据所述排序模块的排序结果获取所述宏块在所述图像中的所有宏块的排序序列中的位置；

第二判断模块，用于根据所述获取模块的获取结果判断所述宏块是否在设置的所述中心宏块的个数之内；

第三判断模块，用于根据所述第二判断模块的判断结果判断所述宏块是否位于所述第二判断模块所判断的其他中心宏块的四领域位置；

第四判断模块，用于根据所述第三判断模块的判断结果判断所述宏块对应的权值是否大于所述第一权值阈值；

第五判断模块，用于根据所述第四判断模块的判断结果判断所述宏块对应的权值是否小于所述第二权值阈值。

11、根据权利要求10所述的装置，其特征在于，还包括：

修正模块，用于根据所述判断模块的判断结果对所述量化参数的值进行修正。

Images