CN106303530A - 一种融合视觉感知特性的码率控制方法 - Google Patents

Abstract

本发明公开了一种融合视觉感知特性的码率控制方法，根据亮度和运动强度对人眼视觉感知的影响，指导LCU层的码率分配，进一步，为了提高率失真性能，结合视觉感知特性，对拉格朗乘子λ和量化参数QP进行修正。采用本发明的技术方案，与国际编码标准HEVC(HM15.0)相比，码率控制准确性基本不变，视频的主观质量得到提高，且获得了更好的率失真性能，节省比特资源，缓解视频编码的重建图像质量与编码资源占用之间的矛盾，提高了HEVC的编码性能。

Description

一种融合视觉感知特性的码率控制方法

技术领域

本发明属于视频处理技术领域，涉及一种融合视觉感知特性的码率控制方法。

背景技术

随着多媒体业务的日益完善与广泛应用，视频服务种类激增、高清视频以及超高清视频(4k×2k分辨率；8k×4k分辨率)逐渐普及，着眼于“更低码率”和“更高画质”的高效视频编码标准HEVC(High Efficiency Video Coding,HEVC)应运而生。为了在信道带宽和传输延时受限的情况下，保证视频质量，需要合理地分配编码比特。因此，HEVC标准采用了基于R-λ模型的码率控制技术，该技术被加入到HEVC测试模型HM15.0中。在HM15.0中，码率控制分两步进行：①为各编码单元分配目标比特；②根据R-λ模型为各编码单元确定量化参数。其中比特分配采用分层策略，依次为GOP(Group of Pictures,GOP)层、帧层、LCU(LargeCoding Unit,LCU)层，其结构示意图见附图2。各层均是根据所在层的剩余比特与图像内容特性，为编码单元分配目标比特。HM15.0中的比特分配方法虽然有效利用了比特资源，但忽略了人眼的视觉特性，对于一些人眼关注度较高的区域，比特分配并不理想。若能结合人眼视觉特性指导比特分配，则会大大提高视频的主观质量。

发明内容

本发明的目的是提供一种融合视觉感知特性的码率控制方法，在保证码率控制准确性基本不变的前提下，提高视频的主观质量，获得更好的率失真性能，节省比特资源，缓解视频编码的重建图像质量与编码资源占用之间的矛盾，提高HEVC的编码性能。

本发明所采用的技术方案是，一种融合视觉感知特性的码率控制方法，包括以下步骤：

第一步：进行GOP层码率控制初始化；

第二步：进行帧层码率控制初始化，判断当前帧f_n是否为I帧，若是，则编码I帧，然后进入第七步；若不是，则进入第三步；

第三步：首先，根据当前帧f_n的亮度分量和参考帧f_n-1的亮度分量，计算当前帧中每个LCU的亮度均值其中，N为当前编码帧中LCU的个数，进而计算当前帧中每个LCU的亮度感知权重L_i(i＝0,1,2L N-1)：

其次，计算当前帧中每个LCU的帧间亮度差D_i(i＝0,1,2ΛN-1)，进而计算当前帧中每个LCU的运动感知权重M_i(i＝0,1,2L N-1)：

$M_i=\frac{1.0}{1.0+\frac{D_s}{D_i}}$

其中，D_s为：

$D_s=\underset{i=1}{\overset{N}{\Σ}}{D}_i$

最后，计算当前帧中每个LCU的比特分配权重ω_i(i＝0,1,2L N-1)：

ω_i＝L_i×M_i

并对ω_i做归一化处理：

${\mathrm{\ω}}_i^{\′}=\frac{{\mathrm{\ω}}_i}{\underset{i=1}{\overset{N}{\Σ}}{\mathrm{\ω}}_i}$

第四步：进行LCU层码率控制初始化；

第五步：为当前LCU分配目标比特，计算公式如下：

B_i＝R×ω′_i

其中，R为当前编码帧的目标比特。

第六步：判断当前LCU是否为当前编码帧中的最后一个LCU，若是，则进入第七步；若不是，则读取下一个LCU，然后返回第四步；

第七步：判断当前编码帧是否为GOP的最后一帧，若是，则结束；若不是，则读取下一帧，然后返回第二步。

作为优选，在所述第五步中，为了提高本发明方法的率失真性能，对当前LCU的拉格朗日乘子λ_HM15.0进行修正：

λ_new＝λ_HM15.0×K_λ

其中，K_λ定义为：

由于λ改变，不仅会影响率失真性能，还会引起量化参数(QuantizationParameter,QP)的变化，进而影响码率控制的准确性。在HM15.0中的R-λ模型下：

QP_HM15.0＝4.2005lnλ_new+13.7122＝QP_{T arget}+4.2005lnK_λ

其中，QP_{T arget}为使当前LCU的实际码率达到目标码率所对应的量化参数。

因此，为保证码率控制的准确性基本不变，对当前LCU的量化参数进行修正：

QP_new＝QP_{T arget}＝QP_HM15.0-4.2005ln K_λ。

本发明的有益效果是，在LCU层的码率控制中融合了视觉感知特性，根据亮度和运动强度对人眼视觉感知的影响，指导LCU层的码率分配，然后结合视觉敏感度，修正拉格朗日乘子λ和量化参数QP。与HM15.0码率控制方法相比，本发明码率控制方法的准确性基本不变，视频的主观质量与率失真性能均有提升，在传输相同质量视频的情况下，可以有效地节省编码比特数，提高HEVC编码性能。

附图说明

图1是本发明的码率控制方法流程图；

图2是GOP层、帧层、LCU层结构示意图；

图3是背景亮度敏感阈值曲线示意图；

图4是运动强度与帧间亮度差的关系示意图；

图5是BlowingBubbles序列第32帧的图像及局部放大图，其中，图5(1)为原始图像，图5(2)为本发明编码48032bits,PSNR为36.9214的图像，图5(3)为HM15.0编码49224bits,PSNR为36.9132的图像，图5(4)为原始图像局部放大图，图5(5)为本发明编码后的局部放大图，图5(6)为HM15.0编码后的局部放大图；

图6是BasketballDrill序列第15帧的图像及局部放大图，其中，图6(1)为原始图像，图6(2)为本发明编码26448bits,PSNR为38.6716的图像，图6(3)为HM15.0编码26880bits,PSNR为38.6613的图像，图6(4)为原始图像局部放大图，图6(5)为本发明编码后的局部放大图，图6(6)为HM15.0编码后的局部放大图；

图7是FourPeople序列第6帧的图像及局部放大图，其中，图7(1)为原始图像，图7(2)为本发明编码1328bits,PSNR为39.4392的图像，图7(3)为HM15.0编码1440bits,PSNR为39.4170的图像，图7(4)为原始图像局部放大图，图7(5)为本发明编码后的局部放大图，图7(6)为HM15.0编码后的局部放大图。

图5～7均是QP＝25时，本发明方法与HM15.0方法编码后重建图像的对比结果。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

为了提高视频的主观质量，本发明考虑亮度和运动强度对人眼视觉感知的影响，公开了一种融合视觉感知特性的HEVC码率控制方法，流程如图1所示，具体按照以下步骤进行：

第一步：进行GOP层码率控制初始化。

第二步：进行帧层码率控制初始化，判断当前帧f_n是否为I帧，若是，则编码I帧，然后进入第七步；若不是，则进入第三步。

第三步：首先，读取当前帧f_n亮度分量和参考帧f_n-1的亮度分量。N为当前编码帧中LCU的个数，Y_i(x,y)和Y_i′(x,y)分别为当前帧和前一帧的第i(i＝0,1,2ΛN-1)个LCU在(x,y)位置处的亮度值。计算当前帧中每个LCU的亮度均值

${\stackrel{\‾}{Y}}_i=\frac{\underset{y=0}{\overset{H-1}{\Σ}}\underset{x=0}{\overset{W-1}{\Σ}}{Y}_i(x,y)}{H\×W}---\left(1\right)$

其中，H和W分别表示当前LCU的高度和宽度。

进而计算当前帧中每个LCU的亮度感知权重L_i(i＝0,1,2L N-1)：

其次，计算当前帧中每个LCU的帧间亮度差D_i(i＝0,1,2ΛN-1)：

$D_i=\underset{y=0}{\overset{H-1}{\Σ}}\underset{x=0}{\overset{W-1}{\Σ}}|Y_i(x,y)-Y_i^{\′}(x,y)|---\left(3\right)$

其中，H和W分别表示当前LCU的高度和宽度。

进而计算当前帧中每个LCU的运动感知权重M_i(i＝0,1,2ΛN-1)：

$M_i=\frac{1.0}{1.0+\frac{D_s}{D_i}}---\left(4\right)$

其中，D_s为：

$D_s=\underset{i=1}{\overset{N}{\Σ}}{D}_i---\left(5\right)$

最后，计算当前帧中每个LCU的比特分配权重ω_i(i＝0,1,2L N-1)：

ω_i＝L_i×M_i (6)

并对ω_i做归一化处理：

${\mathrm{\ω}}_i^{\′}=\frac{{\mathrm{\ω}}_i}{\underset{i=1}{\overset{N}{\Σ}}{\mathrm{\ω}}_i}---\left(7\right)$

第四步：进行LCU层码率控制初始化。

第五步：为当前LCU分配目标比特，计算公式如下：

B_i＝R×ω′_i (8)

其中，R为当前编码帧的目标比特。

为了提高本发明方法的率失真性能，对当前LCU的拉格朗日乘子λ_HM15.0进行修正：

λ_new＝λ_HM15.0×K_λ (9)

其中，K_λ定义为：

由于λ改变，不仅会影响率失真性能，还会引起QP的变化，进而影响码率控制的准确性。在HM15.0中的R-λ模型下：

QP_HM15.0＝4.2005lnλ_new+13.7122＝QP_{T arget}+4.2005lnK_λ (11)

其中，QP_{T arget}为使当前LCU的实际码率达到目标码率所对应的量化参数。

因此，为保证码率控制的准确性基本不变，对当前LCU的量化参数进行修正：

QP_new＝QP_{T arget}＝QP_HM15.0-4.2005ln K_λ (12)

第六步：判断当前LCU是否为当前编码帧中的最后一个LCU，若是，进入第七步；若不是，则读取下一个LCU，然后返回第四步。

第七步：判断当前编码帧是否为GOP的最后一帧，若是，则结束；若不是，则读取下一帧，然后返回第二步。

本发明的原理如下：

已有研究表明，人眼对于亮度具有感知差异性。当亮度较高或者较低时，人眼对亮度的感知度较低，但是在一定的亮度区域内，人眼对亮度的感知度较高。在背景亮度敏感阈值曲线(如附图3)中，纵坐标表示人眼对亮度的感知门限值，其值越小，表示人眼的敏感度越高。本发明方法将人眼感知度较高的亮度范围(75，125)的感知权重设置为1.0，据此计算每个LCU的亮度感知权重L_i(i＝0,1,2L N-1)(见式2)。

人眼往往对视频序列中的运动区域关注程度更高，运动区域的运动强度可用该区域运动矢量的模来衡量。本发明方法用当前LCU的运动矢量的模与当前编码帧中所有LCU运动矢量的模之和的比值来表示当前LCU的运动强度F，定义单位运动矢量的模为64像素。令S表示LCU的帧间亮度差D_i(见式3)与当前编码帧的帧间亮度差D_s(见式5)的比值。经实验证明，F和S之间存在对数函数关系，如附图4所示：

F≈lnS

因此，可以用帧间亮度差来描述运动强度。帧间亮度差越大，运动强度越强，人眼的关注度则越高，视觉敏感度就越高。据此，计算每个LCU的运动感知权重M_i(i＝0,1,2ΛN-1)：

$M_i^{\′}=ln\frac{D_i}{D_s}$

对M′_i做对数归一化操作：

$M_i=\frac{1}{1+e^{-M_i^{\′}}}=\frac{1}{1+\frac{D_s}{D_i}}$

综上所述，人眼的视觉敏感度受亮度和运动影响，因此，可以由亮度与运动强度联合指导LCU层的码率分配。

本发明融合视觉感知的码率控制方法与HEVC(HM15.0)中的码率控制方法进行比较，编码性能统计结果见表1，编码后视频的主观质量对比图见附图5～7。

编码环境配置为：

HEVC国际标准编码算法版本HM15.0，

量化步长QP：分别选取25，30，35，40；

编码结构GOP为IBBB；

LCU尺寸：64×64；

编码长度：50帧；

标准测试序列：选取3种不同分辨率下(416×240、832×480、1280×720)的6种国际标准测试序列(BQSquare,BlowingBubbles,BasketballDrill,PartyScene,FourPeople,KristenAndSara)；

编码性能统计方法：采用国际通用标准BDBR(delta bitrate,BDBR)衡量编码率失真性能，用E表示码率控制的准确性，E的计算公式如下：

$E=\frac{\left|{\mathrm{bits}}_{RC}-{\mathrm{bits}}_{T\arg et}\right|}{{\mathrm{bits}}_{T\arg et}}\×100\%$

其中，bits_RC为实际编码码率，bits_{T arget}为目标码率。

表1统计结果表明，本发明的码率控制方法与HM15.0的码率控制方法相比，码率控制的准确性降低了0.16％，但率失真性能与视频的主观质量均有提升。针对多类型、不同分辨率的测试序列，在同等视频重建图像质量下平均节省了0.4％的码率，提高了HEVC的编码性能，对于亮度变化均匀且运动对象较背景区域区分明显的视频序列，编码性能的提高更加显著。附图5～7表明，在峰值信噪比(Peak Signal to Noise Ratio,PSNR)基本相同的情况下，经本方法编码后的视频图像更加接近原始图像，具有更好的主观质量。以上实验统计数据证明了本发明提出的融合视觉感知特性的码率控制方法的合理性和有效性。

表1本发明方法与HEVC(HM15.0)的编码性能比较

注：为本发明与HM15.0在QP＝25，30，35，40编码下E的均值的差。

Claims (2)

1.一种融合视觉感知特性的码率控制方法，其特征在于，包括以下步骤：

第一步：进行GOP层码率控制初始化；

第二步：进行帧层码率控制初始化，判断当前帧f_n是否为I帧，若是，则编码I帧，然后进入第七步；若不是，则进入第三步；

第三步：首先，根据当前帧f_n的亮度分量和参考帧f_n-1的亮度分量，计算当前帧中每个LCU的亮度均值其中，N为当前编码帧中LCU的个数，进而计算当前帧中每个LCU的亮度感知权重L_i(i＝0,1,2L N-1)：

其次，计算当前帧中每个LCU的帧间亮度差D_i(i＝0,1,2ΛN-1)，进而计算当前帧中每个LCU的运动感知权重M_i(i＝0,1,2L N-1)：

$M_i=\frac{1.0}{1.0+\frac{D_s}{D_i}}$

其中，D_s为：

$D_s=\underset{i=1}{\overset{N}{\Σ}}{D}_i$

最后，计算当前帧中每个LCU的比特分配权重ω_i(i＝0,1,2L N-1)：

ω_i＝L_i×M_i

并对ω_i做归一化处理：

${\mathrm{\ω}}_i^{\′}=\frac{{\mathrm{\ω}}_i}{\underset{i=1}{\overset{N}{\Σ}}{\mathrm{\ω}}_i}$

第四步：进行LCU层码率控制初始化；

第五步：为当前LCU分配目标比特，计算公式如下：

B_i＝R×ω′_i

其中，R为当前编码帧的目标比特。

第六步：判断当前LCU是否为当前编码帧中的最后一个LCU，若是，则进入第七步；若不是，则读取下一个LCU，然后返回第四步；

第七步：判断当前编码帧是否为GOP的最后一帧，若是，则结束；若不是，则读取下一帧，然后返回第二步。

2.如权利要求1所述的融合视觉感知特性的码率控制方法，其特征在于，在所述第五步中，为了提高本发明方法的率失真性能，对当前LCU的拉格朗日乘子λ_HM15.0进行修正：

λ_new＝λ_HM15.0×K_λ

其中，K_λ定义为：

由于λ改变，不仅会影响率失真性能，还会引起量化参数(Quantization Parameter,QP)的变化，进而影响码率控制的准确性。在HM15.0中的R-λ模型下：

QP_HM15.0＝4.2005lnλ_new+13.7122＝QP_Target+4.2005lnK_λ

其中，QP_Target为使当前LCU的实际码率达到目标码率所对应的量化参数。

因此，为保证码率控制的准确性基本不变，对当前LCU的量化参数进行修正：

QP_new＝QP_Target＝QP_HM15.0-4.2005 lnK_λ。