CN108063944B - 一种基于视觉显著性的感知码率控制方法 - Google Patents

Abstract

本发明提供了一种基于视觉显著性的感知码率控制方法，涉及视频技术领域，本发明计算每个像素点的显著值并计算LCU的显著值，将LCU的显著值作为该LCU失真的权重，之后计算λ，并由λ计算QP。由于采用了视觉显著性作为权重进行码率分配，显著区域的PSNR得到提高，使得重建视频显著区域的主观质量更好，本发明码率失配较低；显著区域的PSNR得到提高，显著区域的主观质量得到提高；非显著区域的PSNR略有下降，但由于人眼对非感兴趣区域的关注程度较低，所以非显著区域的主观质量改变基本可以忽略。

Description

一种基于视觉显著性的感知码率控制方法

技术领域

本发明涉及视频技术领域，尤其是一种感知码率控制方法

背景技术

新一代高效视频编码HEVC(High Efficiency Video Coding)是最新的视频编码标准。码率控制就是通过选择一系列的编码参数，使视频编码后的实际码率满足目标码率的限制，并且使编码失真最小。HEVC的码率控制算法由比特分配和量化参数确定两部分组成，其中，确定量化参数是码率控制算法的核心。比特分配采用分级策略为不同级别的编码单元分配比特。量化参数QP(Quantization Parameter)由R-λ模型的λ直接确定，R-λ模型即λ＝α·R^β，α和β是与输入视频内容相关的编码参数，R表示码率，λ的物理意义为rate-distortion(R-D)曲线的负斜率。R-λ模型是HEVC码率控制算法中的一个非常重要的模型，λ的值是获得优化参数的关键。λ的值用于率失真优化，码率控制和率失真优化过程无依赖关系且λ可取小数，它解决了以往R-Q模型中蛋鸡悖论以及QP为整数存在误差等问题，使得码率控制更为精确，比特波动更小。但HEVC利用R-λ模型进行最大编码单元LCU(LargestCoding Unit)级比特分配时未考虑人眼视觉系统，如图像的颜色、亮度、纹理等信息，由于视频客观质量曲线与主观质量曲线严重不合，所以未考虑人眼视觉系统的码率控制算法重建视频主观质量不一定好。

当前的HEVC码率控制算法主要提高视频的客观质量而未考虑主观质量。ShengxiLi等人提出了一种编码树单元CTU(Coding Tree Unit)级的最优比特分配方法。他们提出了一种新的R-D估计算法代替现有的R-λ模型，并提出了一种递归泰勒展开式方法迭代求解，得到近似的封闭解，从而达到最优比特分配。该方法的优点是收敛速度快，计算时间短，但在编码时未考虑人眼视觉系统。Kim M等人针对HEVC在进行码率控制时未考虑人眼视觉系统中的图像纹理结构这一问题，提出了一种基于纹理和非纹理模型的帧级码率控制方法。由于HEVC的编码结构更加复杂，不同深度水平编码单元CU(Coding Unit)的变换残差统计特征显著不同。该方法利用转换残差将CU分为三类，分别为低纹理CU、中纹理CU和高纹理CU，在进行码率控制时对这三类CU采用不同的处理方法。实验结果表明该方法在信号特征突变时表现得更出色，该方法的缺点是在进行码率控制时未考虑图片的颜色、亮度等信息。

视觉显著性指智能算法通过模拟人眼视觉特点，标注图片的显著区域。Seo等人2009年在期刊《Journal of Vision》上发表的文章《Static and space-time visualsaliency detection by self-resemblance》中提出了一种视觉显著性模型，该模型即可用于时间域的计算，又可用于空间域的计算。

现有码率控制技术已经取得了很多成果，但现有技术仍不能很好地满足人眼视觉系统，还有待进一步研究。

发明内容

为了克服现有技术的不足，本发明提出一种基于视觉显著性的感知码率控制算法VSPRC(Visual Saliency Based Perception Rate Control Algorithm)，VSPRC算法中引入视觉显著性作为判断图像区域显著程度的方法。本发明计算每个像素点的显著值并计算LCU的显著值，将LCU的显著值作为该LCU失真的权重，之后计算λ，并由λ计算QP。

本发明解决其技术问题所采用的技术方案包括以下步骤：

第一步：计算像素点及LCU的显著值

采用显著性模型计算视频帧中像素点的显著值并进一步得到LCU的显著值，详细步骤如下：

①计算像素点的显著值：

第pi个像素点的显著值使用如下公式计算：

其中，SP_pi为第pi个像素点的显著值；F_pi表示第pi个像素点的特征矩阵，为中心特征矩阵；F_pj表示像素点pi周围相邻像素点pj的特征矩阵，为邻域特征矩阵，ρ(F_pi,F_pj)是矩阵余弦相似度，为F_pi和F_pj的弗罗贝纽斯内积；Num是中心特征矩阵和邻域特征矩阵的个数之和，σ是局部权重参数，SP_pi的值域为[0,1]；

②计算LCU的显著值：

由公式(1)得到像素点的显著值，LCU的显著值用该LCU所有像素点的显著值之和表示，设LCU中第pi个像素点的坐标为(m，n)，LCU的显著值用公式(2)进行计算；

其中，S_i表示按编码顺序的第i个LCU的显著值；SP_pi表示第i个LCU中像素坐标为(m，n)的像素点显著值，W表示LCU的宽度，H表示LCU的高度；

第二步：计算基于视觉显著性的加权失真

首先估算第i个LCU的失真D_i，再引入第i个LCU的显著值S_i作为权重对D_i进行有侧重的考量；

失真D_i用原始像素值和重建像素值之间的均方误差(Mean Square Error，MSE)表示，本发明用R-λ模型进行估算，估算方法如公式(3)所示：

其中，α和β为和输入视频内容相关的参数，α和β的初始值设置及更新方法通过HEVC参考软件获得，将第i个LCU的显著值S_i作为D_i的权重，得到基于视觉显著性的加权失真，λ_i表示第i个LCU的λ，如公式(4)所示：

D_iweight＝S_i·D_i (4)

其中，D_iweight表示第i个LCU的加权失真；

第三步：计算λ_i

失真加权后的率失真优化表示为：

其中，n_i表示第i个LCU包含的像素数，N表示一帧图片中LCU的个数，R为当前帧的目标码率，bpp_i表示第i个LCU的每像素消耗比特，其中bpp_i的计算方法如下：

λ_i用公式(7)进行计算：

第四步：计算量化参数

量化参数是码率控制的核心，根据第三步公式(7)所得的λ_i计算第i个LCU的量化参数QP_i，计算方法如下：

QP_i＝4.2005lnλ_i+13.7122 (8)

通过λ_i确定QP_i，即可实现码率控制的目标。

本发明的有益效果是由于采用了视觉显著性作为权重进行码率分配，VSPRC算法与HM-13.0中的码率控制算法相比，显著区域的PSNR得到提高，使得重建视频显著区域的主观质量更好，作为代价非显著区域的PSNR略有下降，但人眼对非显著区域关注程度低，所以重建视频非显著区域的主观质量改变基本可以忽略。本发明码率失配较低；显著区域的PSNR得到提高，显著区域的主观质量得到提高；非显著区域的PSNR略有下降，但由于人眼对非感兴趣区域的关注程度较低，所以非显著区域的主观质量改变基本可以忽略。

附图说明

图1是本发明VSPRC算法的流程图。

图2是本发明中心+邻域特征矩阵示意图。

图3是本发明BasketballDrill显著图及区域划分，图3(a)是第9帧RGB图，图3(b)是根据公式(1)计算的显著值，图3(c)为显著区域和非显著区域，其中，白色区域为显著区域，黑色区域为非显著区域。

图4是本发明Kimono1_1920x1080_24序列中的第20帧主观质量对比，图4(a)为HM-13.0算法重建视频帧，图4(b)为本发明算法重建视频帧，图4(c)为HM-13.0算法人脸部分，图4(d)为本发明算法人脸部分。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

在HEVC参考软件HM-13.0中测试VSPRC算法，并与HM-13.0的码率控制算法性能进行对比。选取BQSquare、ParkScene、PartyScene这3个序列进行码率失配的测试，选取BlowingBubbles、Cactus、Kimono1、ParkScene、PartyScene、PeopleOnStreet、RaceHorses、RaceHorsesC、Traffic这9个官方视频序列进行PSNR的测试。对每个序列设定了若干不同的目标码率进行比较，编码结构采用Low Delay编码结构。对两种算法的实际码率以及PSNR进行统计。

本发明包括以下步骤：

第一步：计算像素点及LCU的显著值

本发明采用显著性模型计算视频帧中像素点的显著值并进一步得到LCU的显著值，详细步骤如下：

①计算像素点的显著值：

本发明采用背景技术中提到的Seo等人的视觉显著性模型计算像素点的显著值。第pi个像素点的显著值使用如下公式计算：

其中，SP_pi为第pi个像素点的显著值；F_pi表示第pi个像素点的特征矩阵，为中心特征矩阵；F_pj表示像素点pi周围相邻像素点pj的特征矩阵，为邻域特征矩阵，ρ(F_pi,F_pj)是矩阵余弦相似度，为F_pi和F_pj的弗罗贝纽斯内积；Num是中心特征矩阵和邻域特征矩阵的个数之和，σ是局部权重参数，根据Seo等人的模型，σ取0.07，SP_pi的值域为[0,1]，SP_pi越接近1表示显著性越强。

②计算LCU的显著值：

由公式(1)得到像素点的显著值，LCU的显著值用该LCU所有像素点的显著值之和表示，设LCU中第pi个像素点的坐标为(m，n)，那么LCU的显著值用公式(2)进行计算；

其中，S_i表示按编码顺序的第i个LCU的显著值；SP_pi表示第i个LCU中像素坐标为(m，n)的像素点显著值，W表示LCU的宽度，H表示LCU的高度；

第二步：计算基于视觉显著性的加权失真

首先估算第i个LCU的失真D_i，再引入第i个LCU的显著值S_i作为权重对D_i进行有侧重的考量；

失真D_i用原始像素值和重建像素值之间的均方误差(Mean Square Error，MSE)表示，本发明用R-λ模型进行估算，估算方法如公式(3)所示：

其中，α和β为和输入视频内容相关的参数，α和β的初始值设置及更新方法通过HEVC参考软件获得，将第i个LCU的显著值S_i作为D_i的权重，得到基于视觉显著性的加权失真，λ_i表示第i个LCU的λ，如公式(4)所示：

D_iweight＝S_i·D_i (4)

其中，D_iweight表示第i个LCU的加权失真；

第三步：计算λ_i

失真加权后的率失真优化表示为：

其中，n_i表示第i个LCU包含的像素数，N表示一帧图片中LCU的个数，R为当前帧的目标码率，bpp_i表示第i个LCU的每像素消耗比特，其中bpp_i的计算方法如下：

λ_i用公式(7)进行计算：

第四步：计算量化参数

量化参数是码率控制的核心，根据第三步公式(7)所得的λ_i计算第i个LCU的量化参数QP_i，计算方法如下：

QP_i＝4.2005lnλ_i+13.7122 (8)

通过λ_i确定QP_i，即可实现码率控制的目标。

本发明提出的VSPRC算法的流程如图1所示，主要内容概括为：计算了像素点和LCU的显著值，将LCU的显著值作为该LCU失真的权重，之后计算λ，并由λ计算QP，进行编码。

实验结果采用码率失配以及显著区域及非显著区域的PSNR对算法性能进行评估。根据每一LCU的显著值来对其进行显著区域和非显著区域的划分，划分步骤分为两步：

1)将输入待编码视频序列的每一帧图像所有LCU显著值的和进行降序排序。

2)确定阈值，本发明的阈值选择为降序排序中1/4处位置的值，大于该阈值LCU的为显著区域，小于该阈值LCU的为非显著区域。

图2是本发明中心+邻域特征矩阵示意图。图3是本发明BasketballDrill显著图及区域划分，图3(a)是第9帧RGB图，图3(b)是根据公式(1)计算的显著值，图3(c)为显著区域和非显著区域，其中，白色区域为显著区域，黑色区域为非显著区域。

码率失配(bit rate error，BRE)为目标码率和实际使用码率的相对误差，计算方法如(9)所示，显著区域的PSNR用PSNR-S表示，计算如(10)所示，非显著区域的PSNR用PSNR-N表示，计算如(11)所示：

其中，R_target和R_Actual分别表示给定目标码率和实际使用码率，MSE_S和MSE_N分别表示显著区域和非显著区域的均方误差；

表1LD编码结构下的BRE对比结果

(Target Bit单位为kbps,BRE(％)，ΔBRE＝BRE_proposed-BRE_HM(％))

表2：PSNR对比结果

(目标码率，单位(kpbs)，PSNR-R、PSNR-N单位(dB))

码率失配的测试结果如表1所示，HM-13.0码率控制算法的码率失配平均为0.266％，而VSPRC算法的码率失配平均为0.156％，VSPRC算法将码率失配控制在了0.5％以内。从Avg2的数据可以看出，这三个序列相比HM-13.0的编码失配都有降低，所以VSPRC算法性能较为稳定。

PSNR对比结果如表2所示，VSPRC算法相比HM-13.0码率控制算法，参加对比的9个视频序列△PSNR-N均略有下降，但△PSNR-R均有所提升，VSPRC算法性能较为稳定。相比HM-13.0码率控制算法，VSPRC算法的△PSNR-N平均降低了0.5563dB，△PSNR-R平均提升了0.4621dB。本发明提出的VSPRC算法在PSNR-N略有降低的情况下提高了PSNR-R。因此，VSPRC算法有一定优势。

图4为官方测试序列Kimono1_1920x1080_24中的第20帧主观质量对比，图4(a)为HM-13.0算法重建视频帧，图4(b)为本发明算法重建视频帧，图4(c)为HM-13.0算法人脸部分，图4(d)为本发明算法人脸部分，可以看出本发明提出的VSPRC算法第20帧人脸部分尤其是鼻子部分的处理较HM-13.0算法第20帧人脸部分尤其是鼻子部分更为精细，同时背景部分的主观质量几乎无改变。

Claims (1)

1.一种基于视觉显著性的感知码率控制方法，其特征在于包括下述步骤：

第一步：计算像素点及LCU的显著值

采用显著性模型计算视频帧中像素点的显著值并进一步得到LCU的显著值，详细步骤如下：

①计算像素点的显著值：

第pi个像素点的显著值使用如下公式计算：

其中，SP_pi为第pi个像素点的显著值；F_pi表示第pi个像素点的特征矩阵，为中心特征矩阵；F_pj表示像素点pi周围相邻像素点pj的特征矩阵，为邻域特征矩阵，ρ(F_pi,F_pj)是矩阵余弦相似度，为F_pi和F_pj的弗罗贝纽斯内积；Num是中心特征矩阵和邻域特征矩阵的个数之和，σ是局部权重参数，SP_pi的值域为[0,1]；

②计算LCU的显著值：

由公式(1)得到像素点的显著值，LCU的显著值用该LCU所有像素点的显著值之和表示，设LCU中第pi个像素点的坐标为(m，n)，LCU的显著值用公式(2)进行计算；

其中，S_i表示按编码顺序的第i个LCU的显著值；SP_pi表示第i个LCU中像素坐标为(m，n)的像素点显著值，W表示LCU的宽度，H表示LCU的高度；

第二步：计算基于视觉显著性的加权失真

首先估算第i个LCU的失真D_i，再引入第i个LCU的显著值S_i作为权重对D_i进行有侧重的考量；

失真D_i用原始像素值和重建像素值之间的均方误差(Mean Square Error，MSE)表示，该方法用R-λ模型进行估算，估算方法如公式(3)所示：

其中，α和β为和输入视频内容相关的参数，α和β的初始值设置及更新方法通过HEVC参考软件获得，将第i个LCU的显著值S_i作为D_i的权重，得到基于视觉显著性的加权失真，λ_i表示第i个LCU的λ，如公式(4)所示：

D_iweight＝S_i·D_i (4)

其中，D_iweight表示第i个LCU的加权失真；

第三步：计算λ_i

失真加权后的率失真优化表示为：

其中，n_i表示第i个LCU包含的像素数，N表示一帧图片中LCU的个数，R为当前帧的目标码率，bpp_i表示第i个LCU的每像素消耗比特，其中bpp_i的计算方法如下：

λ_i用公式(7)进行计算：

第四步：计算量化参数

量化参数是码率控制的核心，根据第三步公式(7)所得的λ_i计算第i个LCU的量化参数QP_i，计算方法如下：

QP_i＝4.2005lnλ_i+13.7122 (8)

通过λ_i确定QP_i，进行编码从而实现码率控制。

Images