CN112752102A - 一种基于视觉显著性的视频码率分配方法 - Google Patents

Abstract

本发明公布了一种基于视觉显著性的视频码率分配方法，建立时域相关性的视觉显著性模型；采用基于显著性的码率分配算法和基于显著性区域质量一致性的窗口权重平滑算法，得到调整后的显著性权重；再根据调整后的显著性权重指导CTU级码率分配算法，由此实现视频码率分配。本发明提供的技术方案充分考虑人眼视觉机制以及显着性区域的质量一致性，能够在视频中检测出人眼关注的区域并且加入了显著性区域的连续性，最终在码率分配上依照显著性权重分配码率使得有效地提升显著性区域质量和提升主观质量。

Description

一种基于视觉显著性的视频码率分配方法

技术领域

本发明属于图像、视频编码技术领域，涉及视频编码的码率分配技术，尤其涉及一种基于视觉显著性的视频码率分配方法。

背景技术

码率控制是视频编码中的一项关键技术，主要负责工作为在有限的带宽下，尽可能的利用带宽大小去适应压缩视频质量，在传输压缩编码视频的时候，必须要考虑两个问题，视频质量和传输带宽，如果带宽大，需要尽可能传输质量更好的视频；如果带宽低，则需要提高压缩比，减小码流。与此同时，我们希望尽可能的得到高清晰的还原图像，所以在能接受的视频质量范围内对视频尽可能的压缩来提高带宽利用率。码率控制亦可细分为码率分配和码率控制；码率分配采用分层结构的方式依照GOP级、帧级、CTU级分配，其码率控制负责控制已分配完的码率，进行视频压缩，句柄率是否符合带宽的限制。目前主流的码率分配模型中对CTU级码率分配采用平均绝对差(MAD)的方法，是依照对于CTU中的原始像素和预测像素的残差决定MAD的大小，然而这种优化方法可能忽略了人类视觉感知的一些重要特征，比如视频中的背景树木、草地，并不是人眼所关注的内容，但这些背景区域往往会使得码率分配过高，导致人眼感兴趣区域的失真增加和主观质量下降等影响。

文献[1]中记载的方法，藉由视觉显著性算法指导RDO求解帧级的拉格朗日乘子，从而控制帧级的码率分配，并在原有码率分配模型上建立显著性算法指导CTUs级目标码率分配。但是，该方法只考虑了当前帧的码率分配，并未考虑到帧间的相关性，建立在利用复杂度和显著性权重平均的码率分配算法上，并未能完全反映人眼视觉注意特征。

参考文献：

[1]L.Bai,L.Song,R.Xie,J.Xie,and M.Chen,“Saliency based rate controlscheme for high efficiency video coding,”Asia-Pacific Signal and InformationProcessing Association Annual Summit and Conference(APSIPA),Jeju,South Korea,pp.1–6,Dec.2016

[2]D.Sun,S.Roth,and M.Black,“Secrets of optical flow estimation andtheir principles,”IEEE Conference on Computer Vision and Pattern Recognition(CVPR),San Francisco,CA,USA,pp. 2432-2439,Jun.2010.

[3]L.Zhang,L.Zhang,X.Mou,and D.Zhang,“FSIM:a feature similarity indexfor image quality assessment,”IEEE Trans on Image Processing(TIP),vol.20,no.8,pp.2378-2386,Jan.2011.

[4]A.R.Robertson,“The CIE 1976color-difference formulae,”ColorRes.Appl.,vol.2,no.1, pp.7–11,Spring 1977.

[5]B.Li,H.Li,L.Li,and J.Zhang,“Rate control by R-lambda model forHEVC”.Proceedings of the 11th JCTVC Meeting[C].2012.

发明内容

为了克服上述现有技术的不足，本发明提供一种基于视觉显著性的码率分配方法，是一种反映人眼注意力特征的码率分配算法。首先提出一种改进的视觉显著性检测算法，将时域关联性引入二维视觉注意模型中。其次提出了一种基于视觉显著性的CTU级码率分配算法。同时考虑显著性区域间的质量一致性，提出了一种基于窗口的权重平滑模型，以获得更好的主观质量。本发明主要解决在码率分配有限带宽下，由于主流的码率分配模型是依照每个CTUs 的MAD大小来分配码率，并未能反映人眼视觉特征，藉由本发明的码率分配算法能够在现有的码率资源下，分配于人眼所关注的区域，进而提升其主观质量。

本发明包括的缩略语和关键术语定义如下：

SAs:Saliency Areas(显著性区域)

MAD:Mean Absolute Difference(平均绝对差)

CTU:Coding Tree Unit(编码树单元)，视频的每一帧包含了多个CTU

GOP:Ground of picture(图像组)

HVS:Human Visual System(人眼视觉系统)

RDO:Rate Distortion Optimization(率失真优化)。

本发明方法针对待处理的视频，引入时域相关性的视觉显著性模型、基于显著性的码率分配算法和考虑显著性区域质量一致性的窗口权重平滑算法。视频序列输入后，通过建立视觉显著性模型提取显著性区域，利用显著性区域的权重采用质量平滑算法平滑调整后的显著性权重，最后由调整后的显著性权重指导CTU级码率分配算法。现有方法只提取色度及纹理信息，而本发明考虑了视频的特性，增加了动量特征，并使用光流算法提取得到动量特征。

本发明提供的技术方案是：

一种基于视觉显著性的视频码率分配方法，建立时域相关性的视觉显著性模型，采用基于显著性的码率分配算法和考虑显著性区域质量一致性的窗口权重平滑算法，采用调整后的显著性权重指导CTU级码率分配算法，由此进行基于视觉显著性的视频码率分配；包括如下步骤：

1)建立视觉显著性模型，包括对于静态特征和动态特征的提取模型，得到视频的视觉显著值；

HVS所关注的区域包括HVS对于静态的注意力特征和HVS的动态特征；本发明从这两种特征中提取视频中人眼所关注的区域，需要通过改进视觉显著性模型进而指导视频编码。

基于传统的视觉显著性模型是建立于图像上的特征提取，对于纹理和色度对比来提取视觉显着区域，这些特征仅限于当前帧上，但应用于视频序列中，还需要考虑到当前帧和下一帧的关系。

对于帧间特征信息，基于当前帧与下一帧的连续关系，本发明采用光流算法提取动量特征，通过公式(1)进行计算：

S_final＝S_color·ω_color+S_tex·ω_tex+f_inter·g·ω_inter (1)

其中，S_final为得到的显著值；f_inter(u，v)表示当前帧与下一帧的光流特征值((动态特征))，其中u和v表示为当前帧f_cur和下一帧f_next估计的水平和垂直光流场，i和j代表像素位置，λ是调节参数，ρ_D和ρ_S表示为数据和空间的惩罚函数，相关细节可参考文献[2]，S_final表示为最终像素显著值，S_color和S_tex为色度及纹理的显著值，相关细节可参考文献[3]-[4]，ω_color、ω_tex和ω_inter代表色度、纹理、帧间的权重，g为滤波转换函数。

2)采用显著性区域质量一致的窗口平滑算法，基于相邻帧之间的关联性，将步骤1)得到的当前帧的像素显著值依照CTU的尺寸大小转化为若干个CTU尺寸的显著值，再通过归一化转换为显著性权重，最后通过平滑调整后得到平滑后的显着性权重；本发明具体实施时，将得到的当前帧的像素显著值依照CTU尺寸为64×64大小的尺寸累加，形成一块64×64的CTU的像素显著值总和。

对于人眼感知来说，虽然每个CTU都需要良好的视频编码质量，考虑到HVS的主观质量，对于相邻帧之间的同一位置的CTU也应该强调质量一致性。除此之外，需要考虑相邻帧之间显著性区域SAs的CTUs编码视觉质量一致性，时域上相邻的显著性区域一般更容易引起人眼的视觉注意，因此，需要考虑到这些区域的主观质量一致性，获得更好的主观压缩性能。

为了减少这些相邻帧之间SAs的CTUs的主观质量差异，在考虑SAs连续性的基础上，本发明建立基于窗口的权重平滑模型。具体如下：

将窗口大小定义为M，对于当前帧中的CTU，其最终显著性权重受未来帧的CTUs的影响大，公式(2)分别表示每一个CTU的显著性权重以及经平滑调整后的最终显著性权重：

其中，Sw_CTU为每一个CTU的显著性权重，其

为最终每一个像素的显著值，(i，j) 为像素的坐标位置，N_CTU为CTU内的像素个数总合，

表示为最终调整于码率分配的权重，其中k是当前帧的位置号，m是未来帧的位置号，M为平滑窗口大小，f是未来帧对当前帧相对位置的权重，表达意思为对当前帧的CTUs相隔帧距离越近则值越大，越远则越小，根据实验结果可将其f分别设置为1、0.75、0.5、0.25。

3)通过步骤2)得到的平滑后的显著性权重，采用基于显著性的码率分配算法，进行 CTU级码率分配；

利用上述的方法得到最终显著性权重(平滑后的显著性权重)，可以通过平滑后的显著性权重维持SAs区域的主观质量一致性，再通过编码器中的码率分配给SAs，显著区域是人眼所关注的区域，可表示为感知敏感区域，对这区域的失真较为敏感，对SAs需分配较多码率；反之感知不敏感区域(即除显著区域之外的区域)可容许较大的失真，码率则可以分配较少；基于显著性权重的CTU级码率分配表示为公式(3)：

其中，

为当前CTU的目标码率，T_curPic为当前帧分配码率，Coded_Pic为已编码的码率，

为当前帧分配的码率扣掉已编码的码率为当前帧剩余的码率表示为可应用的码率，具体可采用现有方法取得，可参考文献[5]，

表示为平滑后的显著性权重，从上式中可得知显著权重越大则分配码率则越多。

通过上述步骤，实现基于视觉显著性的视频码率分配。

与现有技术相比，本发明的有益效果是：

本发明技术方案充分考虑了人眼视觉机制以及显着性区域的质量一致性，能够在视频中检测出人眼关注的区域并且加入了显著性区域的连续性，最终在码率分配上依照显著性权重分配码率使得有效地提升显著性区域质量和提升主观质量。

1)采用基于时域连续性的视觉显著性检测算法，考虑了当前帧的基本特征外并加入了下一帧相关性，即采用时域连续性视觉检测性方案；

2)考虑了显著性区域的质量一致性，提出了基于窗口的显著性权重平滑算法，以助于提升显著性区域主观质量的一致性。

附图说明

图1为本发明提供的基于视觉显著性的码率分配方法的流程框图。

图2是本发明实施例中的视觉显著性图。

图3是本发明实施例中当前帧与下一帧的显著示意图。

图4是本发明实施例中进行权重平滑的示意图。

具体实施方式

下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。

本发明提供一种基于视觉显著性的码率分配方法，建立时域相关性的视觉显著性模型，采用基于显著性的码率分配算法和考虑显著性区域质量一致性的窗口权重平滑算法，采用调整后的显著性权重指导CTU级码率分配算法，由此进行基于视觉显著性的码率分配。

本发明方法主要流程如图1所示。从图1可以看到。视频序列输入后，透过视觉显著性模型提取显著性区域即P1，在P2中引用显著性区域的权重进行质量平滑算法，最后由P3把调整后的显著性权重指导CTU级码率分配算法(每帧包含若干个CTU)。

具体实施时，对于动作场景多、色度对比较大的视频数据，采用本发明基于视觉显著性的码率分配方法进行码率分配，包括如下步骤：

1)建立视觉显著性模型

本发明可分为对静态特征提取和动态特征提取，并针对提取的特征建立视觉显著性模型， HVS所关注的区域大多数为与背景区域有着色度强烈对比的，而背景区域多半为色度对比较为单调且连续的面积，并不是人眼会特别留意的区域，此特性为HVS对于静态的注意力特征，另外，视频序列是因为人眼视觉疲乏的特性，对于高刷新率的图形，就像连续移动的物体一样，吸引人眼注意的往往是视频中动量较大的内容，对背景的注意度并没有特别留意，反之动量较大的区域较能吸引人眼注意，此特性可表示为HVS的动态特征，本发明从这两种特征中提取视频中人眼所关注的区域。为此我们需要改进视觉显著性模型进而指导视频编码。

基于传统的视觉显著性模型是建立于图像上的特征提取，对于纹理和色度对比来提取视觉显著区域，这些特征仅限于当前帧上，但应用于视频序列中，还需要考虑到当前帧和下一帧的关系，对此整体结构为图2所示。

对于帧间特征信息，基于当前帧与下一帧的连续关系，本发明采用光流算法提取动量特征，计算表示如公式(1)所示：

f_inter(u，v)＝∑_i，j{ρ_D(f_cur(i，j)-f_next(i+u_i，j，j+v_i，j))+λ[ρ_S(u_i，j-u_i+1，j)+

ρ_s(u_i，j-u_i，j+1)+ρ_s(v_i，j-v_i+1，j)+ρ_s(v_i，j-v_i，j+1)]}

S_final＝S_color·ω_color+S_tex·ω_tex+f_inter·g·ω_inter (1)

其中，f_inter表示为当前帧与下一帧的光流特征值，，其中u和v表示为当前帧f_cur和下一帧 f_next估计的水平和垂直光流场，i和j代表像素位置，λ是调节参数，ρ_D和ρ_S表示为数据和空间的惩罚函数，相关细节可参考文献[2]，S_final表示为最终像素显著值，S_color和S_tex为色度及纹理的显著值，ω_color、ω_tex和ω_inter代表色度、纹理、帧间的权重，g为滤波转换函数。

2)采用显著性区域质量一致的窗口平滑算法，得到平滑后的显著性权重；

透过步骤1得到的显著性权重后，考虑了相邻帧之间的关联性，对步骤1的显著性权重，依照相邻帧的距离对显著性权重进行加权平均，最后得到的结果为平滑后的显著性权重。对于人眼感知来说，虽然每个CTU都需要良好的视频编码质量，考虑到HVS的主观质量，对于相邻帧之间的同一位置的CTU也应该强调质量一致性，例如图3(a)和图3(b)所示，在测试序列 BasketballPass的当前帧和下一帧中，分别有一些标注为SAs的CTU。可以看出，在图3(b) 中，下一帧人物持球的CTUs被标记为显著性区域，但在图3(a)中相同位置的CTUs没有被标记为SAs，为此会造成当前帧的此位置的CTU码率分配不足，使得下一帧相同位置的CTU，进行帧间参考时，当前CTU的失真会传递到下一帧，可能导致的SAs失真累加，进而使得视频序列的SAs主观质量下降。除此之外，需要考虑相邻帧之间SAs的CTUs编码视觉质量一致性，时域上相邻的显著性区域一般更容易引起人眼的视觉注意，因此，需要考虑到这些区域的主观质量一致性，获得更好的主观压缩性能。

为了减少这些相邻帧之间SAs的CTUs的主观质量差异，在考虑SAs连续性的基础上，建立了基于窗口的权重平滑模型。图4(a)中黄色的CTUs是当前帧的SAs，在接下来的两帧中保持不变。当前帧的灰色区域在当前帧中并没有被检测为SAs，但视觉显着性模型对于未来帧相同位置的CTUs检测为SAs，如上述图3中解释其现象，在图4(a)中虚线灰色区域越深表示未来帧SAs的CTUs对当前帧相同位置的CTUs帧间模式参考影响越大为图4(b)和图4(c)，反之颜色越浅表示则越小，考虑了视频序列的SAs的质量一致性，需要对当前帧的SAs作权重平滑之调整。

将窗口大小定义为M，对于当前帧中的CTU，其最终显著性权重由未来帧的CTUs影响深远所示为公式(2)：

其中，Sw_CTU为每一个CTU的显著性权重，其

为最终每一个像素的显著值，(i，j) 为像素的坐标位置，N_CTU为CTU内的像素个数总合，

表示为基于窗口平滑后于码率分配的显著性权重，其中k是当前帧的位置号，m是未来帧的位置号，M为平滑窗口大小，f是未来帧对当前帧相对位置的权重，表达意思为对当前帧的CTUs相隔帧距离越近则值越大，越远则越小，根据实验结果将其f设置为1、0.75、0.5、0.25。

3)将步骤2)得到的平滑后的显著性权重进行CTU级率分配，实现基于视觉显著性的CTU 级码率分配

透过上述的方法得到最终显著性权重，以维持其SAs区域的主观质量一致性，最后透过编码器中的码率分配将其结果分配给SAs，显著区域是人眼所关注的区域可表示为感知敏感区域，对这区域的失真较为敏感，对SAs需分配较多码率，反之感知不敏感区域可容许较大的失真，码率则可以分配较少，对其表示为公式(3)

其中

为當前CTU的目标码率，T_curPic为当前帧分配码率，Coded_Pic为已编码的码率，∑_NotCodedSw_CTU为当前帧剩余的码率，

表示为平滑后的显著性权重，从上式中可得知显著权重越大则分配码率则越多。

需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (5)

1.一种基于视觉显著性的视频码率分配方法，其特征是，建立时域相关性的视觉显著性模型；采用基于显著性的码率分配算法和基于显著性区域质量一致性的窗口权重平滑算法，得到调整后的显著性权重；再根据调整后的显著性权重指导CTU级码率分配算法，由此实现视频码率分配；包括如下步骤：

1)建立视觉显著性模型，包括：注意力静态特征提取模型和注意力动态特征提取模型，得到视频的视觉显著值；

考虑视频序列中当前帧和下一帧的关联性，从注意力静态特征和注意力动态特征中提取出视频中人眼所关注的区域；

对于帧间特征信息，采用光流算法提取动量特征，通过公式(1)进行计算：

S_final＝S_color·ω_color+S_tex·ω_tex+f_inter·g·ω_inter (1)

f_inter(u,v)＝∑_i,j{ρ_D(f_cur(i,j)-f_next(i+u_i,j,j+v_i,j))+λ[ρ_S(u_i,j-u_i+1,j)+ρ_S(u_i,j-u_i,j+1)+ρ_S(v_i,j-v_i+1,j)+ρ_S(v_i,j-v_i,j+1)]}

其中，S_final为得到的显著值；f_inter为当前帧与下一帧的光流特征值，其中u和v表示为当前帧f_cur和下一帧f_next估计的水平和垂直光流场；i和j代表像素位置；λ是调节参数；ρ_D和ρ_S分别为数据和空间的惩罚函数；S_final为最终像素显著值；S_color和S_tex为色度及纹理的显著值；ω_color、ω_tex和ω_inter代表色度、纹理、帧间的权重；g为滤波转换函数；

2)将步骤1)得到的当前帧的像素显著值，依照CTU的尺寸大小转化为多个CTU尺寸的显著值，再通过归一化转换为显著性权重，基于相邻帧之间的关联性，建立基于窗口的权重平滑模型，通过平滑调整得到平滑后的显著性权重；

3)根据步骤2)得到的平滑后的显著性权重，采用基于显著性的码率分配算法，进行CTU级码率分配；

将基于显著性权重的CTU级码率分配表示为公式(3)：

其中，

为当前CTU的目标码率，T_curPic为当前帧分配码率，Coded_Pic为已编码的码率，∑_NotCodedSw_CTU为当前帧剩余的码率，

为平滑后的显著性权重；

通过上述步骤，实现基于视觉显著性的视频码率分配。

2.如权利要求1所述基于视觉显著性的视频码率分配方法，其特征是，步骤2)建立基于窗口的权重平滑模型中，公式(2)中，未来帧对当前帧相对位置的权重设置为1、0.75、0.5或0.25。

3.如权利要求1所述基于视觉显著性的视频码率分配方法，其特征是，步骤2)具体将得到的当前帧的像素显著值，依照CTU尺寸为64×64大小进行累加，形成一块64×64的CTU的像素显著值总和。

4.如权利要求1所述基于视觉显著性的视频码率分配方法，其特征是，步骤2)具体针对步骤1)得到的显著性权，依照相邻帧的距离对显著性权重进行加权平均，得到的结果为平滑后的显著性权重。

5.如权利要求4所述基于视觉显著性的视频码率分配方法，其特征是，步骤2)建立基于窗口的权重平滑模型具体为：

将窗口大小定义为M；公式(2)分别表示每一个CTU的显著性权重以及经平滑调整后的最终显著性权重：

其中，Sw_CTU为每一个CTU的显著性权重；

为最终每一个像素的显著值；(i,j)为像素的坐标位置；N_CTU为CTU内的像素个数总合；

表示为平滑后的显著性权重，用于码率分配；k是当前帧的位置号，m是未来帧的位置号，M为平滑窗口大小，f是未来帧对当前帧相对位置的权重。

Images