CN106375754A - 基于视觉刺激衰减特性的无参考视频质量评估方法 - Google Patents

Abstract

本发明公开了一种基于视觉刺激衰减特性的无参考视频质量评估方法，包括训练阶段和评估测试阶段，在训练阶段，用训练视频的视频片段质量和对应主观质量评分值完成Logistic估计器的拟合；在评估测试阶段，对未知质量的视频片段判别视频质量时，首先按照与训练阶段相同的步骤计算视频片段质量，然后把视频片段的合成质量输入已拟合完成的Logistic估计器，估计器的输出函数值即为该视频片段的客观视频质量。本发明全面考虑了人眼对视频损伤的感知特性，能准确估计视频片段的质量。

Description

基于视觉刺激衰减特性的无参考视频质量评估方法

技术领域

本发明属于视频分析技术领域，特别是一种基于视觉刺激衰减特性的无参考视频质量评估方法。

背景技术

客观视频质量评估是模拟人的主观视频质量评价过程，是对任意视频的质量进行算法评分的过程。主观质量评估过程耗费大量时间、人力物力资源，使用范围非常受限。而客观视频质量评估由计算机自动完成，具有很好的使用效能。通常人的主观视频质量评分用MOS值表示，是取值在0到5的数，0表示最低质量，5表示最高质量。视频质量评估对多媒体应用具有重要的意义，可以用于评价视频编码算法性能、视频传输网络性能、视频显示设备性能等。

以VSSIM[文献1：Farenzena M，Bazzani L，Perina A，et al.Video Quality AssessmentBased on Structural Distortion Measurement.Signal Processing：Image Communication，Vol.19，No.1，Jan 2004，pp：1-9]为代表的视频质量评估方法，用单帧的全局速度计算加权系数，完成从帧到视频的质量指标汇聚。这类方法把空间和时间作为两个不同的因素进行处理，缺乏明显的视觉心理学支持。以VIS3[文献2：Phong V.Vu，Chandler D.M，ViS3：anAgorithm for Vdeo Qality Assessment via Analysis of Spatial and Spatiotemporal Slices.Journal ofElectronic Imaging，Vol23，No.1，Jan，2014，PP：l-24]为代表的方法，构造了空间平均指标和时空平均指标，把最终的视频指标设计为空间平均指标和时空平均指标的几何平均。VIS3更多考虑了时间和空间的联合作用，具有较高的评估相关性。以MOVIE[文献3：Seshadrinathan.K，Bovik A.C，Motion Tuned Spatio-Temporal Quality Assessment ofNatural Videos，IEEE Transation on image processing，Vol19，No.2，Feb，2010，PP：335-350]为代表的视频质量评估方法计算单个像素的时空Gabor变换，分解出像素相关的空间纹理和时间运动信息，完成像素区域的视觉质量评估，最后算术平均形成视频片段的质量指标。虽然VIS3和MOVIE的估计性能较好，但是它们都是一种全参考的方法，在实际使用时条件受限。Video BLIINDS[文献4：Saad M.A，Bovik A.C，Charrier C，BlindPrediction of Natural Video Quality，IEEE Transation on image processing，Vol23，No.3，Mar，2014，pp：423-438]方法计算帧差信息的空间统计测度，以此作为时间信息，与单帧图像质量进行加权后，再完成整段视频的质量指标汇聚。Video BLIINDS虽然是一种无参考算法，具有更好的实用价值，但是Video BLIINDS形成的视频特征向量是多个不同视频特性参数时间平均值的级联，掩盖了视频特征随时间波动对视频质量的影响。

贺樑等人的国家发明专利[文献5：一种无参考的流视频质量评估方法，CN200810207695]构建了测试网络流量特征与视频质量的函数的模拟环境，但是利用流量进行视频质量评估的准确性还非常低；李永利等人的国家发明专利[文献6：视频质量评估方法及装置，CN200810103640]侧重于运动矢量的分析，建立参考视频与待评估视频的差异性，从而获得待评估视频质量，但是该方法只考虑了运动信息的影响，对人眼感知特性的考虑不充分；陈耀武等人的国家发明专利[文献7：MOTION JPEG2000视频客观质量的无参考评估方法，CN200810163592]虽然是无参考方法，但是以梯度特征训练的线性视频质量拟合函数无法得到合适的判决性能。虞露等人的国家发明专利[文献8：一种视频质量评估方法和装置，CN200910153571]考虑了人眼视频感知时的掩蔽效应，但是它是一种全参考方法，使用场合受限。

发明内容

本发明的目的在于提供一种基于时空特性和视觉刺激衰减的无参考视频质量评估方法，全面考虑了人眼对视频损伤的感知特性，能准确估计视频片段的质量。

实现本发明目的的技术解决方案为：一种基于视觉刺激衰减特性的无参考视频质量评估方法，包括训练阶段和评估测试阶段：

在训练阶段，首先模拟运动一致性、灰度敏感性和纹理复杂性对人眼视觉感知的效应，完成单帧的局部时空特征计算；接着通过奇异值分解汇聚成单帧图像质量的特征向量；然后完成单帧差值特征向量的计算，利用差值向量的2范数形成差值特征范数序列，并用视觉刺激感知阻尼模型模拟人眼对严重损伤图像的敏感性，加权计算合成多帧视频片段的质量指标；最后用训练视频的视频片段质量和对应主观质量评分(MOS)值完成Logistic估计器的拟合；

在评估测试阶段，对未知质量的视频片段判别视频质量时，首先按照与训练阶段相同的步骤计算视频片段质量，然后把视频片段的合成质量输入已拟合完成的Logistic估计器，估计器的输出函数值即为该视频片段的客观视频质量。

本发明与现有技术相比，其显著优点在于：(1)本发明是一种无参考方法，在对受损视频进行质量评估时，不需要无损视频片段作为参考。(2)本发明以视频特征向量为视频质量评估的基础，更多地保留了视频片段的信息，所构造的人眼刺激衰减模型，能模拟人眼对严重图像损伤的敏感性。(3)本发明计算强度不大，可以对所有帧进行计算，不再像MOVIE算法一样采用跳帧丢弃策略，丢失大量时间动态信息。

附图说明

图1是本发明基于视觉刺激衰减特性的无参考视频质量评估方法的流程图。

具体实施方式

本发明基于视觉刺激衰减特性的无参考视频质量评估方法，包括训练阶段和评估测试阶段，具体的实现过程如下。

一、训练融合局部和全局时空特性的估计器

1、构造单帧内的局部块

对单个的视频帧，划分为相互不覆盖的矩形块。假设单帧的宽、高分别为W和H个像素，每个局部块的长、宽都等于B个像素，则单帧可以划分为个局部块，其中符号表示下取整运算。本发明以B等于17为例进行说明。视频编码时，宏块划分使用4、8、16等像素值，采用17可以对块效应等损伤也充分考虑。分割完成的局部块按各自在帧内的位置排放。

2、构造运动一致性图

对每个局部块进行运动向量局部搜索，具体的步骤与H.261视频编码标准的流程相同，搜索获得的运动向量在x和y方向的值分别表示为M_x(k，l)和M_x(k，l)，其中k，l是运动向量在图像坐标系中的坐标值。搜索获得的局部块运动向量具有一定误差，在进行视觉质量的运动掩蔽效应模拟时，需要在更大范围内考察局部块的运动信息。这里利用获得的运动向量，构造坐标值为m和n局部块的运动张量：

其中

w(i，j)是加权窗函数，在本发明中采用高斯窗，对高斯窗的方差取为1.2，在7×7个局部块的范围内考察运动一致性。计算张量T(m，n)的特征值λ₁和λ₂，则局部的运动一致性定义为：

显然，运动一致性越明显的局部块，它的两个特征值差值越大，按公式(2)获得的运动一致性测度越趋近于1。每个局部块的运动一致性信息按局部块的帧内位置排列，构成单帧的运动一致性图Γ＝{μ_m，n}。

3、构造灰度对比度图

灰度对比度是影响人眼对视频质量判决的因素，在构造视频客观评估算法时要考虑灰度对比度的影响。对每个局部块的灰度分量进行DCT变换，形成DCT变换域系数d_u，v。用DCT系数交流分量的和除以直流分量表示局部块的对比度：

其中d_0，0是直流分量的DCT系数。在后续步骤中需要利用对比度作为加权系数，所以要首先把对比度归一化到[0，1]区间内。在单帧内，选取所有局部块的最大灰度对比度，然后用最大对比度完成每个局部块的对比度归一化：

其中max(c_*，*)是求所有对比度最大值的函数。归一化操作后形成的局部块相对灰度图高灰度对比度的区域更容易被人眼感知。

4、构造纹理复杂性图

本发明中，利用Gabor滤波器对图像数据进行滤波，通过Gabor滤波器输出结果构造纹理复杂性图。首先利用Gabor滤波器对每帧图像的局部块数据进行滤波，结果用Gabor(m，n，k)表示，即：

Gabor(m，n，k)＝f(m，n)*g(m，n，k)

g(m，n，k)＝g(x′，y′)

x′＝a^-k(mcosθ+ncosθ)

y′＝a^-k(-msinθ+ncosθ)

其中m和n分别是局部块的坐标值，k是尺度系数，a是尺度因子，σ_x和σ_y表示高斯函数的标准差，f₀是滤波器中心频率，θ为Gabor滤波器的方向。在本发明中取(0°，45°，90°，135°)4个滤波器方向，对不同的滤波器方向，形成一组Gabor(m，n，k)系数。尺度因子为0.9，高斯函数的标准差为3，滤波器中心频率为1。尺度系数k取0到9，共10个整数值。根据局部块的Gabor(m，n，k)系数，每个方向滤波器下局部块的Renyi熵可以表示为：

纹理的复杂程度可由不同方向的Renyi熵的差异表示。在本发明中，把纹理复杂度表示为四个方向Renyi熵的方差：

η_m，n＝Var{R_θ[m，n]} (7)

其中Var()是计算一组数方差的函数。通过计算单帧中每个局部块的Renyi熵的方差，形成局部块纹理复杂性图Λ＝{η_m，n}。

5、完成局部时空特性的融合

人眼的视觉感知过程，具有运动敏感性和灰度对比度门限效应，同时高纹理复杂性的区域更容易被人感知。根据这些视觉心理学特性，在进行局部时空特性提取时，局部块相对灰度图被运动一致性信息加权，运动一致性越高的区域，其空间受损信息越不容易被人眼感知到；同时，局部块纹理复杂性越高的区域，其空间受损信息越不容易被人眼感知到。根据这些要求，可以模拟纹理复杂度和运动一致性显著的区域对视频感知质量的屏蔽效应。把公式(2)计算的运动一致性图、公式(4)计算的相对灰度图、公式(7)计算的纹理复杂性图进行融合：

按公式(8)加权后，形成单帧局部块的时空质量指标图Q＝{q_m，n}。

6、形成单帧图像质量特征向量

对单帧局部块的时空质量指标图Q进行奇异值(SVD)分解

Q＝U∑V^T

其中U＝[u₁，u₂，...，u_p]^T，V＝[v₁，v₂，...，v_q]^T是列向量组成的矩阵，∑＝diag(σ₁，σ₂，...，σ_t)是由奇异值组成的对角矩阵，满足σ₁＞σ₂＞…＞σ_t，其维数按SVD逼近的程度可以自行选择，满足t＜min(p，q)，上标T表示矩阵的转置运算。

选择最大特征值σ₁对应的特征向量u₁和v₁级联，构成单帧图像质量特征向量对视频片段中连续的帧分别计算单帧图像质量特征向量后，形成图像质量特征向量序列S＝{ρ₁，ρ₂，...，ρ_L}，其中L是视频序列的帧数。

7、形成差值特征范数序列

对每帧图像，求取相邻的单帧图像质量特征向量的绝对差，形成差值特征向量：

dv_i＝|ρ_i-ρ_i-1| (9)

其中，下标i表示第i帧，绝对值运算是对向量的每个元素求绝对值。对差值特征向量取2范数：

ψ_i＝||dv_i||₂ (10)

把差值特征向量的2范数作为单帧图像质量。时间上连续的单帧图像质量构成一个实数序列Ψ＝{ψ_i}_i＝1..L-1，其中L是视频序列的帧数。

8、按视觉刺激感知阻尼模型，加权合成视频质量指标

人眼对视频损伤的认知存在迟滞效应，严重损伤的帧会在较长时间内影响人眼对视频质量的评价。构造视觉刺激的感知阻尼模型，可以模拟人眼对严重损伤的迟滞效应。在本发明中，设当前帧为i，则考虑过去帧的质量影响，当前帧的后向图像质量预测a(i)为：

a(i)＝min(ψ_c)，c＝[max(1，i-τ)，i] (11)

其中τ代表影响时长，根据视频的编码帧率转换为帧数，max是取最大值的函数，min是取最小值的函数，c表示帧号的取值区间。可见，质量较低的帧将拉低后续多帧的图像质量。

考虑后续帧对当前帧感知质量的影响，进行当前帧的前向图像质量预测。本发明中采用顺序统计滤波器的方法，把当前帧及其后续K帧的图像质量先按降序进行排序：

B＝sort(ψ_c)＝[γ₁，γ₂，...，γ_K]，c＝[i，i+K] (12)

其中sort是对数组进行降序排序的函数，γ₁，γ₂，...，γ_K是排序后的K个图像质量值。对低质量的图像赋以高的权重，而高质量的图像被赋以低的权重，用这个原则来模拟人眼对低质量视频的敏感性。本发明中采用归一化截断高斯滚降权值：

W＝(w₁，w₂，...，wi，...，w_K) (13)

作为前向图像质量加权因子。形成的当前帧前向预测图像质量b(i)为：

把前向预测图像质量和后向预测图像质量合成，形成的当前帧的合成图像质量表示为：

g(i)＝(1-α)a(i)+αb(i) (17)

其中，α是合成比例因子，本发明中取0.5为例。对每帧都根据视觉刺激阻尼模型a(i)和b(i)，在获得了合成图像质量后，视频片段的质量q表示为所有帧的合成图像质量的算术平均：

9、视频质量预测Logistic估计器的拟合

利用带主观视频质量评分值的训练视频库，完成视频质量预测函数的拟合。训练视频库中有各种损伤模式的视频样本，以及损伤视频对应的主观视频质量评分值。常用的训练视频库包括LIVE、TID2008等。

对训练视频库中的每段视频计算它的视频片段质量q_l，其对应的主观质量评分MOS_l值已知，l为训练视频片段的编号。把视频片段质量集合{q_l，l＝1，..，M}和对应的主观质量评分集合{MOS_l，l＝1，..，M}进行Logistic拟合，M为所有训练视频片段的数量，训练视频片段质量q与MOS的函数关系。采用的Logistic函数形式为：

其中，β₁，β₂，β₃和β₄是待训练的参数，exp是指自然指数函数。

二、利用拟合的视频质量预测函数，进行视频质量评估测试

在对未知质量评分的视频片段进行客观视频质量判断时，首先计算该段视频对应的视频质量，计算的过程与训练阶段的方法相同：首先构造单帧局部块，然后分别计算运动一致性信息、灰度对比度图、纹理复杂性图，完成局部时空特性的融合，形成时空质量指标图，最后经过单帧图像特征向量计算、差值特征范数序列构造、视觉刺激感知阻尼模型和算术平均，获得视频片段的合成质量。然后把视频片段的合成质量输入已拟合完成的Logistic估计器，估计器的输出函数值就是该视频片段的客观视频质量。

通过本发明的方法对常用的训练视频库进行性能测试，其结果如表1和表2，表1是本发明不同尺度局部块尺度的性能比较；表2是不同视频质量评估方法的性能比较。

表1

表2

说明：表中的PLCC是皮尔逊线性相关系数，SROCC是斯皮尔曼秩相关系数。

Claims (5)

1.一种基于视觉刺激衰减特性的无参考视频质量评估方法，其特征在于包括训练阶段和评估测试阶段：

在训练阶段，首先模拟运动一致性、灰度敏感性和纹理复杂性对人眼视觉感知的效应，完成单帧的局部时空特征计算；接着通过奇异值分解汇聚成单帧图像质量的特征向量；然后完成单帧差值特征向量的计算，利用差值向量的2范数形成差值特征范数序列，并用视觉刺激感知阻尼模型模拟人眼对严重损伤图像的敏感性，加权计算合成多帧视频片段的质量指标；最后用训练视频的视频片段质量和对应主观质量评分值完成Logistic估计器的拟合；

在评估测试阶段，对未知质量的视频片段判别视频质量时，首先按照与训练阶段相同的步骤计算视频片段质量，然后把视频片段的合成质量输入已拟合完成的Logistic估计器，估计器的输出函数值即为该视频片段的客观视频质量。

2.根据权利要求1所述的基于视觉刺激衰减特性的无参考视频质量评估方法，其特征在于形成单帧图像质量特征向量的过程为：

对单帧局部块的时空质量指标图Q进行奇异值SVD分解

Q＝U∑V^T

其中U＝[u₁，u₂，...，u_p]^T，V＝[v₁，v₂，...，v_q]^T是列向量组成的矩阵，∑＝diag(σ₁，σ₂，...，σ_t)是由奇异值组成的对角矩阵，满足σ₁＞σ₂＞...＞σ_t，其维数按SVD逼近的程度自行选择，满足t＜min(p，q)，上标T表示矩阵的转置运算；

选择最大特征值σ₁对应的特征向量u₁和v₁级联，构成单帧图像质量特征向量对视频片段中连续的帧分别计算单帧图像质量特征向量后，形成图像质量特征向量序列S＝{ρ₁，ρ₂，...，ρ_L}，其中L是视频序列的帧数。

3.根据权利要求1所述的基于视觉刺激衰减特性的无参考视频质量评估方法，其特征在于形成差值特征范数序列的过程为：

对每帧图像，求取相邻的单帧图像质量特征向量的绝对差，形成差值特征向量dv_i：

dv_i＝|ρ_i-ρ_i-1|

其中，下标i表示第i帧，绝对值运算是对向量的每个元素求绝对值，对差值特征向量取2范数：

ψ_i＝||dv_i||₂

把差值特征向量的2范数作为单帧图像质量，时间上连续的单帧图像质量构成一个实数序列Ψ＝{ψ_i}_i＝1..L-1，其中L是视频片段的帧数。

4.根据权利要求1所述的基于视觉刺激衰减特性的无参考视频质量评估方法，其特征在于按视觉刺激感知阻尼模型，加权合成视频质量指标的过程为：

设当前帧为i，当前帧的后向图像预测质量a(i)为：

a(i)＝min(ψ_c)，c＝[max(1，i-τ)，i]

其中τ代表影响时长，根据视频的编码帧率转换为帧数，max是取最大值的函数，min是取最小值的函数，c表示帧号的取值区间；

采用顺序统计滤波器的方法，把当前帧及其后续K帧的图像质量先按降序进行排序：

B＝sort(ψ_c)＝[γ₁，γ₂，...，γ_K]，c＝[i，i+K]

其中sort是对数组进行降序排序的函数，γ₁，γ₂，...，γ_K是排序后的K个图像质量值；对低质量的图像赋以高的权重，而高质量的图像被赋以低的权重，以此来模拟人眼对低质量视频的敏感性，采用归一化截断高斯滚降权值：

W＝(w₁，w₂，...，w_i，...，w_K)

$w_i=\exp \[-{\left(\frac{3i}{K}\right)}^2\]$

$\underset{i=\mathrm{1..}K}{\Σ}{w}_i=1$

w₁，w₂，...，w_i，...，w_K为单个后续帧的权重，作为前向图像质量加权因子，形成的当前帧前向预测图像质量b(i)为：

$b\left(i\right)=\underset{i=\mathrm{1..}K}{\Σ}{\mathrm{\γ}}_i{w}_i$

把前向预测图像质量和后向预测图像质量合成，形成的当前帧的合成图像质量表示为：

g(i)＝(1-α)a(i)+αb(i)

其中，α是合成比例因子，对每帧都根据视觉刺激阻尼模型a(i)和b(i)，在获得了合成图像质量后，视频片段的质量q表示为所有帧的合成图像质量的算术平均：

$q=\frac{1}{L-1}\underset{i=\mathrm{2..}L}{\Σ}g\left(i\right)$

5.根据权利要求1所述的基于视觉刺激衰减特性的无参考视频质量评估方法，其特征在于视频质量预测Logistic估计器的拟合过程为：

利用带主观视频质量评分值的训练视频库，完成视频质量预测函数的拟合，即训练视频库中有各种损伤模式的视频样本，以及损伤视频对应的主观视频质量评分值，对训练视频库中的每段视频计算它的视频片段质量q_l，其对应的主观质量评分MOS_l值已知，l为训练视频片段的编号；把视频片段质量集合{q_l，l＝1，..，M}和对应的主观质量评分集合{MOS_l，l＝1，..，M}进行Logistic拟合，M为所有训练视频片段的数量，训练视频片段质量q与MOS的函数关系，采用的Logistic函数形式为：

$\log istic\left(x\right)=\frac{{\mathrm{\β}}_1-{\mathrm{\β}}_2}{1+\exp \left(\frac{x-{\mathrm{\β}}_3}{{\mathrm{\β}}_4}\right)}+{\mathrm{\β}}_2$

其中，β₁，β₂，β₃和β₄是待训练的参数，exp是指自然指数函数。