CN104023226A - 一种基于hvs的新型视频质量评价方法 - Google Patents

Abstract

本发明涉及到一种基于HVS的新型视频质量评价方法。核心思想是在一种新型的显著性区域提取模型的基础上，结合图像质量评价方法SSIM对视频序列进行质量评价，其中选取的特征分为空域与时域两个方面，其中空域主要包括色彩、方向性、亮度以及对比度特征，时域则主要考虑运动信息，此类特征都是HVS中对视频质量产生影响的重要特征。在获取了帧级别的质量评价结果之后，结合视频序列帧间的HVS特性，如人眼对图片质量提高的敏感度没有质量下降那么明显等，不采用直接平均的方式对视频帧级别质量进行处理，而是先采用一个视觉处理模型对帧质量进行调整，最后才得到整体的质量评价结果，使视频评价结果更加符合人眼的主观感受。

Description

一种基于HVS的新型视频质量评价方法

技术领域

本发明涉及无线通信领域，具体涉及一种视频评价方法，特别是涉及到基于人眼视觉特性HVS的视频质量评价方法。 

背景技术

随着无线网络的发展，人们对通信业务的需求也越来越多样化，由原来单一的语音通话扩展到包括视频通信、移动社交在内的各种多媒体业务和互联网新业务。尤其是视频类业务更是在近期得到了迅猛的增长，已占到移动无线流量的50％左右。而人作为视频的最后接收者，对于视频的质量具有一定的要求，因而为对视频质量进行评估提出来客观需求。视频质量进行评价对于保证服务质量要求、优化视频处理系统设计等方面起到了至关重要的作用。对于视频质量评价唯一可靠的方法就是主观评价，也就是由人主观对视频进行评价，因为人才是视频的最后接收者，通过最终接收者主观评价的结果肯定是可靠的。但是由于此方法需要人作为主体参与评价，局限性比较大，也有费时、花费较高等缺点，所以现在并不是研究的重点。尽管如此，主观评价的结果也为后面各种客观评价方法提供了参考，使视频质量评价算法朝着与人眼视觉预期相匹配的方向发展。在客观视频质量评价方法方面，已经有很多研究，但仍然有限制。 

发明内容

本发明的目的是针对背景技术中的不足，提出一种新颖的，基于HVS的视频质量评价方法。 

为了实现本发明的目的，本发明采用的技术方案是：结合图像质量评价方法SSIM以及空时域显著性区域对视频图像帧进行质量评价，其中选取的特征包括色彩、方向性、亮度和运动等。然后结合视频序列帧间连续性的HVS特性，如人眼对视频质量提高没有质量下降那么敏感等，对视频帧的质量评价结果进行时域聚合处理，而非采用直接平均的方式，得到较为准确的视频质量评价结果。 

所述视频质量评价方法，基于人眼的感兴趣区域和显著性特征提取方法，从空域和时域两个方面对视频图像帧进行特征提取。 

所述视频质量评价方法，选取特征分为空域和时域两个方面，其中空域主要包括色彩、方向性、亮度、对比度等特征，而时域则主要包括运动信息。 

所述视频质量评价方法，显著性区域中时域特征的提取采用高斯金字塔以及墨西哥帽子函数进行处理，分析视频背景帧与当前帧的差异，从而提取时域上的显著性区域，符合人眼 视觉特性。 

所述视频质量评价方法，结合图像质量评价方法SSIM和显著性特征图得到视频序列图像帧的质量评价结果。 

所述视频质量评价方法，根据视频序列帧间连续性的HVS特性，运用新颖的视频帧质量处理方式进行时域聚合，得到最终的视频质量评价结果。 

附图说明

图1是一种基于HVS的新型视频质量评价方法的流程图。 

图2是视觉显著性区域的提取方法。 

具体实施方式

实施方式，参见图1。 

所述视频质量评价方法，具体步骤如下： 

本发明中，为了充分考虑HVS特性，显著性特征图的提取根据空间视觉特征中的色彩、对比度、亮度、方向性以及时间特征中的运动特征获得，选取的特征与HVS有很大的关联，能够有效的反应人眼视觉特性。下面就将从空域特征以及时域特征两个方面来说明本发明中显著性特征图的提取方发，具体处理过程如图2所示。 

从空域分析视频可以考虑到视频帧的细节，使评价模型更符合人眼视觉特性。本发明主要是从色彩、亮度、方向性以及对比度四个特征方面来实现空域特征的提取。色彩对比度是吸引人眼视觉注意力的基本激励之一，如果当前图像与背景图片颜色有比较大的差异是通常会获得高的注意，相反所获得的关注就比较少，在综合提取显著性特征图时考虑色彩是必须的，考虑色彩能够更准确的描述人眼视觉的关注点。在空域显著度的提取模型中，同时将亮度、方向性以及对比度特征作为了重要的因素。亮度以及方向性的处理如Itti视觉模型中所述的一致，并且这两个方面也能有效的反应人眼的视觉特性。同理，对比度特征在HVS中也是十分重要的影响因素之一。 

通过加权求和的方式获取空域显著性图，公式如下所示： 

S_am＝w_c*C+w_I*I+w_O*O+w_R*R 

w_c、w_I、w_O和w_R分别为空域所采用的四个特征的权重。 

时域特征的分析主要就是运动。在考虑视频质量时，运动对于人眼视觉的影响是不容忽略的。HVS对于画面中运动的物体往往更感兴趣，也就是关注度更高，因而运动特征的提取对于显著性特征图的获取具有很重要的作用。一般视频序列都是从时间和空间两个维度对所有的帧进行信息提取，从时间上来说，主要就是运动信息的提取。对于帧背景的时域模型处 理，大致可以将背景相减法分为基于滤波器(非概率型)和概率型两种。本发明依靠低通滤波结构来获取视频序列中某帧基于其他背景帧的背景模型，主要分为两个部分：背景模型和时域滤波器。 

在获取背景模型时，视频序列中的每一帧都需要通过一个IIR的低通滤波器，两帧参考图像也就是从通过低通滤波器之后的帧中获取的。背景模型根据公式： 

b_t+1,l(i,j)＝(1-a_b)*b_t,l(i,j)+a_b*p_t(i,j),l∈{1,2} 

从参考图像帧获取。其中a_l是对第l帧背景帧进行滤波的学习率，p(i)是当前帧的位置i处的值，b_l(i)是第l帧背景帧位置i处的值。本发明中采用a₂＝a₂/2，由于测试视频帧率为25帧/秒，所以a₁＝0.012。 

时域滤波的作用就是获取当前帧相对于背景帧的变化，采用的滤波器公式如下： 

$f\left(x\right)=-\frac{2}{\sqrt{3}}{\mathrm{\π}}^{-\frac{1}{4}}(1-{\left(\mathrm{\ζx}\right)}^2)\·\exp \frac{-{\left(\mathrm{\ζx}\right)}^2}{2}$

其中x代表点到滤波器中心的欧式距离，ζ是一个比例系数。通过时域滤波处理，可以粗略地获取到视频帧序列中的运动区域。但是此区域并不能很好的运用于之后特征融合的处理过程中，而且存在奇异点。所以进一步的处理需要进行归一化并剔除奇异点。在本发明中利用Z-score方法来检测帧中运动区域的离群值。平均绝对距离MAD如下： 

$\mathrm{MAD}=\frac{{\mathrm{\Σ}}_{i=1}^N|f_{\mathrm{pi}}-\mathrm{\μ}|}{N}$

其中μ代表经过滤波之后图像各像素值的平均值，f_pi是第i个像素的值，N为像素点的个数。 

Z-score通过下面的公式计算得到： 

$Z_i^{\mathrm{score}}=\frac{|f_{\mathrm{pi}}-\mathrm{\μ}|}{\mathrm{MAD}}$

是第i像素的Z-score。 

最后一步就是将获得的Z-score值与设定的阈值进行比较，排除离群值，从而提高运动区域提取结果的准确度。在本方案中，我们通过各像素点的Z-score值计算出自适应的阈值，计算公式如下： 

$\mathrm{Th}=\frac{1}{M*N}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}Z(i,j)$

其中Z(i,j)表示像素(i,j)处的Z-score值。最终时域处理结果T_am可以表示为： 

$T_{\mathrm{am}}(i,j)=\left\{\begin{array}{cc}Z(i,j),& \mathrm{ifZ}(i,j)\&GreaterEqual;\mathrm{Th}\\ 0,& \mathrm{ifZ}(i,j)<\mathrm{Th}\end{array}\right.$

特征结合处理的关键就是归一化处理。归一化处理的作用就是根据各个特征对ROI做出的贡献大小做出平等的处理，而不至于某些特征因为本身处理结果值过大或者过小而过分或者过少的考虑其效果。本发明中归一化操作的处理步骤如下： 

1)将各特征图中的值归一化到同一固定范围[0...M]，以消除不同特征之间的幅度差； 

2)找出各特征图中最大值M所在的位置，并计算所有极大值的平均值

3)各特征图整体乘以突显出表现强烈的特征图。 

经过归一化操作之后将得到空域和时域两个方面的显著性图。最后，根据这几个显著性图融合成最终的感兴趣区域图，处理公式如下所示： 

A＝G*(α*S_am+β*T_am) 

在此公式中，α和β分别代表空域特征和时域特征在ROI中所占的权重，而且应该满足条件α+β＝1。G代表高斯滤波器。 

SSIM质量评价方法是从亮度、对比度和结构化信息三个方面综合对图像进行分析处理。物体表面的亮度是光照和反射的产物，但是图像亮度确是独立于光照的，因而在实际分析中是分离了光照的影响。同时在SSIM中定义了图像的结构化信息来表示场景中客观物体的结构，这是独立于平均亮度和对比度的。SSIM的计算公式为如下所示： 

SSIM(x,y)＝[l(x,y)]^α·[c(x,y)]^β·[s(x,y)]^γ

其中l(x,y)、c(x,y)和s(x,y)分别为亮度、对比度、结构化信息，通过将三者结合，可以客观的评价一幅图像的质量。以前的研究大部分都是针对整幅图像进行SSIM评价，便没有考虑图像不同区域对于人眼视觉的不同影响，因而评价结果并不是最佳的。如果结合ROI感兴趣区域对图像各区域单独进行SSIM，就能体现出各区域的不同影响。在本方案中，首先利用一个8×8的滑窗来计算各个像素点的SSIM值。然后再根据视觉感兴趣区域提取的结果A_t和SSIM值SSIM_t，可以对视频单帧中的各个区域进行加权求和，公式如下： 

${\mathrm{SF}}_t=\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}\frac{{\mathrm{SSIM}}_t(i,j)\&times;A_t(i,j)}{\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}{A}_t(i,j)}$

在完成对视频序列中帧级别的质量评价之后，需要在对评价结果进行相应的时域处理才能评价一个视频序列整体的质量。根据以前的相关研究得知，在评价视频序列质量时需要考虑两个因素，单帧图像质量和时域序列的影响。本文对于视频帧间的处理过程主要是根据是人眼的异步跟踪的研究成果，针对人眼对图片质量提高的敏感度没有质量下降那么明显等特性进行分析处理。在一个视频序列中，设帧评价质量为SF_t,则处理过程的计算公式如下所示： 

${\mathrm{SF}}_t=\left\{\begin{array}{cc}{\mathrm{SF}}_{t-1}^{\&prime;}+a_{-}{\mathrm{\&Delta;}}_t,& \mathrm{if}{\mathrm{\&Delta;}}_t\&le;0\\ {\mathrm{SF}}_{t-1}^{\&prime;}+a_{+}{\mathrm{\&Delta;}}_t& \mathrm{if}{\mathrm{\&Delta;}}_t>0\end{array}\right.$

其中SF_t为处理之后的时刻t的视频帧质量分数，是时刻t前一帧的质量分数。a_-和a₊的取值需要进行训练，目的是使时域聚合策略符合人眼的视觉特性，提高模型准确度。通过大量失真视频训练之后，我们得到的a_-和a₊的取值分别为0.04和0.5。视频序列的最终质量评价分数S如下所示： 

$S=\frac{1}{N}\underset{n=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{SF}}_n$

Claims (5)

1.一种基于HVS的新型视频质量评价方法，其特征在于：利用HVS空域、时域等特征提取视觉显著性区域，结合图像质量评价方法SSIM对视频序列进行质量评价，其中选取的特征包括色彩、方向性、亮度和运动等，然后结合视频序列帧间连续性的HVS特性，如人眼对视频质量提高没有质量下降那么敏感等，对视频帧的质量评价结果进行时域聚合处理，而非采用直接平均的方式，得到较为准确的视频质量评价结果。

2.根据权利要求1所述的一种基于HVS的新型视频质量评价方法，其特征在于：结合图像质量评价方法SSIM以及显著性区域对视频序列帧进行质量评价。

3.根据权利要求1所述的一种基于HVS的新型视频质量评价方法，其特征在于：显著性特征提取的特征分为空域和时域，其中空域主要包括色彩、方向性、亮度、纹理等特征，而时域则主要包括运动信息。

4.根据权利要求1所述的一种基于HVS的新型视频质量评价方法，其特征在于：显著性区域中时域特征的提取采用高斯金字塔以及墨西哥帽子函数进行处理，分析视频背景帧与当前帧的差异，从而提取时域上的显著性区域，符合人眼视觉特性。

5.根据权利要求1所述的一种基于HVS的新型视频质量评价方法，其特征在于：时域聚合方式不是简单的对视频帧质量进行平均，而是根据视频序列帧间连续性的HVS特性，采用新颖的符合人眼特性的方式对视频帧质量进行处理，最终得到视频整体的质量评价结果。