CN102202227B

CN102202227B - 一种无参考视频质量客观评估方法

Info

Publication number: CN102202227B
Application number: CN 201110166241
Authority: CN
Inventors: 曹修平
Original assignee: DINGLI COMMUNICATIONS CORP Ltd
Current assignee: DINGLI CORP., LTD.
Priority date: 2011-06-21
Filing date: 2011-06-21
Publication date: 2013-02-20
Anticipated expiration: 2031-06-21
Also published as: CN102202227A

Abstract

一种无参考视频质量客观评估方法，所述评估方法基于数个评估视频质量的品质参数分别对视频文件进行处理计算，并将计算出的所述品质参数的值合成最终视频质量评估值，其中所述品质参数包括块效应、信噪比、对比度以及边缘能量，其首先对视频文件进行分帧预处理，然后提取所述品质参数的值，最后通过线性拟合得到可以客观评价视频质量的数值。本发明从人类视觉系统以及信噪比、块效应、对比度和边缘能量等方面入手来评估失真视频的质量，本发明准确性更高、分析更全面、更符合人类的主观感受，其效果可以与全参考评估相匹配。

Description

一种无参考视频质量客观评估方法

技术领域

本发明涉及视频质量评估领域，尤其是涉及一种无参考视频质量客观评估方法。

背景技术

在视频评估领域过程中，主要分为主观质量评估与客观质量评估，其中主观质量评估过于复杂且其结果易受多种因素影响，而客观质量评测则是将失真视频与相应的原始参考视频相比较，并根据相似程度得出结论，较为客观。视频客观质量评估可分为三大类方法：全参考方法、部分参考方法以及无参考方法。从评估的结果来看，目前大多数的评估算法中，全参考评估方法的结果更接近于人类的主观感受结果。而大多数都是针对全参考的，其特点就是准确性更高，更符合人类的主观感受，但需要原始文件进行比较，在某些情况下不便于应用。

而无参考视频质量检测方法不需要任何原始参考视频的信息，该方法非常适用于对网络终端的视频质量进行实时评价，如因特网上的点播和广播业务等。但目前只有少数机构提出了此类无参考视频质量评估方法，而且其中大多数方法都是根据视频系列中某些特性失真类型的特性，通过对视频的处理和分析来判定特征失真的严重程度，从而估计出视频的质量，结果不够准确，考虑的问题不够全面，不能很好地反应出人类的主观感受，具有一定的局限性。

在实际应用中，需要的是一种客观的，全面的，而且易于实现的视频客观质量评估方法。

发明内容

针对以上所述的不足和缺点，本发明提出了一种无需原始视频作为参考的视频质量客观评估方法。

本发明采用的技术方案可以描述为：

一种无参考视频质量客观评估方法，所述评估方法基于数个评估视频质量的品质参数分别对视频文件进行处理计算，并将计算出的所述品质参数的值合成最终视频质量评估值，其中所述品质参数包括块效应、信噪比、对比度以及边缘能量，所述评估方法还包括以下步骤：

步骤1：预处理，其包括以下分步骤：

步骤1.1：获取需评估的视频文件，对获取的视频文件进行分帧处理，以将所取得的视频文件分解为单帧图片；

步骤1.2：对取得的帧图片进行重复帧检测并去掉帧的边缘；

步骤2：参数提取，对所取得的帧图片进行处理计算分别取得所述品质参数的值，其包括以下分步骤：

步骤2.1：对取得的帧图片进行均值滤波，再基于所述帧图片均值滤波前、后的灰度像素值计算出信噪比的值；

步骤2.2：基于人眼视觉特性，引入包括有平坦区限制，块边界限制和非真实边缘限制的限制条件以区分块效应与图像的真实边缘和纹理，使用一阶差分的统计分析对块效应参数的值进行计算；

步骤2.3：基于二阶联合条件概率密度函数，得到灰度共生矩阵，然后再基于所得到的灰度共生矩阵计算出对比度的值；

步骤2.4：通过各向异性的滤波器来提取帧图片边缘能量值，其中基于帧图片的图像灰度值对帧图片进行卷积计算消除方块效应，并得到图像边缘值，再基于所述图像边缘值进行计算出得边缘平均能量的值；

步骤3：参数合成：在得到每一帧图片的所述品质参数的值之后，通过线性拟合得到最终的视频质量评估值。

本发明的有益效果是：

为了能找到一种能跟全参考评估相匹配的无参考评估方法，本发明从人类视觉系统以及信噪比、块效应、对比度和边缘能量等方面入手，来评估失真视频的质量。通过本发明的使用，将带来如下好处：

1、准确性更高；

2、分析更全面；

3、更符合人类的主观感受。

附图说明

图1为本发明的流程示意图。

具体实施方式

如图1所示，本发明所提出了一种无参考视频质量客观评估方法，其包括信噪比、块效应、对比度和边缘能量等用于评估视频质量的品质参数，按照以下步骤分别计算出所述品质参数值并最终合成视频质量评估值：

1、预处理：此步骤包括两个过程，首先是截取需要进行质量评估的一段视频，并对视频文件进行分帧，即将视频文件分解为一帧一帧的图片；然后再对这些帧图片进行分析、处理，如检测重复帧以及去掉帧的边缘；

2、参数提取：预处理完成之后，对信噪比、块效应、对比度和边缘能量等品质参数分别进行求值计算，此步骤会在后面进行详述；

3、参数合成：在得到每一帧图片的所述4个品质参数的值之后，通过线性拟合最终得到可以客观评价视频质量的值。

步骤2又进一步分为4个分步骤，其中在步骤2.1中，图像的信噪比通常等于信号与噪声的功率谱之比，但通常功率谱难以计算，有一种方法可以近似估计图像信噪比，即信号与噪声的方差之比，其首先计算图像所有象素的局部方差，将局部方差的最大值认为是信号方差，最小值是噪声方差，求出它们的比值，再转成dB数，最后用经验公式修正。

本发明通过计算峰值信噪比来表示图像的信噪比。其中，对图像先做均值滤波，把滤波完成的图像当成参考图像来计算。具体步骤如下：

首先对图片进行均值滤波，得到均值滤波后的灰度像素值f（i，j），再可以用下面公式计算信噪比：

其中，SNR为信噪比值，而 f（i，j）为均值滤波之后的灰度像素值，g（i，j）为滤波之前的灰度像素值，MAX 为图像位深，一般取值为255，M，N分别为图像宽与高。

基于块的变换编码在图像压缩编码中得到广泛应用，随着码率的降低，量化变得粗糙，在块的边界会出现不连续，形成重建图像的明显缺陷，称为块效应，其主要是由于传输过程中的误码造成的，这种块效应严重影响了解码图像的视觉质量。

在步骤2.2中，本发明对块效应的评估方法基于一阶差分的统计分析，运用平坦区限制，块边界限制和非真实边缘限制等三个限制条件来区分块效应与图像的真实边缘和纹理。首先，定义水平一阶差分矩阵为 D_h={d_i,0, d_i,1, …, d_i,N-1}，其中d_i,j为 f(i, j+1)和 f(i, j)差分的绝对值，f(i, j)为第 i行 j 列像素的亮度值，N为图像的宽度。对于视频编码标准中常用的8×8块结构，我们定义一维向量 A=[a0,a1,a2,a3,a4,a5,a6,a7]^T，利用块效应的周期特性，计算a_k 为

其中M和N分别是图像的高和宽，C_x,8·y+k=C_x,8·y+k&C_x,8·y+k &_Cx,8·y+k为权值函数，当 d_x,8·y+k满足全部三个限制条件，即平坦区限制 C_x,8·y+k，块边界限制 C_x,8·y+k和非真实边缘限制 C_x,8·y+k时，权值为 1，否则，权值为 0。

本发明只计算平坦区的块效应来尽量避免将图像纹理误判为块效应，同时人眼对平坦区的块效应比对纹理区的块效应更敏感。可以通过计算相关像素的局部活动性来判断图像的平坦区。这样：

其中：T1 和 T2 为阈值。T1 是一个较小的门限，因此 S 可以用来表示图像局部区域的平滑程度。如果在平坦区域，S通常是一个比较大的值；反之，如果在复杂的区域，S的值就比较小。通过 S 能够进行区域选择，如果 S 大于一个门限 T2 则局部区域为平坦区，只有平坦区中的边界可能参与块边界检测的统计计算；否则，判定局部区域为纹理区，纹理区中的边界不参与块边界检测的统计计算。

对于块边界限制，因通常平坦区块边界两侧像素的差分值大于其相邻同侧像素的差分值，因而C_x,8·y+k被定义为：

为避免将图像的真实边缘误判为块效应，本发明引入非真实边缘限制。因大部分块效应的差分比真实边缘的差分小，因此C_x,8·y+k被定义为：

其中T3为阈值。

这样，根据块效应的周期特性，如果图像存在块效应，向量A中的某个元素应大于其余7个元素，则水平方向的块效应可用下式检测:

其中，m_h 是的 A 最大值元素，μ_h 是 A 除 m_h 之外的均值。如果 M_Detect_h大于阈值 T4，则检测出图像存在明显块效应，需要进行去块效应滤波，以改善图像主观质量；否则，检测出图像不存在明显块效应，不需要进行去块效应滤波，以防止图像被模糊。m_h 对应的边界位置即为水平方向块边界的位置。这里，T4 取值为 2.0。同理，可以检测垂直方向的块边界位置。

一般地，图像的压缩比（原始数据量/压缩后数据量）越大，块效应越严重。通过观察发现，平坦区块效应的特点主要表现为块边界两侧像素的差分值大于其相邻同侧像素的差分值，其差距越大，块效应就越严重。因此，对于已知块边界位置的图像，水平方向的块效应评估值定义为：

其中：

同理可得垂直方向的块效应评估值 M_Evaluate_v。评估块效应程度的综合估计值定义为：

图像的块效应越严重，Metric 值越大， Metric 还与图像的压缩比成近似正比的关系。

在步骤2.3中，图像对比度反映了图像中的目标与背景相比可辨认的清晰程度，对比度越大则图像中所反映的目标信息就越明显，所以它对于评价遥感器的质量至关重要。本发明参考了Haralick提出的基于二阶联合条件概率密度函数

的统计方法，得到灰度共生矩阵，然后再由如下公式计算对比度：

其中，Contrast为对比度值，而

，

为归一化的灰度共生矩阵。灰度共生矩阵（Gray Level Dependence Matrix, GLDM）是由Haralick提出的基于二阶联合条件概率密度函数

的统计方法。每一个

是一对灰度值（i，j）发生在沿角度、相距

的两个像素上的概率，这些估计值形成一个可写成矩阵形式的二维直方图。若将图像的灰度级定为N级，那么共生矩阵为N×N矩阵，可表示为

，其中位于（i，j）的元素^M _ij的值表示一个灰度值为i而另一个灰度值为j的两个相距为

的像素对出现的次数。

共生矩阵用两个位置的象素的联合概率密度来定义，它不仅反映亮度的分布特性，也反映具有同样亮度或接近亮度的象素之间的位置分布特性，是有关图像亮度变化的二阶统计特征。它是定义一组纹理特征的基础。

一幅图像的灰度共生矩阵能反映出图象灰度关于方向、相邻间隔、变化幅度的综合信息，它是分析图象的局部模式和它们排列规则的基础。

设

为一幅二维数字图象，其大小为

，灰度级别为Ng，则满足一定空间关系的灰度共生矩阵为：

其中

表示集合x中的元素个数，显然P为

的矩阵，若

与

间距离为d，两者与坐标横轴的夹角为θ，则可以得到各种间距及角度的灰度共生矩阵

。

纹理特征提取的一种有效方法是以灰度级的空间相关矩阵即共生矩阵为基础，因为图像中相距的两个灰度像素同时出现的联合频率分布可以用灰度共生矩阵来表示。若将图像的灰度级定为N级，那么共生矩阵为矩阵，可表示为

，其中位于

的元素mhk的值表示一个灰度为h而另一个灰度为k的两个相距为

的像素对出现的次数。

对于粗纹理的区域，其灰度共生矩阵的mhk值较集中于主对角线附近。因为对于粗纹理，像素对趋于具有相同的灰度。而对于细纹理的区域，其灰度共生矩阵中的mhk值则散布在各处。

设原图像为：

，

，

灰度共生矩阵为：

其中：

，

，

，这里中我们取

。

在步骤2.4中，边缘能量从图像频域的高频分量的角度来描述图像的边缘形状特征。边缘是图像关于形状特征的重要信息。边缘是图像的高频信息，但不同于噪声信号，它是有方向性的，可通过各向异性的滤波器来提取。

图像的边缘能量说明了图像中边缘的丰富和清晰程度。本发明使用 45°，135°两个归一化边缘算子E1，E2分别对图像进行卷积计算消除方块效应，相加后得到图像边缘

，即

其中：

，为图像上 (i, j) 点的灰度值，

为边缘平均能量，

m、n 为图像宽和高。

其中步骤2中各个分步骤可以按照不同的次序执行或者同时执行。

1、准确性更高；

2、分析更全面；

3、更符合人类的主观感受。

以上所述只是本发明优选的实施方式，其并不构成对本发明保护范围的限制，只要是以基本相同的手段实现本发明的目的都应属于本发明的保护范围。

Claims

1.一种无参考视频质量客观评估方法，其特征在于：所述评估方法基于数个评估视频质量的品质参数分别对视频文件进行处理计算，并将计算出的所述品质参数的值合成最终视频质量评估值，其中所述品质参数包括块效应、信噪比、对比度以及边缘能量，所述评估方法还包括以下步骤：

1）预处理，其包括以下分步骤：

1．1）获取需评估的视频文件，对获取的视频文件进行分帧处理，以将所取得的视频文件分解为单帧图片；

1．2）对取得的帧图片进行重复帧检测并去掉帧的边缘；

2）参数提取，对所取得的帧图片进行处理计算分别取得所述品质参数的值，其包括以下分步骤：

2．1）对取得的帧图片进行均值滤波，再基于所述帧图片均值滤波前、后的灰度像素值计算出信噪比的值；

2．2）基于人眼视觉特性，引入包括有平坦区限制，块边界限制和非真实边缘限制的限制条件以区分块效应与图像的真实边缘和纹理，使用一阶差分的统计分析对块效应参数的值进行计算；

2．3）基于二阶联合条件概率密度函数，得到灰度共生矩阵，然后再基于所得到的灰度共生矩阵计算出对比度的值；

2．4）通过各向异性的滤波器来提取帧图片边缘能量值，其中基于帧图片的图像灰度值对帧图片进行卷积计算消除方块效应，并得到图像边缘值，再基于所述图像边缘值进行计算出边缘平均能量的值；

3）参数合成：在得到每一帧图片的所述品质参数的值之后，通过线性拟合得到最终的视频质量评估值。