CN104079925B - 基于视觉感知特性的超高清视频图像质量客观评价方法 - Google Patents

Abstract

本发明涉及基于视觉感知特性的超高清视频图像质量客观评价方法。所述方法包括：对输入的原始超高清视频序列和受损超高清视频序列的每一帧进行16×16的分块(即宏块)，分别求得每个块的结构相似值SSIM_ij；计算超高清视频图像中每一宏块的权重w_ij；对当前帧每一宏块的SSIM_ij值用w_ij进行加权，得到单帧的超高清图像质量；对整个视频序列的每一帧图像质量值进行加权，得到整个视频序列的图像质量客观评价结果。本发明在现有SSIM算法的基础上，不但考虑亮度掩盖因子、纹理复杂度、运动信息，而且考虑超高清视频高分辨率及人眼视觉特性，对空间位置信息进行加权。实验表明，本发明所述方法相比传统的SSIM算法，在与主观评价结果的一致性方面有很大提高。

Description

基于视觉感知特性的超高清视频图像质量客观评价方法

技术领域

本发明属于计算机数字视频图像处理领域，涉及一种基于视觉感知特性的超高清视频图像质量客观评价方法。

背景技术

人们对高质量图像和声音的追求是永无止境的。近年来，随着视频编码和网络技术的快速发展，人们已不满足于HDTV的图像质量，转而追求更具临场感及更高清晰度的下一代电视格式。因而产生了比HDTV具有更大视角更高分辨率的电视标准——超高清晰度电视(UHDTV)。超高清晰度电视即为具有极高的图像清晰度和极强的环绕立体声效果的系统。其目标是为观众提供较高的真实感和临场感。ITU-RBT.2020建议书《ParametervaluesforUHDTVsystemsforproductionandinternationalprogrammeexchange(适用于节目制作和国际节目交换的、超高清电视系统的一些参数值)》，规定了两个层级的超高清电视UHDTV1(3840×2160)与UHDTV2(7680×4320)。如此高的分辨率能够给观众呈现出令人难以置信的细腻显示效果，让观众全面体验超高清画质的震撼魅力。

超高清图像技术的发展必定伴随着图像的获取、处理、编码、存储、传输、显示等过程。因此超高清图像技术与图像处理、视频编解码、信息传输显示等技术是相辅相成、相互制约、相互发展的。而一项成熟发展的科学技术，必定伴随着科学的测量方法以鉴定其优劣。通过视频图像的质量评价，能对不同的视频技术进行性能比较。只有好的质量评价方法才能提供准确的指导方向，使视频技术得以快速发展。因而图像质量评价方法的好坏显得尤为重要。值得一提的是，超高清图像其惊人的清晰度是以其巨大的码率为代价的，这意味着为了存储和传输的方便与有效性，就必须得通过压缩编码尽可能降低码率，而为了达到所要求的比特率，就不得不舍弃一些图像信息，从而产生了图像失真，对图像的质量产生影响。因此，如何评定压缩后的超高清图像质量是超高清关键技术发展过程中人们所密切关心的一大问题。

综上所述，如何评价超高清视频质量，从而能通过其质量来重新对视频图像编解码、视频图像传输、视频图像处理、视频图像显示等技术进行设计、选择、优化、性能评价等具有重大意义。

视频质量评价方法分为主观评价和客观评价。主观评价根据观测人员对被测数据的主观感觉进行质量评价，是基于人眼的直接观察来评价图像质量，因此是国际上公认最可靠的视频和图像质量评价方法。主观评价的优点是质量等级标准建立容易、实施方便，且符合人眼视觉特性。不足之处在于受环境条件限制大，稳定性差，复杂度高，因此结果稳定性和可移植性也较差。此外，在实际应用中，受外在因素的影响，主观质量评价也不适合某些应用场合，如实时视频传输等领域。

针对主观评价应用的局限性，视频图像质量客观评价方法逐渐成为研究热点。客观评价是指对图像和视频数据建立数学模型，经过一系列计算，得到一个反映其视频质量损伤程度的参数，作为评价结果。

全参考视频质量客观评价方法就是在全部原始视频和失真视频信息已知的条件下，通过计算二者之间的差异以获得相对评估的指标值，并根据这些指标值评估图像质量，准确性高。该方法通常分为两步，首先计算原始与失真图像之间的误差，然后综合这些失真得到全图的质量分数。

目前视频质量的客观评价方法已有很多种，最常用的是峰值信噪比(PSNR)和均方误差(MSE)，这种方法原理简单，易于实现，但这两种方法没有考虑人眼的视觉特性而将每个像素同等对待，致使主客观质量评价结果不一致。ZhouWang等人在“ImageQualityAssessment:fromErrorVisibilitytoStructuralSimilarity”一文中从图像的结构信息入手，提出了一种基于结构相似度(SSIM,StructuralSIMilarity)的图像质量测度。这种方法基于“人类视觉系统主要用于且非常适用于从视场中提取结构信息”的理念，从而把图像质量评价的标准从对误差的度量变成了对于结构失真的度量，并将图像的退化看作图像结构信息的丢失。这种方法没有考虑图像的边缘信息，对高度模糊的图像评价效果很差。基于SSIM方法，ChenGuanhao等人在“Gradient-basedStructuralSimilarityforImageQualityAssessment”一文中提出了基于结构边缘信息(ESSIM)的图像质量评价方法，对模糊失真的图像有一定的改善。但是上述几种方法没有考虑到视频中帧与帧之间的时间相关性，只能用于图像的质量评价。视频质量的评价必须同时考虑到视频的时间信息或者运动信息。卢国庆等人在“基于运动信息和结构信息的视频质量评价方法”一文中提出了基于运动信息和结构信息(MESSIM)的视频质量评价方法，但是该方法在单帧图像质量评价时没有考虑到局部失真时的边缘结构信息。

发明内容

针对目前的图像质量客观评价方法并不完全适用于超高清视频的问题，本发明在SSIM模型基础上，提出了一种基于视觉感知特性的超高清视频图像质量客观评价方法。该方法不仅考虑了视频图像的结构信息和运动信息等因素对人眼视觉的影响，还考虑了人眼对超高清视频的注意区域以及亮度的影响，能够较好地模拟人眼的视觉机制。

为实现上述目的，本发明采用以下技术方案：

步骤1，对输入的原始超高清视频序列和受损超高清视频序列的每一帧进行16×16的分块(即宏块)，分别提取每一宏块原始图像和失真图像的亮度变化信息，然后提取图像的对比度变化信息，在此基础上再提取图像的结构变化信息，并对以上提取的三种变化进行相似性比较，最后对其比较结果进行综合，从而得到一种相似性度量指标，并以此指标作为该宏块图像质量好坏的评价尺度，即SSIM_ij值。

步骤2，计算超高清视频图像中每一宏块的权重w_ij。

(1)根据原始超高清图像中当前宏块所处空间位置，得到其空间位置权重p_ij；

(2)根据原始超高清图像中当前宏块的亮度均值，得到其亮度掩盖因子l_ij；

(3)计算原始超高清图像中当前宏块的纹理复杂度，得到其纹理复杂度权重s_ij；

(4)计算原始超高清图像当前宏块相对于前一帧的运动矢量，得到其运动信息权重v_ij；

(5)综合以上四种权重得到每个宏块最终的加权系数：w_ij＝p_ij×l_ij×s_ij×v_ij。

步骤3，对当前帧每一宏块的SSIM_ij值用w_ij进行加权，得到单帧的超高清图像质量。

步骤4，对整个视频序列的每一帧图像质量值进行加权，得到整个视频序列的图像质量客观评价结果。

本发明的有益效果是：对比现有文献和专利提出的方法，本发明所述的视频质量客观评价方法在现有SSIM算法的基础上，不但考虑了亮度掩盖因子、纹理复杂度、运动信息，而且考虑了超高清视频高分辨率及人眼视觉特性，对空间位置信息进行了加权。对DucksTakeOff和ParkJoy两个序列各8个码率的视频序列，采用本发明所述方法和SSIM算法分别计算图像的客观评价质量，采用本发明所述方法得到的客观评价结果与主观评价结果的皮尔森相关系数为93.03％，而采用SSIM算法得到的皮尔森相关系数仅为16.15％。实验表明，对于超高清视频序列，本发明所述方法相比传统的SSIM算法，在与主观评价结果的一致性方面有很大提高。

附图说明

图1为结构相似度SSIM计算方法示意图；

图2为空间位置区域划分示意图；

图3为亮度归一化敏感曲线；

图4为本发明所述方法的结构框图；

图5为应用本发明所述方法得到的客观评价结果与主观评价结果拟合图；

图6为应用SSIM方法得到的客观评价结果与主观评价结果拟合图。

具体实施方式

一种基于视觉感知特性的超高清视频图像质量客观评价方法，考虑了超高清视频的空域及时域特性，其特征在于包括以下步骤：

步骤1，对超高清视频中每一帧图像进行16×16的分块，分别求得每个块的结构相似值，即SSIM。

求SSIM的方法如图1所示。首先对超高清视频序列中每一帧图像进行16×16的分块(即宏块)，分别提取每一宏块原始图像和失真图像的亮度变化信息，然后提取图像的对比度变化信息，在此基础上再提取图像的结构变化信息，并对以上提取的三种变化进行相似性比较，最后对其比较结果进行综合，从而得到一种相似性度量指标，并以此指标作为该宏块图像质量好坏的评价尺度。

每个宏块的结构相似值为：

SSIMi_j(X,Y)＝[li_j(X,Y)]^α[ci_j(X,Y)]^β[si_j(X,Y)]^γ

其中，X为原始超高清视频序列，Y为受损超高清视频序列。α＞0、β＞0和γ＞0是用于调整式中三个分量的相对重要性。l_ij(X,Y)、c_ij(X,Y)和s_ij(X,Y)分别为亮度比较函数、对比度比较函数和结构比较函数。

亮度比较函数为：

$l_{\mathrm{ij}}(X,Y)=\frac{2{\mathrm{\μ}}_{\mathrm{ijx}}{\mathrm{\μ}}_{\mathrm{ijx}}+C_1}{{\mathrm{\μ}}_{\mathrm{ijx}}^2+{\mathrm{\μ}}_{\mathrm{ijy}}^2+C_1}$

其中，

${\mathrm{\μ}}_{\mathrm{ijx}}=\frac{1}{N}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{x}_n$

${\mathrm{\μ}}_{\mathrm{ijy}}=\frac{1}{N}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{y}_n$

式中，x_n为原始超高清视频序列第i帧第j个宏块内各像素点亮度值；y_n为受损超高清视频序列第i帧第j个宏块内各像素点亮度值；N为宏块亮度像素点总数，取值为256；C₁是为避免当十分接近零(两幅图像对应宏块中，各像素点的亮度值基本一样)时，l_ij(X,Y)产生奇异性和不稳定性而引入的常数。

对比度比较函数为：

$c_{\mathrm{ij}}(X,Y)=\frac{{2\mathrm{\σ}}_{\mathrm{ijx}}{\mathrm{\σ}}_{\mathrm{ijy}}+C_2}{{\mathrm{\σ}}_{\mathrm{ijx}}^2+{\mathrm{\σ}}_{\mathrm{ijy}}^2+C_2}$

其中，

${\mathrm{\σ}}_{\mathrm{ijx}}=\sqrt{\frac{1}{N-1}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{(x_n-{\mathrm{\μ}}_{\mathrm{ijx}})}^2}$

${\mathrm{\σ}}_{\mathrm{ijy}}=\sqrt{\frac{1}{N-1}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{(y_n-{\mathrm{\μ}}_{\mathrm{ijy}})}^2}$

式中，C₂为作用与C₁相同的常数。

结构比较函数为：

$s_{\mathrm{ij}}(X,Y)=\frac{{\mathrm{\σ}}_{\mathrm{ijxy}}+C_3}{{\mathrm{\σ}}_{\mathrm{ijx}}{\mathrm{\σ}}_{\mathrm{ijy}}+C_3}$

其中，

${\mathrm{\σ}}_{\mathrm{ijxy}}=\frac{1}{N-1}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}(x_n-{\mathrm{\μ}}_{\mathrm{ijx}})(y_n-{\mathrm{\μ}}_{\mathrm{ijy}})$

式中，C₃为作用与C₁、C₂相同的常数。

步骤2，计算原始超高清视频序列中第i帧第j个宏块的权重w_ij。

w_ij的取值由四部分组成：空间位置信息权重，亮度掩盖因子，纹理复杂度权重和运动信息权重，分别用p_ij，l_ij，s_ij，v_ij表示。

(1)计算空间位置信息权重p_ij

空间位置信息权重的获得依据人眼视觉特性，将超高清图像按空间位置分区。通常眼珠不转动，凝视物体时，能清晰地看出物体内容的视场区域对应的双眼视角大约是35°×20°，故将此区域换算为像素点为1920×1080(取16×16的整数倍)。依此将整幅图像划分为9个不同的区域，共取三个不同的权重，如图2所示。

①区为中心区域，即对应画面中心的1920×1080个像素点，②区为中心四周区域，③区为边缘区域。由于人眼对图像中心区域的关注程度往往要比中心四周及边缘要高，所以对三个区域按信息重要性进行排列：①区>②区>③区，依此给三个区域图像按其重要程度分配权重值ρ₁，ρ₂，ρ₃，ρ_i∈{ρ|0≤ρ≤1}，且满足根据人眼视觉特性，在这里取ρ₁＝0.6，ρ₂＝0.3，ρ₃＝0.1。

本发明中，根据第i帧第j个宏块在整帧图像中所处位置分别赋予相应的权重，即如果该宏块在①区，则其空间位置信息权重取ρ₁，即p_ij＝0.6；如果该宏块在②区，则其空间位置信息权重取ρ₂，即p_ij＝0.3；如果该宏块在③区，则其空间位置信息权重取ρ₃，即p_ij＝0.1。

(2)计算亮度掩盖因子l_ij

根据人眼视觉特性，人眼对于发生在不同亮度区域噪声的敏感特性是不同的，中等灰度在人眼中表现为最敏感，而高灰度与低灰度两个方向的敏感度都呈现出非线性下降趋势。如果亮度掩盖因子为l_ij，图像宏块亮度均值为m，对应关系如图3所示，l_ij的数学表达式为：

$l_{\mathrm{ij}}=\left\{\begin{array}{cc}\frac{(0.2-1){(m-T_1)}^2}{{T_1}^2}+1,& m\&le;T_1\\ 1,& T_1<m<T_2\\ \frac{(0.2-1){(m-T_2)}^2}{{T_2}^2}+1,& m\&GreaterEqual;T_2\end{array}\right.---\left(1\right)$

式中，T₁、T₂为亮度均值阈值。超高清视频采用10bit量化，其亮度的取值范围为0～1023，依此对T₁、T₂设定不同的值，在这里T₁取340，T₂取680。

本发明中，对原始超高清视频序列中第i帧第j个宏块计算其亮度均值，从而根据式(1)确定该宏块的亮度掩盖因子l_ij。

(3)计算纹理复杂度s_ij

按照纹理的不同特性，可以将视频分为结构纹理区域和随机纹理区域。结构纹理区域的纹理较为简单，与周围图像关联性较低；随机纹理区域的纹理较为丰富，空间对比度低，与周围图像关联性较髙。HVS(HumanVisualSystem,人眼视觉系统)特性研究表明，结构纹理区域内的失真效应更加容易吸引人类的注意。一般来说，结构纹理区域的边界具有较长连续性，转折和断点较少，与之相对，随机纹理区域的边界较短，方向和长度的差异较大。因此，根据每个区域内的边缘点数和边缘方向来区分结构纹理区域和随机纹理区域，继而得到该区域的纹理复杂度。统计原始超高清视频序列中第i帧第j个宏块内梯度方向种类和边缘像素数，以此来估计该宏块的纹理复杂度。

首先用Prewitt算子对整帧图像进行卷积，提取边缘像素点，分别计算每个像素点的水平和垂直梯度(G_hor,G_ver)，以及每个像素点的梯度方向θ(m,n)：

$\mathrm{\&theta;}(m,n)=\arctan \frac{G_{\mathrm{ver}}(m,n)}{G_{\mathrm{hor}}(m,n)}$

其中，

G_hor(m,n)＝I(m,n)*S_hor

G_ver(m,n)＝I(m,n)*S_ver

式中，I(m,n)为原始超高清图像，S_hor、S_ver为Prewitt方向模板。

$S_{\mathrm{hor}}=\left[\begin{array}{ccc}-1& 0& 1\\ -1& 0& 1\\ -1& 0& 1\end{array}\right],S_{\mathrm{ver}}=\left[\begin{array}{ccc}1& 1& 1\\ 0& 0& 0\\ -1& -1& -1\end{array}\right]$

将[0，360°)划分为4个不同的方向，据此将梯度方向θ(m,n)分为以下4类：

$\begin{array}{c}\mathrm{\&theta;}(m,n)\&Element;\{-\frac{\mathrm{\&pi;}}{8}~\frac{\mathrm{\&pi;}}{8}\mathrm{or}\frac{7\mathrm{\&pi;}}{8}~\frac{9\mathrm{\&pi;}}{8},\frac{\mathrm{\&pi;}}{8}~\frac{3\mathrm{\&pi;}}{8}\mathrm{or}\frac{9\mathrm{\&pi;}}{8}~\frac{11\mathrm{\&pi;}}{8},\frac{3\mathrm{\&pi;}}{8}~\frac{5\mathrm{\&pi;}}{8}\\ \mathrm{or}\frac{11\mathrm{\&pi;}}{8}~\frac{13\mathrm{\&pi;}}{8},\frac{5\mathrm{\&pi;}}{8}~\frac{7\mathrm{\&pi;}}{8}\mathrm{or}\frac{13\mathrm{\&pi;}}{8}~\frac{15\mathrm{\&pi;}}{8}\}\end{array}$

然后，统计原始超高清视频序列中第i帧第j个宏块内边缘像素总数n_edge和梯度方向的种类k_θ。则该宏块的纹理复杂度s_ij计算公式如下：

$s_{\mathrm{ij}}=\left\{\begin{array}{cc}0.5,& \mathrm{if}(k_{\mathrm{\&theta;}}=0)\\ 1,& \mathrm{if}(k_{\mathrm{\&theta;}}=1)\\ (2-c_e)/2,& \mathrm{if}(k_{\mathrm{\&theta;}}=2)\\ (1.6-c_e)/2,& \mathrm{if}(k_{\mathrm{\&theta;}}=3)\\ 0.2,& \mathrm{else}\end{array}\right.$

其中，

$c_e=\left\{\begin{array}{cc}1& -f(n_{\mathrm{edge}}>T_{\mathrm{edge}})\\ 0& \mathrm{else}\end{array}\right.$

式中，T_edge为宏块内边缘像素点个数阈值，s_ij的取值范围为(0，1)，当s_ij趋向0时，代表该区域纹理丰富，属于随机纹理区域，其失真效应不容易被人眼察觉；当s_ij趋向1时，代表该区域纹理简单，属于结构纹理区域，人眼对其失真效应比较敏感。

(4)计算运动信息权重v_ij

根据人眼视觉特性，运动速率不同时，人眼会对视频失真产生不同程度的掩盖效应。同等失真情况下，人眼感知到的失真随运动速率的不同而不同。所以需要对不同的运动信息加以不同的权值。在实际场景中，出现运动场面主要有以下两种情况：

1)整个场景变化不大，只有部分对象在运动或变化。根据人眼视觉特性，当观看这样的场景时，人眼关注的是场景运动和变化的对象，此部分信息就是人眼比较敏感的信息，应给这部分信息一个比较大的权重。

2)整个场景运动剧烈，人眼很难分辨出视频中内容的细节部分。按照运动剧烈宏块所占比例分为两种情况：

①运动剧烈宏块比重超过80％，说明该帧运动矢量均较大，根据人眼视觉特性，人眼更关注相对变化较小的对象，故此部分信息应赋予比较大的权重；

②如果运动剧烈宏块比重小于80％，则说明该帧大部分物体变化不是非常剧烈，人眼会对高速运动的部分比较敏感，故对此部分赋予较高的权值。

在本发明中，采用基于宏块的运动估计算法依据前一帧对当前宏块进行运动估计，得到每个宏块的运动矢量，并采用运动矢量平均值作为评价整个场景运动情况的标准，如果帧平均运动矢量值M_i小于16判断为第一种情况，否则判断为第二种情况。

针对两种情况分别采用以下加权公式：

对于第一种情况：

$v_{\mathrm{ij}}=\left\{\begin{array}{cc}1,& m_{\mathrm{ij}}\&le;12\\ 2-(20-m_{\mathrm{ij}})/8,& 12<m_{\mathrm{ij}}\&le;20\\ 2,& m_{\mathrm{ij}}>20\end{array}\right.$

对于第二种情况又分为两种情况：

$v_{\mathrm{ij}}=\left\{\begin{array}{cc}2,& m_{\mathrm{ij}}\&le;45\\ 1+(55-m_{\mathrm{ij}})/8,& 45<m_{\mathrm{ij}}\&le;55\\ 1,& m_{\mathrm{ij}}>55\end{array}\right.$

$v_{\mathrm{ij}}=\left\{\begin{array}{cc}1,& m_{\mathrm{ij}}\&le;45\\ 2-(55-m_{\mathrm{ij}})/8,& 45<m_{\mathrm{ij}}\&le;55\\ 2,& m_{\mathrm{ij}}>55\end{array}\right.$

其中，m_ij表示原始超高清视频序列中第i帧图像的第j个宏块的运动矢量值，R_s表示一帧中宏块的个数。

(5)计算每个宏块最终权重

综合以上四种考虑得到每个宏块最终的加权系数：

w_ij＝p_ij×l_ij×s_ij×v_ij

步骤3，计算视频序列中单帧图像质量。

对于视频中每一帧图像质量进行加权处理，得到整个视频序列的客观评价结果，加权公式如下：

$Q_i=\frac{{\mathrm{\&Sigma;}}_{j=1}^{R_s}{w}_{\mathrm{ij}}{\mathrm{SSIM}}_{\mathrm{ij}}}{{\mathrm{\&Sigma;}}_{j=1}^{R_s}{w}_{\mathrm{ij}}}$

式中，Q_i表示视频序列中第i帧图像的质量，w_ij表示第i帧第j块的加权系数，R_s表示一帧中宏块的个数。

步骤4，计算整个视频序列的客观评价质量。

对于视频中每一帧图像失真和整个视频段失真采取如下公式进行加权处理，公式如下：

$\mathrm{WeightSSIM}=\frac{{\mathrm{\&Sigma;}}_{i=1}^F{W}_i{Q}_i}{{\mathrm{\&Sigma;}}_{i=1}^F{W}_i}$

式中，F表示序列中帧的数量，W_i表示第i帧的权重值，Q_i为步骤3计算得到的第i帧图像的质量，WeightSSIM为最终的视频序列客观评价结果。

由于人在观看视频时很容易注意到受损图像，且其对整个视频的图像质量会造成比较大的影响，所以对图像质量较差的帧赋予较高的权值，对图像质量好的帧赋予较小的权值。W_i的选取采用以下原则：

$W_i=\left\{\begin{array}{cc}1,& 0.8<Q_i\&le;1\\ 2,& 0.6<Q_i\&le;0.8\\ 3,& 0.4<Q_i\&le;0.6\\ 4,& 0.2<Q_i\&le;0.4\\ 5,& 0<Q_i\&le;0.2\end{array}\right..$

下面通过实验数据对本发明所述方法与SSIM算法进行比较。

采用ParkJoy和DucksTakeOff两个超高清视频信号源，其分辨率为3840×2160，量化比特数为10，每个序列10秒长，帧率为50fps，共500帧，色度取样格式为4：2：0。每个序列被压缩成8个码率，分别为12Mbps,15Mbps,18Mbps,23Mbps,28Mbps,32Mbps,36Mbps和40Mbps。表1给出了采用本发明所述方法与SSIM算法对2个序列各8个码率的视频序列的主观评价结果、客观评价结果，表中的WeightSSIM和SSIM分别表示采用本发明所述方法与SSIM算法得到的客观评价结果。根据表1中的数据计算客观评价结果与主观评价结果的皮尔森相关系数，计算结果表明：采用本发明所述方法得到的客观评价结果与主观评价结果的皮尔森相关系数为93.03％，而采用SSIM算法的皮尔森相关系数仅为16.15％。因此，对于超高清视频序列，本发明所述方法相比传统的SSIM算法有很大提高。

图5和图6分别为采用本发明所述方法与SSIM算法得到的与主观评价结果的拟合曲线图。其中，横坐标表示主观评价结果，即通过主观评价由观察员对各序列进行打分得到的平均值，纵坐标表示采用客观评价算法得到的评价结果。“◇”表示ParkJoy序列各码率主、客观评价结果，“×”表示DucksTakeOff序列各码率主、客观评价结果。由图6可以看出，两个不同的视频序列各码率客观评价结果与主观评价结果的关系曲线不一致，说明SSIM算法对于不同的视频序列的普适性不够好；而从图5可以看出，对两个不同视频序列各码率的客观评价结果与主观评价结果的关系曲线基本一致，说明本发明所述方法相较于传统的SSIM算法更加符合人眼视觉特性，更适用于超高清视频序列的客观质量评价。由于本算法中充分考虑了人眼视觉特性，包括空间位置信息、亮度掩盖、纹理复杂度及运动对人眼的影响，使得客观评价结果与主观评价结果的一致性更好，验证了本文模型及评价方法的优良性。但是，目前人类对自身的认识还有待加深，基于人眼视觉系统的视频质量评价仍然存在许多技术难点有待突破。

表1主客观评价结果对照表

Claims (2)

1.基于视觉感知特性的超高清视频图像质量客观评价方法，其特征在于包括以下步骤：

步骤1，对超高清视频中每一帧图像进行16×16的分块，分别求得每个块的结构相似值，即SSIM_ij；

步骤2，计算原始超高清视频序列中第i帧第j个宏块的权重w_ij，公式如下：

w_ij＝p_ij×l_ij×s_ij×v_ij

其中，p_ij、l_ij、s_ij、v_ij分别表示空间位置信息权重、亮度掩盖因子、纹理复杂度权重和运动信息权重；

步骤3，计算视频序列中单帧图像质量；

对于超高清视频序列中单帧图像质量，采用对每个16×16宏块局部失真加权形式获得，计算公式如下：

$Q_i=\frac{{\mathrm{\&Sigma;}}_{j=1}^{R_s}{w}_{ij}{\mathrm{SSIM}}_{ij}}{{\mathrm{\&Sigma;}}_{j=1}^{R_s}{w}_{ij}}$

式中，Q_i表示视频序列中第i帧图像的质量，w_ij表示第i帧第j块的加权系数，R_s表示一帧中宏块的个数；

步骤4，计算整个视频序列的客观评价质量；

对于视频中每一帧图像质量进行加权处理，得到整个视频序列的客观评价结果，加权公式如下：

$WeightSSIM=\frac{{\mathrm{\&Sigma;}}_{i=1}^F{W}_i{Q}_i}{{\mathrm{\&Sigma;}}_{i=1}^F{W}_i}$

式中，F表示序列中帧的数量，W_i表示第i帧的权重值，Q_i为步骤3计算得到的第i帧图像的质量，WeightSSIM为最终的视频序列客观评价结果；

由于人在观看视频时很容易注意到受损图像，且其对整个视频的图像质量会造成比较大的影响，所以对图像质量较差的帧赋予较高的权值，对图像质量好的帧赋予较小的权值；W_i的选取采用以下原则：

$W_i=\left\{\begin{array}{cc}1,& 0.8<Q_i\&le;1\\ 2,& 0.6<Q_i\&le;0.8\\ 3,& 0.4<Q_i\&le;0.6\\ 4,& 0.2<Q_i\&le;0.4\\ 5,& 0<Q_i\&le;0.2\end{array}\right.$

步骤2所述空间位置信息权重、亮度掩盖因子、纹理复杂度权重和运动信息权重的计算方法如下：

(1)计算空间位置信息权重p_ij

空间位置信息权重的设定依据人眼视觉特性，将超高清图像按空间位置分区；通常眼珠不转动，凝视物体时，能清晰地看出物体内容的视场区域对应的双眼视角大约是35°×20°，故将此区域换算为像素点为1920×1080；依此将整幅图像划分为9个不同的区域，共取三个不同的权重；

①区为中心区域，②区为中心四周区域，③区为边缘区域；由于人眼对图像中心区域的关注程度往往要比中心四周及边缘要高，所以对三个区域按信息重要性进行排列：①区>②区>③区，依此给三个区域图像按其重要程度分配权重值ρ₁，ρ₂，ρ₃，ρ_i∈{ρ|0≤ρ≤1}，且满足根据人眼视觉特性，在这里取ρ₁＝0.6，ρ₂＝0.3，ρ₃＝0.1；

根据第i帧第j个宏块在整帧图像中所处位置分别赋予相应的权重，即如果该宏块在①区，则其空间位置信息权重取ρ₁，即p_ij＝0.6；如果该宏块在②区，则其空间位置信息权重取ρ₂，即p_ij＝0.3；如果该宏块在③区，则其空间位置信息权重取ρ₃，即p_ij＝0.1；

(2)计算亮度掩盖因子l_ij

根据人眼视觉特性，人眼对于发生在不同亮度区域噪声的敏感特性是不同的，中等灰度在人眼中表现为最敏感，而高灰度与低灰度两个方向的敏感度都呈现出非线性下降趋势；如果亮度掩盖因子为l_ij，图像宏块亮度均值为m，l_ij的数学表达式为：

$l_{ij}=\left\{\begin{array}{cc}\frac{(0.2-1){(m-T)}^2}{{T_1}^2}+1,& m\&le;T_1\\ 1,& T_1<m<T_2\\ \frac{(0.2-1){(m-T_2)}^2}{{T_2}^2}+1,& m\&GreaterEqual;T_2\end{array}\right.$

式中，T₁、T₂为亮度均值阈值；超高清视频采用10bit量化，其亮度的取值范围为0～1023，依此对T₁、T₂设定不同的值；

(3)计算纹理复杂度权重s_ij

统计原始超高清视频序列中第i帧第j个宏块内梯度方向种类和边缘像素数，以此来估计该宏块的纹理复杂度；

首先用Prewitt算子对整帧图像进行卷积，提取边缘像素点，分别计算每个像素点的水平和垂直梯度(G_hor,G_ver)，以及每个像素点的梯度方向θ(a,b)：

$\mathrm{\&theta;}(a,b)=arctan\frac{G_{ver}(a,b)}{G_{hor}(a,b)}$

其中，

G_hor(a,b)＝I(a,b)*S_hor

G_ver(a,b)＝I(a,b)*S_ver

式中，I(a,b)为原始超高清图像，S_hor、S_ver为Prewitt方向模板；

$S_{hor}=\left[\begin{array}{ccc}-1& 0& 1\\ -1& 0& 1\\ -1& 0& 1\end{array}\right],S_{ver}=\left[\begin{array}{ccc}1& 1& 1\\ 0& 0& 0\\ -1& -1& -1\end{array}\right]$

将[0，360°)划分为4个不同的方向，据此将梯度方向θ(a,b)分为以下4类：

$\begin{array}{c}\mathrm{\&theta;}(a,b)\&Element;\{-\frac{\mathrm{\&pi;}}{8}~\frac{\mathrm{\&pi;}}{8}or\frac{7\mathrm{\&pi;}}{8}~\frac{9\mathrm{\&pi;}}{8},\frac{\mathrm{\&pi;}}{8}~\frac{3\mathrm{\&pi;}}{8}or\frac{9\mathrm{\&pi;}}{8}~\frac{11\mathrm{\&pi;}}{8},\frac{3\mathrm{\&pi;}}{8}~\frac{5\mathrm{\&pi;}}{8}\}\\ or\frac{11\mathrm{\&pi;}}{8}~\frac{13\mathrm{\&pi;}}{8},\frac{5\mathrm{\&pi;}}{8}~\frac{7\mathrm{\&pi;}}{8}or\frac{13\mathrm{\&pi;}}{8}~\frac{15\mathrm{\&pi;}}{8}\}\end{array}$

然后，统计原始超高清视频序列中第i帧第j个宏块内边缘像素总数n_edge和梯度方向的种类k_θ；则该宏块的纹理复杂度s_ij计算公式如下：

$s_{ij}=\left\{\begin{array}{cc}0.5,& if(k_{\mathrm{\&theta;}}=0)\\ 1,& if(k_{\mathrm{\&theta;}}=1)\\ (2-c_e)/2,& if(k_{\mathrm{\&theta;}}=2)\\ (1.6-c_e)/2,& if(k_{\mathrm{\&theta;}}=3)\\ 0.2,& else\end{array}\right.$

其中，

$c_e=\left\{\begin{array}{cc}1& if(n_{edge}>T_{edge})\\ 0& else\end{array}\right.$

式中，T_edge为宏块内边缘像素点个数阈值，s_ij的取值范围为(0，1)，当s_ij趋向0时，代表该区域纹理丰富，属于随机纹理区域，其失真效应不容易被人眼察觉；当s_ij趋向1时，代表该区域纹理简单，属于结构纹理区域，人眼对其失真效应比较敏感；

(4)计算运动信息权重v_ij

根据人眼视觉特性，运动速率不同时，人眼会对视频失真产生不同程度的掩盖效应；同等失真情况下，人眼感知到的失真随运动速率的不同而不同；所以需要对不同的运动信息加以不同的权值；在实际场景中，出现运动场面主要有以下两种情况：

1)整个场景变化不大，只有部分对象在运动或变化；根据人眼视觉特性，当观看这样的场景时，人眼关注的是场景运动和变化的对象，此部分信息就是人眼比较敏感的信息，应给这部分信息一个比较大的权重；权重公式为：

$v_{ij}=\left\{\begin{array}{cc}1,& m_{ij}\&le;12\\ 2-(20-m_{ij})/8,& 12<m_{ij}\&le;20\\ 2,& m_{ij}>20\end{array}\right.$

式中，m_ij表示原始超高清视频序列中第i帧图像的第j个宏块的运动矢量值；

2)整个场景运动剧烈，人眼很难分辨出视频中内容的细节部分；按照运动剧烈宏块所占比例分为两种情况：

①运动剧烈宏块比重超过80％，说明该帧运动矢量均较大，根据人眼视觉特性，人眼更关注相对变化较小的对象，故此部分信息应赋予比较大的权重；权重公式为：

$v_{ij}=\left\{\begin{array}{cc}2,& m_{ij}\&le;45\\ 1+(55-m_{ij})/8,& 45<m_{ij}\&le;55\\ 1,& m_{ij}>55\end{array}\right.$

②如果运动剧烈宏块比重小于80％，说明该帧大部分物体变化不是非常剧烈，人眼会对高速运动的部分比较敏感，故对此部分赋予较大的权值；权重公式为：

$v_{ij}=\left\{\begin{array}{cc}1,& m_{ij}\&le;45\\ 2-(55-m_{ij})/8,& 45<m_{ij}\&le;55\\ 2,& m_{ij}>55\end{array}\right.$

判断步骤(4)所述1)、2)两种不同运动情况的方法如下：

采用基于宏块的运动估计算法依据前一帧对当前宏块进行运动估计，得到每个宏块的运动矢量，并采用运动矢量平均值作为评价整个场景运动情况的标准，如果帧平均运动矢量值小于16判断为1)中的情况，否则判断为2)中的情况。

2.根据权利要求1所述的基于视觉感知特性的超高清视频图像质量客观评价方法，其特征在于，步骤1所述每个宏块的结构相似值为：

SSIM_ij(X,Y)＝[l_ij(X,Y)]^α[c_ij(X,Y)]^β[s_ij(X,Y)]^γ

其中，X为原始超高清视频序列，Y为受损超高清视频序列；α＞0、β＞0和γ＞0是用于调整式中三个分量的相对重要性；l_ij(X,Y)、c_ij(X,Y)和s_ij(X,Y)分别为亮度比较函数、对比度比较函数和结构比较函数；

亮度比较函数为：

$l_{ij}(X,Y)=\frac{2{\mathrm{\&mu;}}_{ijx}{\mathrm{\&mu;}}_{ijy}+C_1}{{\mathrm{\&mu;}}_{ijx}^2+{\mathrm{\&mu;}}_{ijy}^2+C_1}$

其中，

${\mathrm{\&mu;}}_{ijx}=\frac{1}{N}\underset{n=1}{\overset{N}{\&Sigma;}}{x}_n$

${\mathrm{\&mu;}}_{ijy}=\frac{1}{N}\underset{n=1}{\overset{N}{\&Sigma;}}{y}_n$

式中，x_n为原始超高清视频序列第i帧第j个宏块内各像素点亮度值；y_n为受损超高清视频序列第i帧第j个宏块内各像素点亮度值；N为宏块亮度像素点总数，取值为256；C₁是为避免当十分接近零时，l_ij(X,Y)产生奇异性和不稳定性而引入的常数；

对比度比较函数为：

$c_{ij}(X,Y)=\frac{2{\mathrm{\&sigma;}}_{ijx}{\mathrm{\&sigma;}}_{ijy}+C_2}{{\mathrm{\&sigma;}}_{ijx}^2+{\mathrm{\&sigma;}}_{ijy}^2+C_2}$

其中，

${\mathrm{\&sigma;}}_{ijx}=\sqrt{\frac{1}{N-1}\underset{n=1}{\overset{N}{\&Sigma;}}{(x_n-{\mathrm{\&mu;}}_{ijx})}^2}$

${\mathrm{\&sigma;}}_{ijy}=\sqrt{\frac{1}{N-1}\underset{n=1}{\overset{N}{\&Sigma;}}{(y_n-{\mathrm{\&mu;}}_{ijy})}^2}$

式中，C₂为作用与C₁相同的常数；

结构比较函数为：

$s_{ij}(X,Y)=\frac{{\mathrm{\&sigma;}}_{ijxy}+C_3}{{\mathrm{\&sigma;}}_{ijx}{\mathrm{\&sigma;}}_{ijy}+C_3}$

其中，

${\mathrm{\&sigma;}}_{ijxy}=\frac{1}{N-1}\underset{n=1}{\overset{N}{\&Sigma;}}(x_n-{\mathrm{\&mu;}}_{ijx})(y_n-{\mathrm{\&mu;}}_{ijy})$

式中，C₃为作用与C₁、C₂相同的常数。