CN105828064A - 融合局部和全局时空特性的无参考视频质量评估方法 - Google Patents

Abstract

本发明公开了一种融合局部和全局时空特性的无参考视频质量评估方法，首先训练融合局部和全局时空特性的视频质量回归器，其次利用训练的视频质量回归器进行视频质量预测，在对未知质量的视频片段判别视频质量时，计算该段视频对应的视频片段质量特征向量，把视频片段质量特征向量输入已完成训练的支持向量回归器，该支持向量回归器的输出值即为未知质量的视频片段对应的视频质量评估值。本发明在对受损视频进行质量评估时，不需要无损视频片段作为参考，减少了视频信息的丢失。

Description

融合局部和全局时空特性的无参考视频质量评估方法

技术领域

本发明属于视频分析技术领域，特别是一种融合局部和全局时空特性的无参考视频质量评估方法。

背景技术

客观视频质量评估是模拟人的主观视频质量评价过程，对任意视频的质量进行算法评分的过程。由于主观质量平均过程耗费大量时间、人力物力资源，使用范围非常受限。而客观视频质量评估由计算机自动完成，具有很好的使用效能。通常人的主观视频质量评分用MOS值表示，是取值在0到5的数，0表示最低质量，5表示最高质量。视频质量评估对多媒体应用具有重要的意义，可以用于评价视频编码算法性能、视频传输网络性能、视频显示设备性能等。

以VSSIM[文献1：FarenzenaM，BazzaniL，PerinaA，etal.VideoQualityAssessmentBasedonStructuralDistortionMeasurement.SignalProcessing：ImageCommunication，Vol.19，No.1，Jan2004，pp：1-9]为代表的视频质量评估方法，用单帧的全局速度计算加权系数，完成从帧到视频的质量指标汇聚。这类方法把空间和时间作为两个不同的因素进行处理，缺乏明显的视觉心理学支持。以VIS3[文献2：PhongV.Vu，ChandlerD.M，ViS3：anAgorithmforVdeoQalityAssessmentviaAnalysisofSpatialandSpatiotemporalSlices.JournalofElectronicImaging，Vol23，No.1，Jan，2014，PP：1-24]为代表的方法，构造了空间平均指标和时空平均指标，把最终的视频指标设计为空间平均指标和时空平均指标的几何平均。VIS3更多考虑了时间和空间的联合作用，具有较高的评估相关性。以MOVIE[文献3：Seshadrinathan.K，BovikA.C，MotionTunedSpatio-TemporalQualityAssessmentofNaturalVideos，IEEETransationonimageprocessing，Vol19，No.2，Feb，2010，pp：335-350]为代表的视频质量评估方法计算单个像素的时空Gabor变换，分解出像素相关的空间纹理和时间运动信息，完成像素区域的视觉质量评估，最后算术平均形成视频片段的质量指标。但是VIS3和MOVIE都是一种全参考的方法，在实际使用时受限。VideoBLIINDS[文献4：SaadM.A，BovikA.C，CharrierC，BlindPredictionofNaturalVideoQuality，IEEETransationonimageprocessing，Vol23，No.3，Mar，2014，pp：423-438]方法计算帧差信息的空间统计测度，以此作为时间信息，与单帧图像质量进行加权后，再完成整段视频的质量指标汇聚。VideoBLIINDS是一种无参考算法。但是VideoBLIINDS形成的视频特征向量是多个不同视频特性参数时间平均值的级联，掩盖了视频特征随时间波动对视频质量的影响。

罗忠等人的国家发明授权专利[文献5：一种视频质量评估方法，CN200510002201]和李永利等人的国家发明授权专利[文献6：视频质量评估方法及装置，CN200810103640]侧重于运动矢量的分析，建立参考视频与待评估视频的差异性，从而获得待评估视频质量。陈耀武等人的国家发明授权专利[文献7：MOTIONJPEG2000视频客观质量的无参考评估方法，CN200810163592]虽然是无参考方法，但是依据梯度特征训练的线性视频质量拟合函数，无法得到合适的判决性能。

发明内容

本发明的目的在于提供一种融合局部和全局时空信息的无参考视频质量评估方法，通过模拟人的视觉感知过程，在接收端只使用待评估的视频数据，就可以获得它的视频主观感知质量。使用该算法，不但避免了对参考视频数据的需要，而且获得了目前最好的视频主观质量无参考评估效果。

实现本发明目的的技术解决方案为：一种融合局部和全局时空特性的无参考视频质量评估方法，首先，训练融合局部和全局时空特性的视频质量回归器，步骤如下：

步骤1，模拟运动一致性、灰度敏感性和纹理复杂性对人眼视觉感知的效应，完成单帧的局部时空特征计算；

步骤2，通过奇异值分解汇聚成单帧图像的特征向量，完成单帧均值特征向量与单帧差值特征向量级联，形成视频片段特征向量；

步骤3，用训练视频的视频片段特征向量和对应主观质量评分MOS值完成对支持向量回归器SVR的训练；

其次，利用训练的视频质量回归器进行视频质量预测，在对未知质量的视频片段判别视频质量时，首先按照上述步骤1至步骤3计算该段视频对应的视频片段质量特征向量，然后把视频片段质量特征向量输入已完成训练的支持向量回归器，该支持向量回归器的输出值即为未知质量的视频片段对应的视频质量评估值。

本发明与现有技术相比，其显著优点：(1)本发明是一种无参考方法，在对受损视频进行质量评估时，不需要无损视频片段作为参考。(2)本发明以视频特征向量为视频质量评估的基础，更多地保留了视频片段的信息。首先进行单帧图像质量评估，然后进行多帧图像质量值加权融合的过程相比较，减少了视频信息的丢失。(3)本发明计算强度不大，可以进行逐帧计算，不再像MOVIE一样采用跳帧策略，丢失大量时间动态信息。

下面结合附图对本发明作进一步详细描述。

附图说明

图1是本发明融合局部和全局时空特性的无参考视频质量评估方法流程图。

图2是条带划分示意图。

图3是视频质量回归器预测的视频质量。

具体实施方式

本发明融合局部和全局时空特性的无参考视频质量评估方法具体实现步骤如下：

1、构造单帧内的局部块

对单个的视频帧，划分为相互不覆盖的矩形块：假设单帧的宽、高分别为W和H个像素，每个局部块的长、宽都等于B个像素，则单帧划分为个局部块，其中符号表示下取整运算；分割完成的局部块按各自在帧内出现的位置排放；

2、构造运动信息图

采用视频编码中的经典三步法对每个局部块局部搜索其运动向量，利用搜索获得的运动向量，构造局部运动张量T：

$T=\left[\begin{array}{cc}{f}_x& f_{\mathrm{xy}}\\ f_{\mathrm{xy}}& f_y\end{array}\right]---\left(1\right)$

其中

$f_x=\underset{i,j}{\mathrm{\Σ}}w(i,j)M_x^2(i+m,j+n)$

$f_y=\underset{i,j}{\mathrm{\Σ}}w(i,j)M_y^2(i+m,j+n)$

$f_{\mathrm{xy}}=\underset{i,j}{\mathrm{\Σ}}w(i,j)M_x(i+m,j+n)M_y(i+m,j+n)$

m，n是当前局部块中心像素对应的帧内空间位置下标，w(i，j)是加权窗函数，M_x是指运动向量X轴方向的值，M_y是指运动向量Y轴方向的值，i，j是指求和的下标；

计算张量T的特征值λ₁和λ₂，则局部的运动一致性μ_m，n定义为：

${\mathrm{\μ}}_{m,n}={\left(\frac{{\mathrm{\λ}}_1-{\mathrm{\λ}}_2}{{\mathrm{\λ}}_1+{\mathrm{\λ}}_2}\right)}^2---\left(2\right)$

把每个局部块的运动一致性信息按局部块在帧内出现的位置进行排列，构成单帧的运动信息图Г＝{μ_m，n}；

3、构造空间复杂性图

在滤波器(0°，45°，90°，135°)4个方向，分别对每个局部块的像素进行1维Psudo-Wigner滤波，滤波器形成的窗口宽度N等于8，按Psudo-Wigner分布的定义：

$P[m,n,k]=2\underset{b=-N/2}{\overset{N/2-1}{\mathrm{\Σ}}}{z}_{m,n}\left(b\right)z_{m,n}^{*}\left(b\right)e^{-2i\left(2\mathrm{\πbk}\right)/N}---\left(3\right)$

其中z_m，n(·)是处于滤波器窗口中的局部块像素灰度值，是其共轭，b是指滤波器窗口中的局部块像素位置下标，k是空间频率下标，代表不同的空间频率，不同方向的滤波器窗口构成不同的Wigner分布；

对P[m，n，k]能量归一化后，得到各个方向的Psudo-Wigner分布归一化形式：

其中下标θ表示不同滤波器窗口的方向。根据局部块的归一化Psudo-Wigner分布，各个方向滤波器对局部块的Renyi熵表示为：

纹理的复杂程度由不同方向的Renyi熵的差异性来表示，把纹理复杂度表示为四个方向Renyi熵的标准差Std与均值Mean的比值：

${\mathrm{\η}}_{m,n}=\frac{\mathrm{Std}\left\{R_{\mathrm{\θ}}\right[m,n\left]\right\}}{\mathrm{Mean}\left\{R_{\mathrm{\θ}}\right[m,n\left]\right\}}---\left(6\right)$

通过计算单帧中每个局部块的纹理复杂性η_m，n，形成局部块的空间复杂性图Λ＝{η_m，n}。

4、形成感知权重图

对运动信息图Г和空间复杂性图Λ进行合成，形成每个局部块的感知权重W_m，n：

$W_{m,n}={\mathrm{\η}}_{m,n}(1-e^{\frac{-5{\mathrm{\μ}}_{m,n}}{\max \left({\mathrm{\μ}}_{m,n}\right)}})---\left(7\right)$

其中max(μ_m，n)是对单帧内所有局部块求取最大值。

5、变换域条带划分

对每个局部块的灰度分量进行DCT变换，形成DCT变换域系数d_u，v，u，v表示变换域系数的下标，对变换后的系数d_u，v非直流系数按条带划分，将DCT变换域系数从低频向高频划分为{C₀，C₁，C₂，……C_s}条带，其中每个条带的取值满足：

$G_i=\underset{u+v=i}{\mathrm{\Σ}}{d}_{u,v}$

i是指条带编号，取值为0-s，s与局部块像素宽度B的关系是s＝2B-1；

在DCT变换后，根据人眼视觉感知的掩码效应，去除条带编号i大于s的高频信息和条带编号i等于0的直流分量，将保留的成分{C₁，C₂，……C_s-1}级联形成s-1维的向量，用于表示局部块的视觉特征信息；

6、合成单帧质量特征向量

根据运动信息和纹理复杂性信息对人眼感知的加权效应，模拟运动信息和纹理复杂性对视频感知质量的屏蔽效应，用感知权重W_m，n对每个局部块内的DCT条带进行加权的结果QB_m，n，i；

QB_m，n，i＝W_m，nC_i(8)

按公式(8)加权后，形成单帧内局部块的时空质量指标图QB＝{QB_m，n}，其中的每个元素QB_m，n是17维向量；根据时空质量指标图，对单帧内所有局部块的特征向量求均值，形成的单帧质量特征向量QF_k表示为：

${\mathrm{QF}}_k=\frac{1}{m\×n}\underset{m,n}{\mathrm{\Σ}}{\mathrm{QB}}_{m,n}---\left(9\right)$

上式的求和按向量加法进行，形成的QF_k是17维向量。对视频序列的每帧分别计算单帧质量特征向量，由此获得视频所有帧的时空特性指标{QF_k，k＝1，...，L}，L是指该视频片段所有帧的数量；

7、合成视频片段质量特征向量

根据视频序列对应的单帧质量特征向量序列{QF_k}，对视频片段的所有单帧质量特征向量求均值，形成的视频平均质量向量MV表示为：

$\mathrm{MV}=\frac{1}{L}\underset{k=1..L}{\mathrm{\Σ}}{\mathrm{QF}}_k---\left(10\right)$

对视频质量特征向量序列{QF_k}的相邻单帧质量特征向量求差，获得相邻帧的质量差值特征向量，质量差值特征向量代表了视频序列中大的视觉效应突变；然后，把视频片段所有质量差值特征向量进行平均，形成的视频差值特征向量DV表示为：

$\mathrm{DV}=\frac{1}{L-1}\underset{k=2..L}{\mathrm{\Σ}}|{\mathrm{QF}}_k-{\mathrm{QF}}_{k-1}|---\left(11\right)$

公式(11)中的绝对值运算表示对向量的每个元素求绝对值，视频平均质量向量和视频差值向量级联，构成视频片段质量特征向量MF＝[MV^T，DV^T]^T。由于QF_k是17维向量，所以最终形成的MF向量维数是34。

8、支持向量回归器的训练

利用带主观视频质量评分值的训练视频库，完成客观视频质量回归器的训练，即对训练视频库中的每段视频计算它的视频片段质量特征向量MF_l，其对应的主观质量评分MOS_l值已知，把视频片段质量特征向量集合{MF_l，l＝1，..，S}和对应的主观质量评分集合{MOS_l，l＝1，..，S}送入支持向量回归器SVR，完成视频质量回归器的训练。其中S是视频片段的数量。

实施例

一、训练融合局部和全局时空特性的视频质量回归器

1、构造单帧内的局部块

对单个的视频帧，划分为相互不覆盖的矩形块。假设单帧的宽、高分别为W和H个像素，每个局部块的长、宽都等于B个像素，则单帧可以划分为(/表示除法)个局部块，其中符号表示下取整运算。在本发明中，B等于17(B取值可以是4-32)。视频编码时，宏块划分使用4、8、16等像素值，采用17可以对块效应等损伤也充分考虑。分割完成的局部块按各自在帧内出现的位置排放。

2、构造运动信息图

对每个局部块局部搜索其运动向量，采用视频编码中的经典三步法，具体的步骤可参考H.261视频编码标准。由于搜索获得的局部块运动向量存在一定误差，在进行视觉质量的运动掩蔽效应模拟时，需要在更大范围内对局部块的运动信息进行平滑和汇聚。这里，利用搜索获得的运动向量，可以构造局部运动张量T：

$T=\left[\begin{array}{cc}{f}_x& f_{\mathrm{xy}}\\ f_{\mathrm{xy}}& f_y\end{array}\right]---\left(1\right)$

其中

$f_x=\underset{i,j}{\mathrm{\Σ}}w(i,j)M_x^2(i+m,j+n)$

$f_y=\underset{i,j}{\mathrm{\Σ}}w(i,j)M_y^2(i+m,j+n)$

$f_{\mathrm{xy}}=\underset{i,j}{\mathrm{\Σ}}w(i,j)M_x(i+m,j+n)M_y(i+m,j+n)$

m，n是当前局部块中心像素对应的帧内空间位置下标，w(i，j)是加权窗函数。M_x是指运动向量X轴方向的值，M_y是指运动向量Y轴方向的值，i，j是指求和的下标。本发明中采用高斯窗函数，对高斯窗函数的方差取为1.5，则可以在7×7个局部块的范围内考察运动一致性。计算张量T的特征值λ₁和λ₂，则局部的运动一致性μ_m，n定义为：

${\mathrm{\μ}}_{m,n}={\left(\frac{{\mathrm{\λ}}_1-{\mathrm{\λ}}_2}{{\mathrm{\λ}}_1+{\mathrm{\λ}}_2}\right)}^2---\left(2\right)$

显然，运动一致性越明显的局部块，它的两个特征值差值越大，按公式(2)获得的运动一致性测度越趋近于1。把每个局部块的运动一致性信息按局部块在帧内出现的位置进行排列，构成单帧的运动信息图Г＝{μ_m，n}。

3、构造空间复杂性图

在滤波器(0°，45°，90°，135°)4个方向，分别对每个局部块的像素进行1维Psudo-Wigner滤波，滤波器形成的窗口宽度N等于8。按Psudo-Wigner分布的定义：

$P[m,n,k]=2\underset{b=-N/2}{\overset{N/2-1}{\mathrm{\Σ}}}{z}_{m,n}\left(b\right)z_{m,n}^{*}\left(b\right)e^{-2i\left(2\mathrm{\πbk}\right)/N}---\left(3\right)$

其中z_m，n(·)是处于滤波器窗口中的局部块像素灰度值，是其共轭。b是指滤波器窗口中的局部块像素位置下标(滤波器窗口中的局部块像素位置可以由m，n、滤波器方向和窗口宽度按常规的直线方程采样得到)。k是空间频率下标，代表不同的空间频率。不同方向的滤波器窗口构成不同的Wigner分布。对P[m，n，k]能量归一化后，得到各个方向的Psudo-Wigner分布归一化形式：

其中下标θ表示不同滤波器窗口的方向。在方向固定的情况下，局部块的归一化Psudo-Wigner分布是空间频率的函数。根据局部块的归一化Psudo-Wigner分布，各个方向滤波器对局部块的Renyi熵可以表示为：

纹理的复杂程度可以由不同方向的Renyi熵的差异性来表示。在本发明中，把纹理复杂度表示为四个方向Renyi熵的标准差Std与均值Mean的比值：

${\mathrm{\η}}_{m,n}=\frac{\mathrm{Std}\left\{R_{\mathrm{\θ}}\right[m,n\left]\right\}}{\mathrm{Mean}\left\{R_{\mathrm{\θ}}\right[m,n\left]\right\}}---\left(6\right)$

通过计算单帧中每个局部块的纹理复杂性η_m，n，形成局部块的空间复杂性图Λ＝{η_m，n}。

4、形成感知权重图

根据人眼对运动信息感知的特性，对快速运动目标的视觉信号可以有很强的模糊容忍度，而对慢速运动目标的视觉信号能感知到轻微的失真。另外，人眼对纹理复杂的区域更敏感，能分辨纹理区域中的失真细节，而对纹理简单区域可以容忍较大失真而不影响主观评价。根据人眼的上述生理特征，我们对运动信息图Г和空间复杂性图Λ进行合成，形成每个局部块的感知权重W_m，n：

$W_{m,n}={\mathrm{\η}}_{m,n}(1-e^{\frac{-5{\mathrm{\μ}}_{m,n}}{\max \left({\mathrm{\μ}}_{m,n}\right)}})---\left(7\right)$

其中max(μ_m，n)是对单帧内所有局部块求取最大值。

5、变换域条带划分

每一帧图像的DCT(离散余弦变换)变换的系数的分布情况能够反映图像的亮度信息和纹理分布特性。在进行质量评估时，系数的分布情况也能很好的体现视频帧的质量。对每个局部块的灰度分量进行DCT变换，形成DCT变换域系数d_u，v，u，v表示变换域系数的下标。

对变换后的系数d_u，v非直流系数按条带划分。由于DCT变换系数从低频向高频分布。人眼视觉系统对低频信号敏感，对过高频信号不敏感，本发明依据此来对DCT系数进行划分。本发明中的图像块大小以选取17×17为例进行说明，将DCT变换域系数从低频向高频划分为{C₀，C₁，C₂，……C_s}条带，如图2所示。图中相同灰度值的DCT系数属于同一个条带。

其中每个条带的取值满足：

$G_i=\underset{u+v=i}{\mathrm{\Σ}}{d}_{u,v}$

i是指条带编号，取值为0-s，s与局部块像素宽度B的关系是s＝2B-1。在计算变换域系数时，算法需考虑局部块DCT变换后的高频信息的处理，在实际的人眼视觉效应中，人眼对高频信息并不是特别敏感，所以在DCT变换后，通过掩码效应去除高频信息(如条带编号大于17)和直流分量(条带编号等于0)。所以，在本发明中，只保留了去除直流和高频的成分{C₁，C₂，……C₁₇}。把这些成分级联形成17维的向量，用于表示局部块的视觉特征信息。

6、合成单帧质量特征向量

根据运动信息和纹理复杂性信息对人眼感知的加权效应，本发明模拟运动信息和纹理复杂性对视频感知质量的屏蔽效应。用感知权重W_m，n对每个局部块内的DCT条带进行加权的结果QB_m，n，i：

QB_m，n，i＝W_m，nC_i(8)

按公式(8)加权后，形成单帧内局部块的时空质量指标图QB＝{QB_m，n}，其中的每个元素QB_m，n是17维向量。根据单帧时空质量指标图，对单帧内所有局部块的特征向量求均值，形成的单帧质量特征向量QF_k可以表示为：

${\mathrm{QF}}_k=\frac{1}{m\×n}\underset{m,n}{\mathrm{\Σ}}{\mathrm{QB}}_{m,n}---\left(9\right)$

上式的求和按向量加法进行，形成的QF_k是17维向量。对视频序列的每帧分别计算单帧质量特征向量，由此获得视频所有帧的时空特性指标{QF_k，k＝1，...，L}。L是指视频片段所有帧的数量。

7、合成视频片段质量特征向量

根据视频序列对应的单帧质量特征向量序列{QF_k}，对视频片段的所有单帧质量特征向量求均值，形成的视频平均质量向量MV可以表示为：

$\mathrm{MV}=\frac{1}{L}\underset{k=1..L}{\mathrm{\Σ}}{\mathrm{QF}}_k---\left(10\right)$

然后对视频质量特征向量序列{QF_k}的相邻单帧质量特征向量求差，获得相邻帧的质量差值特征向量。质量差值特征向量代表了视频序列中大的视觉效应突变。然后，把视频片段所有质量差值特征向量进行平均，形成的视频差值特征向量DV可以表示为：

$\mathrm{DV}=\frac{1}{L-1}\underset{k=2..L}{\mathrm{\Σ}}|{\mathrm{QF}}_k-{\mathrm{QF}}_{k-1}|---\left(11\right)$

公式(11)中的绝对值运算表示对向量的每个元素求绝对值。视频平均质量向量和视频差值向量级联，构成视频片段质量特征向量MF＝[MV^T，DV^T]^T。由于QF_k是17维向量，所以最终形成的MF向量维数是34。

8、视频质量回归器的训练

利用带主观视频质量评分值的训练视频库，完成客观视频质量回归器的训练。对训练视频库中的每段视频计算它的视频片段质量特征向量MF_l，其对应的主观质量评分MOS_l值已知。把视频片段质量特征向量集合{MF_l，l＝1，..，S}和对应的主观质量评分集合{MOS_l，l＝1，..，S}送入支持向量回归器SVR，完成SVR的训练。其中S是视频片段的数量。

二、利用训练的视频质量回归器进行视频质量预测

在对未知质量评分的视频片段进行客观视频质量判断时，首先计算该段视频对应的视频片段质量特征向量，然后把视频片段质量特征向量输入已完成训练的支持向量回归器SVR，该SVR的输出值就是该视频片段的客观视频质量。预测的效果如图3所示。与典型的无参考视频评估算法Video-BLIINDS的比较数据如表1所示。

表1无参考视频质量评估算法性能比较

Claims (4)

1.一种融合局部和全局时空特性的无参考视频质量评估方法，其特征在于首先，训练融合局部和全局时空特性的视频质量回归器，步骤如下：

步骤1，模拟运动一致性、灰度敏感性和纹理复杂性对人眼视觉感知的效应，完成单帧的局部时空特征计算；

步骤2，通过奇异值分解汇聚成单帧图像的特征向量，完成单帧均值特征向量与单帧差值特征向量级联，形成视频片段特征向量；

步骤3，用训练视频的视频片段特征向量和对应主观质量评分MOS值完成对支持向量回归器SVR的训练；

其次，利用训练的视频质量回归器进行视频质量预测，在对未知质量的视频片段判别视频质量时，首先按照上述步骤1至步骤3计算该段视频对应的视频片段质量特征向量，然后把视频片段质量特征向量输入已完成训练的支持向量回归器，该支持向量回归器的输出值即为未知质量的视频片段对应的视频质量评估值。

2.根据权利要求1所述的融合局部和全局时空特性的无参考视频质量评估方法，其特征在于步骤1中的步骤为：

2.1构造单帧内的局部块

对单个的视频帧，划分为相互不覆盖的矩形块：假设单帧的宽、高分别为W和H个像素，每个局部块的长、宽都等于B个像素，则单帧划分为个局部块，其中符号表示下取整运算；分割完成的局部块按各自在帧内出现的位置排放；

2.2、构造运动信息图

采用视频编码中的经典三步法对每个局部块局部搜索其运动向量，利用搜索获得的运动向量，构造局部运动张量T：

$T=\left[\begin{array}{cc}{f}_x& f_{\mathrm{xy}}\\ f_{\mathrm{xy}}& f_y\end{array}\right]---\left(1\right)$

其中

$f_x=\underset{i,j}{\mathrm{\Σ}}w(i,j)M_x^2(i+m,j+n)$

$f_y=\underset{i,j}{\mathrm{\Σ}}w(i,j)M_y^2(i+m,j+n)$

$f_{\mathrm{xy}}=\underset{i,j}{\mathrm{\Σ}}w(i,j)M_x(i+m,j+n)M_y(i+m,j+n)$

m，n是当前局部块中心像素对应的帧内空间位置下标，w(i，j)是加权窗函数，M_x是指运动向量X轴方向的值，M_y是指运动向量Y轴方向的值，i，j是指求和的下标；

计算张量T的特征值λ₁和λ₂，则局部的运动一致性μ_m，n定义为：

${\mathrm{\μ}}_{m,n}={\left(\frac{{\mathrm{\λ}}_1-{\mathrm{\λ}}_2}{{\mathrm{\λ}}_1+{\mathrm{\λ}}_2}\right)}^2---\left(2\right)$

把每个局部块的运动一致性信息按局部块在帧内出现的位置进行排列，构成单帧的运动信息图Γ＝{μ_m，n}；

2.3构造空间复杂性图

在滤波器(0°，45°，90°，135°)4个方向，分别对每个局部块的像素进行1维Psudo-Wigner滤波，滤波器形成的窗口宽度N等于8，按Psudo-Wigner分布的定义：

$P[m,n,k]=2\underset{b=-N/2}{\overset{N/2-1}{\mathrm{\Σ}}}{z}_{m,n}\left(b\right)z_{m,n}^{*}\left(b\right)e^{-2i\left(2\mathrm{\πbk}\right)/N}---\left(3\right)$

其中z_m，n(·)是处于滤波器窗口中的局部块像素灰度值，是其共轭，b是指滤波器窗口中的局部块像素位置下标，k是空间频率下标，代表不同的空间频率，不同方向的滤波器窗口构成不同的Wigner分布；

对P[m，n，k]能量归一化后，得到各个方向的Psudo-Wigner分布归一化形式：

其中下标θ表示不同滤波器窗口的方向。根据局部块的归一化Psudo-Wigner分布，各个方向滤波器对局部块的Renyi熵表示为：

纹理的复杂程度由不同方向的Renyi熵的差异性来表示，把纹理复杂度表示为四个方向Renyi熵的标准差Std与均值Mean的比值：

${\mathrm{\η}}_{m,n}=\frac{\mathrm{Std}\left\{R_{\mathrm{\θ}}\right[m,n\left]\right\}}{\mathrm{Mean}\left\{R_{\mathrm{\θ}}\right[m,n\left]\right\}}---\left(6\right)$

通过计算单帧中每个局部块的纹理复杂性η_m，n，形成局部块的空间复杂性图Λ＝{η_m，n}。

3.根据权利要求1所述的融合局部和全局时空特性的无参考视频质量评估方法，其特征在于步骤2中的步骤为：

3.1形成感知权重图

对运动信息图Γ和空间复杂性图Λ进行合成，形成每个局部块的感知权重W_m，n：

$W_{m,n}={\mathrm{\η}}_{m,n}(1-e^{\frac{-5{\mathrm{\μ}}_{m,n}}{\max \left({\mathrm{\μ}}_{m,n}\right)}})---\left(7\right)$

其中max(μ_m，n)是对单帧内所有局部块求取最大值。

3.2变换域条带划分

对每个局部块的灰度分量进行DCT变换，形成DCT变换域系数d_u，v，u，v表示变换域系数的下标，对变换后的系数d_u，v非直流系数按条带划分，将DCT变换域系数从低频向高频划分为{C₀，C₁，C₂，……C_s}条带，其中每个条带的取值满足：

$C_i=\underset{u+v=i}{\mathrm{\Σ}}{d}_{u,v}$

i是指条带编号，取值为0-s，s与局部块像素宽度B的关系是s＝2B-1；

在DCT变换后，根据人眼视觉感知的掩码效应，去除条带编号i大于s的高频信息和条带编号i等于0的直流分量，将保留的成分{C₁，C₂，……C_s-1}级联形成s-1维的向量，用于表示局部块的视觉特征信息；

3.3合成单帧质量特征向量

根据运动信息和纹理复杂性信息对人眼感知的加权效应，模拟运动信息和纹理复杂性对视频感知质量的屏蔽效应，用感知权重W_m，n对每个局部块内的DCT条带进行加权的结果QB_m，n，i：

QB_m，n，i＝W_m，nC_i(8)

按公式(8)加权后，形成单帧内局部块的时空质量指标图QB＝{QB_m，n}，其中的每个元素QB_m，n是17维向量；根据时空质量指标图，对单帧内所有局部块的特征向量求均值，形成的单帧质量特征向量QF_k表示为：

${\mathrm{QF}}_k=\frac{1}{m\×n}\underset{m,n}{\mathrm{\Σ}}{\mathrm{QB}}_{m,n}---\left(9\right)$

上式的求和按向量加法进行，形成的QF_k是17维向量。对视频序列的每帧分别计算单帧质量特征向量，由此获得视频所有帧的时空特性指标{QF_k，k＝1，...，L}，L是指该视频片段所有帧的数量；

3.4合成视频片段质量特征向量

根据视频序列对应的单帧质量特征向量序列{QF_k}，对视频片段的所有单帧质量特征向量求均值，形成的视频平均质量向量MV表示为：

$\mathrm{MV}=\frac{1}{L}\underset{k=1..L}{\mathrm{\Σ}}{\mathrm{QF}}_k---\left(10\right)$

对视频质量特征向量序列{QF_k}的相邻单帧质量特征向量求差，获得相邻帧的质量差值特征向量，质量差值特征向量代表了视频序列中大的视觉效应突变；然后，把视频片段所有质量差值特征向量进行平均，形成的视频差值特征向量DV表示为：

$\mathrm{DV}=\frac{1}{L-1}\underset{k=2..L}{\mathrm{\Σ}}|{\mathrm{QF}}_k-{\mathrm{QF}}_{k-1}|---\left(11\right)$

公式(11)中的绝对值运算表示对向量的每个元素求绝对值，视频平均质量向量和视频差值向量级联，构成视频片段质量特征向量MF＝[MV^T，DV^T]^T。由于QF_k是17维向量，所以最终形成的MF向量维数是34。

4.根据权利要求1所述的融合局部和全局时空特性的无参考视频质量评估方法，其特征在于步骤3中的步骤为：利用带主观视频质量评分值的训练视频库，完成客观视频质量回归器的训练，即对训练视频库中的每段视频计算它的视频片段质量特征向量MF_l，其对应的主观质量评分MOS_l值已知，把视频片段质量特征向量集合{MF_l，l＝1，..，S}和对应的主观质量评分集合{MOS_l，l＝1，..，S}送入支持向量回归器，完成视频质量回归器的训练。其中S是视频片段的数量。