CN102611910B - 基于关键帧图像质量加权的无参考视频质量客观评价方法 - Google Patents

Abstract

一种用关键帧图像质量加权的无参考视频质量的客观评价方法，先依据基于人眼兴趣加权的运动剧烈程度方法初步选取关键帧，然后通过相关性分析将初步选取的关键帧分为场景切换型关键帧和非场景切换型关键帧；再对非场景切换型关键帧评价图像质量，并根据该评价结果将非场景切换型关键帧细分为内容变化型关键帧和质量变化型关键帧；最后利用质量变化型关键帧的持续时间因子和恶化频率因子对其单帧质量进行加权求和计算，得到整个视频序列的质量评价结果。本发明解决了现有的评测技术不能与实际主观感觉相吻合的缺陷，在保证评测性能前提下，能够降低计算复杂度，适用于现有网络各种视频应用的自动评测，且操作步骤简单，易于集成。

Description

基于关键帧图像质量加权的无参考视频质量客观评价方法

技术领域

本发明涉及一种视频通信质量的评价方法，确切地说，涉及一种面向现有网络的无参考视频质量的自动评测方法，用于解决在无原始视频参考情况下，客观评价接收端视频质量的复杂度和准确性问题，属于视频通信技术领域。

背景技术

目前，视频质量评价主要采用两种形式：主观评价和客观评价。主观评价方法需要由一些人员按照设定规则进行评分，该方法工作可靠，但是操作复杂、费时，并不适合无线视频业务等实时监控的应用场合。客观评价方法是通过仪器或软件自动分析视频质量而给出量化的评价分数，其评价结果具有数值性、易操作性和可重复性等特点，已成为视频质量研究的热点。

根据有无原始视频作为参考，通常将客观评价方法分为三类：全参考型FR（Full-Reference），部分参考型RR（Reduce-Reference）和无参考型NR（No-Reference）。FR评价方法已经取得了很好的性能，但是，由于该类算法需要完整的原始视频作参考，这在接收终端往往是无法实现或不存在的，致使实际应用范围很受限制。所以，国内外越来越多的高等院校及科研机构开始从事NR评价算法的研究。相对于FR评价而言，NR方法的实用价值更大，但研究比较困难，取得的成果十分有限，评价效果也不甚理想。

实际网络中，影响视频通信质量的因素主要包括两类失真：一是视频编码技术带来的失真（如方块效应、模糊、噪声等）；二是传输网络的数据丢包或时延带来的失真（如马赛克、抖动等）。因此，大部分NR客观评价算法的核心思想是描述上述损伤的若干种特征参数，再确定每个特征参数与客观评分之间的函数。NR客观评价的另一类重要方法是基于视频质量的先验知识进行评价，即首先需要建立基于神经网络NN（Neural Network）或者支持向量机SVM（SupportVector Machine）的视频质量评价模型，然后根据该视频的若干可得到的特征参数进行分类识别，从而得到视频质量评分。

下面简介这两类评价方法的具体技术状况：

第一种是通过检测典型劣化特征进行评价：目前对劣化特征的检测主要集中在方块、模糊等空域失真或时域运动性的单一指标上，例如，文献《基于块编码视频的无参考质量评估[J].》（刊于“电子与信息学报”，28(4),2006）通过分析可察觉的方块效应来评价视频质量；文献《视频质量动态性指标评价及应用[J].》（刊于“北京邮电大学学报”，31(6),2008）提出一种综合描述视频背景运动信息和对象运动信息的视频动态性评价方法，并由此推导出平滑度指标用于视频质量评价。此类检测算法具有较强的“素材依赖性”或“场景依赖性”，即只对特定素材的典型劣化形态及劣化程度具有一定准确性，一旦假设条件不同，检测性能就会下降，甚至失效。

与单一类型失真检测相比，多类型失真检测能够更全面地表达视频的质量特性，因此，文献《No-Reference Quality Metric for Degraded and EnhancedVideo[C]》（刊于“Proceedings of SPIE”2003）中联合检测的特征失真包括方块效应、震荡效应、钳位、噪声和对比度等。视频质量专家组VQEG曾对thePsytechnics NR model和SwissQual’s NR model进行过测试（参见VQEG_Multimedia_PhaseI_Final_Report，2008）。这两种算法正是基于检测空域和时域的多种类型失真进行质量评价，但是，参见效果并不理想，算法仍对视频格式和内容有一定的依赖性，而且考虑的失真类型越多，算法复杂度越高。

第二种是利用视频质量先验知识进行评价：Mohamed等人把网络参数（如丢包率、端到端时延、抖动）和编码参数（如比特率、帧率、编码类型）等作为神经网络的输入节点，把质量评分作为输出节点，经过训练后的神经网络可以根据各参数直接预测视频质量（参见《A Study of Real-time Packet Video QualityUsing Random Neural Networks[J]》刊于“IEEE Transactions on.Circuits andSystems for Video Technology”12(12),2002）。然而，神经网络拟合的函数不是最优的，会造成过学习问题，即泛化能力差，评价准确度不高。文献《No-referencevideo quality measurement with support vector regression[J]》（刊于“InternationalJournal of Neural Systems”19(6),2009）利用各种特征提取方法量化视频质量，并对支持向量回归模型进行训练，以实现待测视频的质量预测。此方法利用了SVM，尽管泛化能力较好，但是其参数不容易调整，计算量较大。

由上述分析可见，目前已有的NR评价方法在许多方面还存在不尽人意之处，一些算法对视频格式和内容有依赖性，一些算法效果尚可，但是，算法复杂度高而不适宜应用，一些算法简单，但泛化能力差或精度不理想等等。同时，上述视频质量评价方法往往只取单帧图像质量的平均值作为评价结果，未考虑视频运动信息和各帧图像质量劣化程度不同的影响，不能很好地与实际主观感觉相吻合。为此，申请人对相关技术进行了研究，并将研究成果《一种用于视频质量评价的关键帧的选取方法》申请了中国发明专利（申请号为201010609119.0），以降低对视频进行逐帧评价的计算复杂度。

发明内容

有鉴于此，本发明的目的是针对现有的视频质量评测技术存在的素材/场景依赖性大、算法复杂度高、泛化能力差和单帧图像质量简单平均等缺陷，在上述专利申请“一种用于视频质量评价的关键帧的选取方法”的基础上，提供一种基于关键帧图像质量加权的无参考视频质量客观评价方法。该方法充分考虑视频运动信息、人眼视觉特性，以及不同帧的图像质量对整体视频质量的不同作用，在保证评测性能的前提下，能够降低计算复杂度，适用于现有网络各种视频应用的自动评测，且操作步骤简单，易于集成，在视频质量评测应用中具有较好的推广价值。

为了达到上述目的，本发明提供了一种用关键帧图像质量加权的无参考视频质量的客观评价方法，其特征在于：首先依据基于人眼兴趣加权的运动剧烈程度方法初步选取关键帧，然后通过相关性分析将初步选取的关键帧分为场景切换型关键帧和非场景切换型关键帧；再对非场景切换型关键帧评价图像质量，并根据该评价结果将非场景切换型关键帧细分为内容变化型关键帧和质量变化型关键帧；最后利用质量变化型关键帧的持续时间因子和恶化频率因子对其单帧质量进行加权求和计算，得到整个视频序列的质量评价结果；所述方法包括下列步骤：

（1）从待评价视频序列中选取出非场景切换型关键帧：先依据每帧图像的运动剧烈程度初步选取关键帧，再分析这些关键帧之间的相关性，剔除其中与视频质量无关的场景切换型关键帧；该步骤包括下列操作内容：

（11）将待评价视频序列转化为统一的欧洲电视系统的颜色编码YUV视频格式，然后按顺序对每帧的图像进行分块，将当前帧的图像块与前一帧的相同位置图像块之间亮度值的差值矩阵中的所有元素绝对值之和除以该图像块的总像素值的商，作为当前帧的各个图像块的运动剧烈程度的计算公式： ${\mathrm{MA}}_k(i,j)=\frac{1}{M_p\×N_p}\underset{m=M_p\×i}{\overset{M_p\×(i+1)}{\mathrm{\Σ}}}\underset{n=N_p\×j}{\overset{N_p\×(j+1)}{\mathrm{\Σ}}}|f_k(m,n)-f_{k-1}(m,n)|,$ 式中，M、N、M_p、N_p、i、j和k皆为自然数，M与N分别是每帧图像的宽度与高度的像素值，M_p和N_p分别是分块后的每个图像块的宽度与高度的像素值，且M和N分别为M_p和N_p的整数倍，M_p×N_p为图像块的总像素值；i和j分别是图像块在帧中的横坐标与纵坐标，其最大值分别为

和f_k(m,n)和f_k-1(m,n)分别为该步骤读取的第k帧和第(k-1)帧中坐标为(m,n)的像素的亮度值；

（12）按照下述公式计算每帧图像总体运动剧烈程度：

式中，l_i,j为考虑人眼兴趣的每个图像块的权重因子，若定义每帧图像中心坐标为

则位于不同位置的图像块的权重因子l_i,j的计算公式分别为：

当 $i\≠\frac{M}{2M_p}$ 且 $j\≠\frac{N}{2N_p}$ 时， $l_{i,j}=\frac{1}{\sqrt{|i-\frac{M}{2M_p}|}}\×\frac{1}{\sqrt{|j-\frac{N}{2N_p}|}};$

当 $i=\frac{M}{2M_p},$ $j\≠\frac{N}{2N_p}$ 时， $l_{i,j}=\frac{1}{\sqrt{|j-\frac{N}{2N_p}|}};$

当 $i\≠\frac{M}{2M_p},$ $j=\frac{N}{2N_p}$ 时， $l_{i,j}=\frac{1}{\sqrt{|i-\frac{M}{2M_p}|}};$

当 $i=\frac{M}{2M_p}$ 且 $j=\frac{N}{2N_p},$ 即l_i,j=1；

（13）将每帧图像的运动剧烈程度与分别位于其前、后设定数量α的多帧图像的运动剧烈程度进行比较，从中初步选取相对数值最大或最小的帧作为一个关键帧；再根据所选关键帧的相邻帧之间的相关性，剔除场景切换型关键帧；其中，α的选择区间是[2,5]；

（2）评价非场景切换型关键帧的图像质量和二次选取：对非场景切换型关键帧图像进行小波变换，并检测小波系数的统计特性，计算与评价其图像质量；再以该评价结果进行关键帧的二次选取，区分图像质量下降的质量变化型关键帧和图像质量未下降、但图像内容与前后帧发生变化的内容变化型关键帧；

（3）采用对质量变化型关键帧的图像质量加权计算方法评价视频质量：其中，两个加权因子分别依据质量变化型关键帧的持续时长及其占非场景切换型关键帧数量的比例，用于考虑视频质量较差的帧的持续时间及其出现频率对人眼视觉感知造成的影响。

所述步骤（13）包括下列两种操作内容：

（13A）若第k帧为非场景切换型关键帧，即keyframe[l]=k，则应同时满足以下三个筛选条件：

A，第k帧的总体运动剧烈程度MA_k应满足下述两式之一：

(MA_k>MA_q)，其中,q=k-α,k-(α-1),…,k-1,k+1,…,k+(α-1),k+α，或

(MA_k<MA_q)，其中,q=k-α,k-(α-1),…,k-1,k+1,…,k+(α-1),k+α；

B，关键帧序号应满足下式：keyframe[l-1]≠k-1，式中，l为关键帧的序号，即第(k-1)帧不是关键帧；

C，分析第k帧和第(k+1)帧的相关性，两者应满足设定的相关性；

（13B）在判断条件C时，若同时符合A和B两项条件的关键帧的相关性都较低，则认为该视频序列的运动场景多，默认所有初步选取的关键帧都为非场景切换型关键帧。

所述步骤（2）进一步包括下列操作内容：

（21）采用多分辨率分析的小波快速算法，即Mallat算法对非场景切换型关键帧图像进行两层小波分解：先进行一层小波分解，得到四个子图：低频LL₁、低高频LH₁、高低频HL₁和高频HH₁，再对低频LL₁子图进行二层小波分解，得到四个子图：低频LL₂、低高频LH₂、高低频HL₂、高频HH₂；在每个尺度下，LL_w子图的小波系数

都包含前一阶段的低频信息，而HL_w、LH_w、HH_w子图的小波系数也分别包含横向、纵向和对角方向的高频边缘信息；式中，字符的上标数字与下标w分别是小波分解后的子图索引序号和小波分解层数；

（22）将HL₂子图的小波系数水平分割为四个子带f_h1～f_h4： $f_{\mathrm{hx}}(m,n)=f_2^1(4(m-1)+x,n),$ 式中， $f_2^1(4(m-1)+x,n)$ 是坐标为(4(m-1)+x,n)的像素的小波系数，f_hx(m,n)是分割后的子带f_hx对应(m,n)处的小波系数，子带序号x=1,2,3,4；

（23）分别计算四个子带f_h1～f_h4的方差

再计算垂直方向的失真度Q_v值与1偏离越大，表明该非场景切换型关键帧的图像垂直方向失真越大；

（24）将LH₂子图的小波系数垂直分割为四个子带f_v1～f_v4： $f_{\mathrm{vy}}(m,n)=f_2^2(m,4(n-1)+y).$ 式中， $f_2^2(m,4(n-1)+y)$ 是坐标为(m,4(n-1)+y)的像素的小波系数，f_vy(m,n)为分割后的子带f_vy对应(m,n)处的小波系数，子带序号y=1,2,3,4；

（25）分别计算四个子带f_v1～f_v4的方差

再计算水平方向的失真度

Q_h值与1偏离越大，表明该非场景切换型关键帧的图像水平方向失真越大；

（26）计算该非场景切换型关键帧图像的总失真度利用总失真度Q对关键帧进行二次选取：若序号为q的关键帧帧总失真度大于设定数值γ，即Q_q>γ成立，则选取当前帧为质量变化型关键帧；式中，数值γ要根据不同情况进行选取。

所述步骤（3）中，所述对质量变化型关键帧图像质量进行加权衡量的操作包括下列内容：

（31）因质量差的关键帧持续时间越长，对人眼视觉感知的影响越大，故定义持续时间因子t为两个相邻的质量变化型关键帧的帧序号差的倒数，则计算第q个质量变化型关键帧的持续时间因子：

（32）因质量差的关键帧出现频率越高，对人眼视觉感知的影响越大，故定义质量变化型关键帧的恶化频率因子：

（33）按照下式计算整个视频序列的质量Q_all：

式中，r为质量变化型关键帧的数量，s为非场景切换型关键帧的数量，t_q和Q_q分别为某关键帧的持续时长和图像失真度；且Q_all的数值越小，表明视频序列质量越好。

本发明是一种基于关键帧图像质量加权的无参考视频质量客观评价方法，与现有技术相比，具有以下优点：

（一）充分考虑用户的主观欣赏感受：在初步选取关键帧时，以运动剧烈，尤其以图像中心位置运动剧烈作为选取依据，符合人眼视觉特性；在对关键帧图像质量加权计算时，以质量较差帧的持续时间及其出现频率作为加权因子，与人的主观感受相匹配，较好地解决了当前视频评价方法只对单帧图像质量简单平均所存在的不足。

（二）降低计算复杂度：选择关键帧进行图像质量评价，既可以降低对视频进行逐帧评价的计算复杂度，又能够较好地保证质量评价准确度。而且，关键帧的选取过程尽可能采用相对简单的计算，如运动剧烈程度和相关性分析的计算复杂度均较低，基于小波分解的二次选取也是在剔除与质量无关的场景切换型关键帧后才进行的，因此实时分析的可行性较高。

（三）弱化依赖性，提高了评价稳定性：通过相关性分析和部分帧的图像质量评价，排除了视频本身的场景切换和内容变化对视频质量评价的干扰，只专注于质量变换型关键帧的评价，能够较好地反映实际视频质量。

总之，本发明方法操作步骤简单、易于集成，在视频质量评测应用中具有较好的推广价值。

附图说明

图1是本发明基于关键帧图像质量加权的无参考视频质量客观评价方法流程图。

图2是本发明评价方法中的单帧图像质量评价操作的流程图。

图3（A）、B）分别是本发明方法实施例中采用的二层小波分解的两个图像示意图。

图4（A）、（B）分别是本发明方法实施例中两幅小波变换子图（HL₂的子带和LH₂的子带）的构造示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合附图和实施例对本发明作进一步的详细描述。

本发明是用关键帧图像质量加权的无参考视频质量的客观评价方法，它是先依据基于人眼兴趣加权的运动剧烈程度方法初步选取关键帧，然后通过相关性分析将初步选取的关键帧分为场景切换型关键帧和非场景切换型关键帧；再对非场景切换型关键帧评价图像质量，并根据该评价结果将非场景切换型关键帧细分为内容变化型关键帧和质量变化型关键帧；最后利用质量变化型关键帧的持续时间因子和恶化频率因子对其单帧质量进行加权求和计算，得到整个视频序列的质量评价结果。

参见图1，介绍本发明评价方法的三个具体操作步骤：

步骤1：待评价的视频序列Pedestrian Area（简记为pa，分辨率为768×432，帧数为250帧）选自LIVE视频数据库，经网络传输后，在接收端播放的同时，被转换为YUV格式，然后依据每帧图像的运动剧烈程度初步选取关键帧，再根据这些关键帧之间的相关性，选取出非场景切换型关键帧。

下面详细说明该步骤1的相关技术内容：

（11）依次读取待评价视频前后两帧的Y分量（即亮度值），并将每帧图像分割成8×8大小的图像块，计算出当前帧图像块与前一帧相同位置图像块之间的差值矩阵，该矩阵所有元素绝对值之和除以块的大小即为当前帧图像块的运动剧烈程度MA_k(i,j)： ${\mathrm{MA}}_k(i,j)=\frac{1}{8\&times;8}\underset{m=8i}{\overset{8(i+1)}{\mathrm{\&Sigma;}}}\underset{n=8j}{\overset{8(j+1)}{\mathrm{\&Sigma;}}}|f_k(m,n)-f_{k-1}(m,n)|,$ 式中，i、j和k皆为自然数，i、j分别是图像块的横坐标与纵坐标，因每帧图像的分辨率为768×432，每个图像块的大小为8×8，故i、j的最大值分别为96和54；f_k(m,n)和f_k-1(m,n)分别为该步骤读取的第k帧和第(k-1)帧中坐标为(m,n)的像素的亮度值；

（12）按照下述公式计算每帧图像总体运动剧烈程度：

式中，l_i,j为考虑人眼兴趣的每个图像块的权重因子，若定义每帧图像中心坐标为(48,27)，则位于不同位置的图像块的权重因子l_i,j的计算公式分别为：

当i≠48并且j≠27时， $l_{i,j}=\frac{1}{\sqrt{|i-48|}}\&CenterDot;\frac{1}{\sqrt{|j-27|}};$

当i=48并且j≠27时， $l_{i,j}=\frac{1}{\sqrt{|j-27|}};$

当i≠48并且j=27时， $l_{i,j}=\frac{1}{\sqrt{|i-48|}};$

当i=48并且j=27时，l_i,j=1

（13）将每帧图像的运动剧烈程度与分别位于其前、后设定数量α的多帧图像的运动剧烈程度进行比较，从中初步选取相对数值最大或最小的帧作为一个关键帧，其中，α的选择区间是[2,5]；再根据所选关键帧的相邻帧之间的相关性，选取出非场景切换型关键帧。

该步骤包括下列两种操作内容：

（A）若第k帧为非场景切换型关键帧，即keyframe[l]=k，则应同时满足以下三个筛选条件：

A，第k帧的总体运动剧烈程度MA_k应满足下述两式之一：

(MA_k>MA_q)，其中,q=k-α,k-(α-1),…,k-1,k+1,…,k+(α-1),k+α，或

(MA_k<MA_q)，其中,q=k-α,k-(α-1),…,k-1,k+1,…,k+(α-1),k+α；

B，关键帧序号应满足下式：keyframe[l-1]≠k-1，式中，l为关键帧的序号，即第(k-1)帧不是关键帧；

C，分析第k帧和第(k+1)帧的相关性，两者应满足设定的相关性；

（B）在判断条件C时，若同时符合A和B两项条件的关键帧的相关性都较低，则认为该视频序列的运动场景多，默认所有初步选取的关键帧都为非场景切换型关键帧。

本实施例中设定的α为2，相关性分析采用计算相关系数的方法，即计算第k帧和第(k+1)帧的相关系数，若其值大于β，则选择第k帧为非场景切换型关键帧，β的取值范围可以为[0.3,0.5]，实施例设定为0.4，最终得到的非场景切换型关键帧数目为65，去除场景切换型关键帧2帧。

步骤2：评价非场景切换型关键帧的图像质量和二次选取：对非场景切换型关键帧图像进行小波变换，并检测小波系数的统计特性，计算与评价其图像质量；再以该评价结果进行关键帧的二次选取，区分图像质量下降的质量变化型关键帧和图像质量未下降、但图像内容与前后帧相比发生变化的内容变化型关键帧；

参见图2，介绍该步骤2的具体操作内容：

（21）采用多分辨率分析的小波快速算法，即Mallat算法对非场景切换型关键帧图像进行两层小波分解，本实施例的小波基选为sinc小波（sinc小波是理想的半带低通和高通滤波器）。以视频序列pa为例，进行一层小波分解后得到四个子图：低频LL₁、低高频LH₁、高低频HL₁和高频HH₁，再对低频LL₁子图进行二层小波分解，得到四个子图：低频LL₂、低高频LH₂、高低频HL₂、高频HH₂（参见图3）；在每个尺度下，LL_w子图的小波系数

都包含前一阶段的低频信息，而HL_w、LH_w、HH_w子图的小波系数

也分别包含横向、纵向和对角方向的高频边缘信息；式中，字符的上标数字与下标w分别是小波分解后的子图索引序号和小波分解层数。

（22）将包含较多横向边缘信息的HL₂子图的小波系数水平分割为四个子带f_h1～f_h4： $f_{\mathrm{hx}}(m,n)=f_2^1(4(m-1)+x,n),$ 式中， $f_2^1(4(m-1)+x,n)$ 是坐标为(4(m-1)+x,n)的像素的小波系数，f_hx(m,n)是分割后的子带f_hx对应(m,n)处的小波系数，子带序号x=1,2,3,4。同理，将包含较多纵向边缘信息的LH₂子图的小波系数垂直分割为四个子带f_v1～f_v4： $f_{\mathrm{vy}}(m,n)=f_2^2(m,4(n-1)+y),$ 式中， $f_2^2(m,4(n-1)+y)$ 是坐标为(m,4(n-1)+y)的像素的小波系数，f_vy(m,n)为分割后的子带f_vy对应(m,n)处的小波系数，子带序号y=1,2,3,4。这样处理后，就分别得到子图HL₂和LH₂的四个子带（参见图4）。

（23）对于HL₂子图，依次计算每个子带数据的方差

得到垂直方向的失真度：

Q_v值与1偏离越大，表明该非场景切换型关键帧的图像垂直方向失真越大。对LH₂子图采用类似的分析，得到水平方向的失真度：

Q_h值与1偏离越大，表明该非场景切换型关键帧的图像水平方向失真越大。

（24）图像的总失真度的计算公式为：利用总失真度Q对关键帧进行二次选取：若序号为q的关键帧帧总失真度大于设定数值γ，即Q_q>γ成立，则选取当前帧为质量变化型关键帧，式中，数值γ要根据不同情况进行选取。本实施例中的γ取值为0.05，经过二次选取后的质量变化型关键帧数目为45。

步骤3：采用对质量变化型关键帧的图像质量加权计算方法评价视频质量：其中，两个加权因子分别依据质量变化型关键帧的持续时长及其占非场景切换型关键帧数量的比例，用于考虑视频质量较差的帧的持续时间及其出现频率对人眼视觉感知造成的影响。

若计算得到第q个质量变化型关键帧的图像总失真度为Q_q，该帧的持续时间因子为：

恶化频率因子为：

则整个视频序列的质量Q_all的计算公式为： $Q_{\mathrm{all}}=\frac{45}{65}\&times;\underset{q=1}{\overset{45}{\mathrm{\&Sigma;}}}(t_q\&times;Q_q)$

本发明方法已经进行了多次实施试验，试验的结果是成功的，实现了发明目的。例如，下表描述了LIVE视频数据库中的5组80个视频序列的测试结果。

视频特征	Pearson	Spearman	OR
				背景不动，前景运动物体多（如pa）	0.5729	0.5964	0.0667
背景与前景均运动，前景有缩放	0.7591	0.7893	0.2000
				画面细节复杂，运动形式丰富	0.5571	0.5679	0.1333

表中，Pearson线性相关系数用于反映模型的评价准确度，该值位于[-1,1]区间，绝对值越接近1，表明评价准确度越高。Spearman秩相关系数用于反映模型的评价单调性，该值也位于[-1,1]区间，其绝对值越接近1，表明评价的单调性越好。OR表示背离率，用于反映模型评价的一致性，较小的OR表示模型具有良好的评价稳定性，不会随着视频内容或特征的变化而剧烈变化。可以看出，采用本发明方法测试不同运动特征的视频序列，均可以保持较好的评价准确度和单调性，且具有较好的评价稳定性。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (4)

1.一种用关键帧图像质量加权的无参考视频质量的客观评价方法，其特征在于：首先依据基于人眼兴趣加权的运动剧烈程度方法初步选取关键帧，然后通过相关性分析将初步选取的关键帧分为场景切换型关键帧和非场景切换型关键帧；再对非场景切换型关键帧评价图像质量，并根据该评价结果将非场景切换型关键帧细分为内容变化型关键帧和质量变化型关键帧；最后利用质量变化型关键帧的持续时间因子和恶化频率因子对其单帧质量进行加权求和计算，得到整个视频序列的质量评价结果；所述方法包括下列步骤：

（1）从待评价视频序列中选取出非场景切换型关键帧：先依据每帧图像的运动剧烈程度初步选取关键帧，再分析这些关键帧之间的相关性，剔除其中与视频质量无关的场景切换型关键帧；该步骤包括下列操作内容：

（11）将待评价视频序列转化为统一的欧洲电视系统的颜色编码YUV视频格式，然后按顺序对每帧的图像进行分块，将当前帧的图像块与前一帧的相同位置图像块之间亮度值的差值矩阵中的所有元素绝对值之和除以该图像块的总像素值的商，作为当前帧的各个图像块的运动剧烈程度的计算公式： ${\mathrm{MA}}_k(i,j)=\frac{1}{M_p\&times;N_p}\underset{m=M_p\&times;i}{\overset{M_p\&times;(i+1)}{\mathrm{\&Sigma;}}}\underset{n=N_p\&times;j}{\overset{N_p\&times;(j+1)}{\mathrm{\&Sigma;}}}|f_k(m,n)-f_{k-1}(m,n)|,$ 式中，M、N、M_p、N_p、i、j和k皆为自然数，M与N分别是每帧图像的宽度与高度的像素值，M_p和N_p分别是分块后的每个图像块的宽度与高度的像素值，且M和N分别为M_p和N_p的整数倍，M_p×N_p为图像块的总像素值；i和j分别是图像块在帧中的横坐标与纵坐标，其最大值分别为

和

f_k(m,n)和f_k-1(m,n)分别为该步骤读取的第k帧和第(k-1)帧中坐标为(m,n)的像素的亮度值；

（12）按照下述公式计算每帧图像总体运动剧烈程度：式中，l_i,j为考虑人眼兴趣的每个图像块的权重因子，若定义每帧图像中心坐标为则位于不同位置的图像块的权重因子l_i,j的计算公式分别为：

当 $i\&NotEqual;\frac{M}{2M_p}$ 且 $j\&NotEqual;\frac{N}{2N_p}$ 时， $l_{i,j}=\frac{1}{\sqrt{|i-\frac{M}{2M_p}|}}\&times;\frac{1}{\sqrt{|j-\frac{N}{2N_p}|}};$

当 $i=\frac{M}{2M_p},$ $j\&NotEqual;\frac{N}{2N_p}$ 时， $l_{i,j}=\frac{1}{\sqrt{|j-\frac{N}{2N_p}|}};$

当 $i\&NotEqual;\frac{M}{2M_p},$ $j=\frac{N}{2N_p}$ 时， $l_{i,j}=\frac{1}{\sqrt{|i-\frac{M}{2M_p}|}};$

当 $i=\frac{M}{2M_p}$ 且 $j=\frac{N}{2N_p},$ 即l_i,j=1；

（13）将每帧图像的运动剧烈程度与分别位于其前、后设定数量α的多帧图像的运动剧烈程度进行比较，从中初步选取相对数值最大或最小的帧作为一个关键帧；再根据所选关键帧的相邻帧之间的相关性，剔除场景切换型关键帧；其中，α的选择区间是[2,5]；

（2）评价非场景切换型关键帧的图像质量和二次选取：对非场景切换型关键帧图像进行小波变换，并检测小波系数的统计特性，计算与评价其图像质量；再以该评价结果进行关键帧的二次选取，区分图像质量下降的质量变化型关键帧和图像质量未下降、但图像内容与前后帧发生变化的内容变化型关键帧；

（3）采用对质量变化型关键帧的图像质量加权计算方法评价视频质量：其中，两个加权因子分别依据质量变化型关键帧的持续时长及其占非场景切换型关键帧数量的比例，用于考虑视频质量较差的帧的持续时间及其出现频率对人眼视觉感知造成的影响。

2.根据权利要求1所述的方法，其特征在于：所述步骤（13）包括下列两种操作内容：

（13A）若第k帧为非场景切换型关键帧，即keyframe[l]=k，则应同时满足以下三个筛选条件：

A，第k帧的总体运动剧烈程度MAk应满足下述两式之一：

(MA_k>MA_q)，其中,q=k-α,k-(α-1),…,k-1,k+1,…,k+(α-1),k+α，或

(MA_k<MA_q)，其中,q=k-α,k-(α-1),…,k-1,k+1,…,k+(α-1),k+α；

B，关键帧序号应满足下式：keyframe[l-1]≠k-1，式中，l为关键帧的序号，即第(k-1)帧不是关键帧；

C，分析第k帧和第(k+1)帧的相关性，两者应满足设定的相关性；

（13B）在判断条件C时，若同时符合A和B两项条件的关键帧的相关性都较低，则认为该视频序列的运动场景多，默认所有初步选取的关键帧都为非场景切换型关键帧。

3.根据权利要求1所述的方法，其特征在于：所述步骤（2）进一步包括下列操作内容：

（21）采用多分辨率分析的小波快速算法，即Mallat算法对非场景切换型关键帧图像进行两层小波分解：先进行一层小波分解，得到四个子图：低频LL₁、低高频LH₁、高低频HL₁和高频HH₁，再对低频LL₁子图进行二层小波分解，得到四个子图：低频LL₂、低高频LH₂、高低频HL₂、高频HH₂；在每个尺度下，LL_w子图的小波系数

都包含前一阶段的低频信息，而HL_w、LH_w、HH_w子图的小波系数也分别包含横向、纵向和对角方向的高频边缘信息；式中，字符的上标数字与下标w分别是小波分解后的子图索引序号和小波分解层数；

（22）将HL₂子图的小波系数水平分割为四个子带f_h1～f_h4： $f_{\mathrm{hx}}(m,n)=f_2^1(4(m-1)+x,n),$ 式中， $f_2^1(4(m-1)+x,n)$ 是坐标为(4(m-1)+x,n)的像素的小波系数，f_hx(m,n)是分割后的子带f_hx对应(m,n)处的小波系数，子带序号x=1,2,3,4；

（23）分别计算四个子带f_h1～f_h4的方差

再计算垂直方向的失真度

Q_v值与1偏离越大，表明该非场景切换型关键帧的图像垂直方向失真越大；

（24）将LH₂子图的小波系数垂直分割为四个子带f_v1～f_v4： $f_{\mathrm{vy}}(m,n)=f_2^2(m,4(n-1)+y).$ 式中， $f_2^2(m,4(n-1)+y)$ 是坐标为(m,4(n-1)+y)的像素的小波系数，f_vy(m,n)为分割后的子带f_vy对应(m,n)处的小波系数，子带序号y=1,2,3,4；

（25）分别计算四个子带f_v1～f_v4的方差再计算水平方向的失真度

Q_h值与1偏离越大，表明该非场景切换型关键帧的图像水平方向失真越大；

（26）计算该非场景切换型关键帧图像的总失真度

利用总失真度Q对关键帧进行二次选取：若序号为q的关键帧帧总失真度大于设定数值γ，即Q_q>γ成立，则选取当前帧为质量变化型关键帧；式中，数值γ要根据不同情况进行选取。

4.根据权利要求1所述的方法，其特征在于：所述步骤（3）中，所述对质量变化型关键帧图像质量进行加权衡量的操作包括下列内容：

（31）因质量差的关键帧持续时间越长，对人眼视觉感知的影响越大，故定义持续时间因子t为两个相邻的质量变化型关键帧的帧序号差的倒数，则计算第q个质量变化型关键帧的持续时间因子：

（32）因质量差的关键帧出现频率越高，对人眼视觉感知的影响越大，故定义质量变化型关键帧的恶化频率因子：

（33）按照下式计算整个视频序列的质量Q_all：

式中，r为质量变化型关键帧的数量，s为非场景切换型关键帧的数量，t_q和Q_q分别为某关键帧的持续时长和图像失真度；且Q_all的数值越小，表明视频序列质量越好。

Images