CN101742355A - 基于空时域特征提取的无线视频部分参考测评方法 - Google Patents

Abstract

基于空时域特征提取的无线视频部分参考测评方法，涉及一种视频质量的评价方法。在对已有的视频客观质量评估模型进行深入理解和详尽分析的基础上，结合人眼的视觉特性，提供一种基于空时域特征提取的无线视频部分参考测评方法，对传统SSIM模型进行改进。以视频时域的流畅性和空域的结构相似度以及清晰度为主要评价指标，在保证评价准确度的情况下，提取ST区域(空域和时域)的特征参数，建立一种新的评价模型，减少评测所需的参考数据以及降低计算复杂度，使得评价模型适用于对无线传输的视频质量的实时评价。

Description

基于空时域特征提取的无线视频部分参考测评方法

技术领域

本发明涉及一种视频质量的评价方法，尤其是涉及一种基于空时域特征提取以及对传统SSIM算法改进的视频部分参考测评方法，数据量少，特别适用于无线视频业务中对视频质量的实时评价。

背景技术

随着移动通信业务的增加，无线通信已获得非常广泛的应用。无线通信环境(无线信道、移动终端等)以及移动多媒体应用业务的特点是越来越趋于对图像业务和视频业务的支持和优化。随着无线网络的多样化以及无线环境的多元化和复杂化，由于视频在传输过程中，信号会有所损失，因此视频图像直观质量的好坏成为衡量系统的重要指标。目前视频图像质量的评价方法可分为主观评价和客观测试两类，传统的以人的视觉观察和主观感知为主的主观评测，不仅对人的图像观察能力要求很高，劳动强度大，费时，而且受观察者的背景知识、观测动机和观测环境等因素的影响，其结果稳定性和可移植性差；客观评价则是利用客观的数学评测模型来进行视频质量的评测，以达到和主观的评测方法一致的效果，与主观评价相比，具有速度快、费用低和可以嵌入到数字系统等优点，因此比较实用。

然而，随着数字视频压缩技术的引入，传统的视频质量客观评估方法已无法适应新的应用要求。一方面，数字视频压缩算法的设计目标与模拟算法不同，它不是尽可能的复制原始信号波形，而是在视觉效果上逼近原始图像，因而无法用波形的相似程度来衡量质量的好坏；另一方面，由于带宽和速率上的限制，压缩后的视频失去了大量的针对人眼的冗余信息，其质量在很大程度上依赖于视频本身的内容，也就是说，由于信道误码等原因引起的很小的错误可能导致视频质量的急剧下降。另外，诸如方块效应、跳跃闪烁现象、边缘模糊现象等影响，使得对数字系统的视频质量评估更加困难，因而需要针对数字视频系统的特点，设计新的质量评估方法。近年，研究人员一直致力于各种评测算法的研究，提出了许多不同的理论和方法(1、袁飞，黄联芬，姚彦.视频质量客观评价技术研究[J].电视学报，2007，31(3)；2、Zhou Wang，A.C.Bovik.Video Quality Assessment Based on Structural Distortion Measurement.Signal Processing：Image Communication.2004，19(2)：121～132；3、佟雨兵，张其善，胡薇薇等.视频质量评价方法综述[J].计算机辅助设计与图形学报，2006，18(5)：735-741.)。

根据无线视频业务的应用不同，目前客观评价大致可划分为全参考评价体系(Full-Reference，FR)、部分参考评价体系(Reduced-Reference，RR)和无参考评价体系(No-Reference，NR)。全参考客观评价体系要求占有完整的源素材(SRC，Source Reference Circuit)信息，将视频划分成一帧一帧的完整图像，再将SRC与HRC(Hypothetical Reference Circuit)各帧图像进行相应的数字图像处理，计算待处理的视频图像与原始视频图像的差别。尽管全参考模式目前研究相对比较成熟，但是仍然存在以下局限性：

(1)目前广泛使用的算法是以均方信噪比为基础，代表性的方法MSE(Mean SquaredError)，PSNR(peak-signal-to-noise ratio)等，都是基于对应像素点间的误差，即基于误差敏感的图像质量评价，忽略了人眼视觉系统的特殊性质，可能对视频图像内容的质量评测与人的主观评测有偏差；

(2)基于对全参考模型在无线传输中需要传输完整的待测素材，评价所需的数据量大；

(3)评价时延大、占用带宽多、不适合无线应用的实时评测；

部分参考模型可以有效地克服全参考模型的上述局限性，这种模型并不需要完整的源参考视频相比，部分参考模型，并不需要完整的源参考视频，而是从源视频中提取相关特征，并把特征和待测视频一起传输，在接收端再将它们分离，按相同的方法，从接收到的待测视频中，提取相对应的视频特征，这些特征要求能够客观地，有效地反应视频的性质，最后将两者的视频特征进行比较求出差异，即分析噪声情况，判断视频的失真程度，对视频质量做出客观评价。由于提取特征数据量少，占用带宽不大，和视频数据一起传输过程中对视频质量和业务服务质量影响较小，可以有效地降低运算数据量，相比无参考模式又具有更高的评价准确度，特别适用于无线传输中视频业务的实时评价。

然而，目前的视频部分参考评测设计的主要难点有以下方面：

(1)由于视频不是简单的N帧图像的集合，对视频质量的评价应该包括空域和时域上的检测，而根据人眼视觉特性，空域和时域的特征并不是独立的，而是相互影响的，因此增加了对特征参数提取的难度以及评价模型的复杂度。

(2)由于部分参考模型要求提取特征数据量少、带宽小，因此要求特征参数提取应该尽量简洁。然而评价结果要求尽量准确，与人眼视觉的主观评价尽量一致，因此设计评价模型时必须平衡好特征参数的数据量与计算结果的准确度。

(3)部分参考目前国际上的研究还不够成熟，人们对于HVS的研究也还不透彻，尚且难以建立一个精确的、统一的模型使部分参考能够与主观的评价保持效果一致。

发明内容

本发明的目的在于针对现有的视频部分参考评测设计中存在的上述问题，提供一种基于空时域特征提取的无线视频部分参考测评方法。

本发明包括以下步骤：

1)系统发送端嵌入视频转化器，将参考视频格式统一转化成YUV格式(YUV是被欧洲电视系统所采用的一种颜色编码方法，Y代表图像亮度，UV代表色差，U和V是构成色彩的两个分量)，并进行特征参数提取，所述特征参数包括时域特征参数和空域特征参数，所述时域特征参数包括每隔20帧间的能量差TI₂₀(k)、相邻帧间的能量差TI₂(k)，所述空域特征参数包括局部亮度u(n，k)与对比度σ(n，k)、边缘能量比值HVR(k)、边缘结构Edge_binary(i，j，k)；

2)系统接收端将经过无线信道传输的待测视频接收下来，对待测视频提取相同的特征参数，此时待测视频提取的特征参数记为TI_p20(k)、TI_p2(k)、u_p(n，k)、σ_p(n，k)、HVR_p(k)、Edge_p_binary(i，j，k)，同时，将经过辅助信道传输的参考视频特征参数接收下来，记为TI_s20(k)、TI_s2(k)，u_s(n，k)、σ_s(n，k)、HVR_s(k)、Edge_s_binary(i，j，k)；

3)建立评价模型，以视频时域的流畅性和空域的结构相似度以及清晰度为主要质量指标，对待测视频的质量进行综合测评，步骤如下：

①将步骤1)、2)中提取的参考视频和待测视频的部分特征参数，进行分析比较，提取出质量指标，时域的质量指标为延时失真系数TI_delay、帧凝固失真系数TI_zero和时域活动性失真系数Q_temporal_move；空域的质量指标为结构相似度系数Q_mssim(k)、帧图像边缘清晰度系数K_HV(k)和帧图像边缘结构性失真系数Edge_structure(k)；

②在步骤①基础上对时域的质量指标和空域的质量指标建立模型，求出时域的质量系数Q_{_temporal}和空域的质量系数Q_{_spatial}，最后结合空时域质量系数计算出总的质量系数VQM。

在步骤1)中，所述每隔20帧间的能量差TI₂₀(k)的功能定义为用于计算待测视频时延情况；所述时域特征参数TI₂₀(k)为视频每隔20帧像素差的均方根值，定义如下：

$\begin{array}{c}\mathrm{Dif}(i,j,k)=|\mathrm{Data}(i,j,k+20)-\mathrm{Data}(i,j,k)|\\ {\mathrm{TI}}_{20}\left(k\right)=\sqrt{\frac{1}{M*N}\left(\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{Dif}(i,j,k)\right)}\end{array},$ Data(i，j，k)为视频的第k帧图像的像素数据。

所述相邻帧间的能量差TI₂(k)的功能定义为用于计算待测视频帧凝固情况，所述的时域特征参数TI₂(k)为视频前后两帧的像素差的标准差值，定义如下：

TI₂(k)＝std[|Data(i，j，k+1)-Data(i，j，k)|]；

所述局部亮度u(n，k)、对比度σ(n，k)的功能定义为对SSIM算法进行改进，用于评价待测视频与参考视频的结构相似度；

所述边缘能量比值HVR(k)的功能定义为用于分析比较待测视频的边缘清晰度；

所述边缘结构Edge_binary(i，j，k)的功能定义为用于计算分析边缘像素的结构失真情况。

所述时域特征参数和空域特征参数的提取包括以下步骤：

(A)确定图像的有效区域：由视觉特性可知，人眼在观看一幅画面，特别是活动画面时，通常只关注画面的中心区域，对四周边沿区域极少关注，因此在计算特征参数时可以不考虑边沿区域，对图像的四个边沿进行裁剪。

(B)提取时域特征参数TI₂₀(k)，TI₂₀(k)为视频每隔20帧像素差的均方根值，定义如下：

$\begin{array}{c}\mathrm{Dif}(i,j,k)=|\mathrm{Data}(i,j,k+20)-\mathrm{Data}(i,j,k)|\\ {\mathrm{TI}}_{20}\left(k\right)=\sqrt{\frac{1}{M*N}\left(\underset{i=1,j=1}{\overset{i=M,j=N}{\mathrm{\Σ}}}\mathrm{Dif}(i,j,k)\right)}\end{array},$ Data(i，j，k)为视频的第k帧图像的像素数据。

(C)提取时域特征参数TI₂(k)，TI₂(k)为视频前后两帧的像素差的标准差值，定义如下：

TI₂(k)＝std[|Data(i，j，k+1)-Data(i，j，k)|]。

(D)提取空域局部亮度u(n，k)、对比度σ(n，k)，根据人眼对视频图像的观察主要集中在图像的中央位置的特性，将图像空间区域从中央往四周划分为16个回字形窗口，例如视频图像像素为704×576时，则中间的第一个窗口大小应该为41×36，从第一个窗口往外扩展，第二个窗口的大小应该为82×72，依次类推第16个窗口的大小应该为704×576；计算方式除了第一个窗口window(1)需要包含整个窗口内的所有区域，第n(n＝2，3，...，16)个窗口window(n)只需要计算扣掉内部第n-1个窗口window(n-1)的区域，此时子窗口中图像像素的平均亮度，以及均方误差，运算定义如下：

$u(n,k)=\frac{1}{\mathrm{row}\_n*\mathrm{col}\_n}\underset{i=1}{\overset{\mathrm{row}\_n}{\mathrm{\Σ}}}\underset{j=1}{\overset{\mathrm{col}\_n}{\mathrm{\Σ}}}\mathrm{Data}(i,j,k,n)$

(if n＝1，i，j∈window(1)，else i，j∈window(n)且 $i,j\∉\mathrm{window}(n-1))$

$\mathrm{\σ}{(n,k)}^2=\frac{1}{\mathrm{row}\_n*\mathrm{col}\_n-1}\underset{i=1}{\overset{\mathrm{row}\_n}{\mathrm{\Σ}}}\underset{j=1}{\overset{\mathrm{col}\_n}{\mathrm{\Σ}}}{[\mathrm{Data}(i,j,k,n)-u(n,k)]}^2$

(if n＝1，i，j∈window(1)，else i，j∈window_n且 $i,j\∉\mathrm{window}(n-1))$

其中，u(n，k)、σ(n，k)是指视频第k帧图像中第n个子窗口中图像像素的数字统计，提取出该子窗口中的像素平均亮度以及均方误差，row_n、col_n为第n个子窗口的宽和高。

(E)所述空域帧图像边缘能量比值HVR(k)提取方法，包括以下步骤：

①选用Sobel水平滤波器g_horizontal(i，j)和垂直滤波器g_vertical(i，j)，提取出帧图像水平和垂直边缘数据，分别记为R_edge_horizontal(i，j，k)和R_edge_vertical(i，j，k)，定义如下：

R_edge_horizontal(i，j，k)＝Data(i，j，k)*g_horizontal(i，j)

R_edge_vertical(i，j，k)＝Data(i，j，k)*g_vertical(i，j)

②提取边缘梯度矢量，矢量幅度记为R_edge(i，j，k)，即边缘能量大小，矢量角度记为θ(i，j，k)，定义如下：

$R\_\mathrm{edge}(i,j,k)=\sqrt{{(R\_\mathrm{edge}\_\mathrm{horizontal}(i,j,k))}^2+{(R\_\mathrm{edge}\_\mathrm{vertical}(i,j,k))}^2}$

$\mathrm{\θ}(i,j,k)={\tan }^{-1}\left[\frac{R\_\mathrm{edge}\_\mathrm{vertical}(i,j,k)}{R\_\mathrm{edge}\_\mathrm{horizontal}(i,j,k)}\right]$

③计算边缘能量比值HVR(k)，定义如下：

$\mathrm{HV}(i,j,k)=\left\{\begin{array}{c}R\_\mathrm{edge}(i,j,k),\mathrm{if\; R}\_\mathrm{edge}(i,j,k)\&GreaterEqual;r_{\min }\mathrm{and\; m}\frac{\mathrm{\&pi;}}{2}-\mathrm{\&Delta;\&theta;}<\mathrm{\&theta;}(i,j,k)<m\frac{\mathrm{\&pi;}}{2}+\mathrm{\&Delta;\&theta;},(m=\mathrm{0,1,2,3})\\ 0,\mathrm{otherwise}\end{array}\right.$

$\stackrel{\&OverBar;}{\mathrm{HV}}(i,j,k)=\left\{\begin{array}{c}R\_\mathrm{edge}(i,j,k),\mathrm{if\; R}\_\mathrm{edge}(i,j,k)\&GreaterEqual;r_{\min }\mathrm{and\; m}\frac{\mathrm{\&pi;}}{2}+\mathrm{\&Delta;\&theta;}<\mathrm{\&theta;}(i,j,k)<(m+1)\frac{\mathrm{\&pi;}}{2}-\mathrm{\&Delta;\&theta;},(m=\mathrm{0,1,2,3})\\ 0,\mathrm{otherwise}\end{array}\right.$

其中，r_min＝20，Δθ＝0.225

$\mathrm{HVR}\left(k\right)=\frac{\mathrm{mean}\left[\mathrm{HV}(i,j,k)\right]}{\mathrm{mean}\left[\stackrel{\&OverBar;}{\mathrm{HV}}(i,j,k)\right]}$

其中，HV(i，j，k)表示水平、垂直方向的梯度，反映图像水平、垂直方向的边缘能量；HV(i，j，k)表示非水平、垂直方向的梯度，反映了图像非水平、垂直方向的边缘能量。HVR(k)定义为图像水平、垂直方向的梯度与非水平、垂直方向的梯度的均值的比值。

(F)所述帧图像边缘结构信息Edge_binary(i，j，k)提取方法，包括以下步骤：

在上述步骤的基础上，对边缘像素进行二值化，提取出边缘的结构信息，记录下边缘像素的具体位置信息，定义如下：

$\mathrm{Edge}\_\mathrm{binary}(i,j,k)=\left\{\begin{array}{c}1,\mathrm{if\; R}\_\mathrm{edge}(i,j,k)>\mathrm{value}\left(k\right)\\ 0,\mathrm{else}\end{array}\right.$

其中value为一帧图像内的边缘像素的阈值，计算定义如下：

value(i，k)＝imhist(R_edge(i，j，k))

$\mathrm{value}\left(k\right)=\frac{\underset{i=0}{\overset{255}{\mathrm{\&Sigma;}}}i*\mathrm{value}(i,k)}{\mathrm{Num}}$

imhist(R_edge(i，j，k))表示对视频第k帧边缘图像的直方图，Num表示一帧内的像素总数。

(G)此时，将参考视频提取的特征参数数据打包发送给接收端，这些参数记为时域上的TI_s20(k)、TI_s2(k)，空域上的u_s(n，k)、σ_s(n，k)、HVR_s(k)、Edge_s_binary(i，j，k)。

在步骤3)中，所述时域质量指标提取方法，包括以下步骤：

①延时失真系数TI_delay

${\mathrm{TI}}_{\mathrm{delay}}=1-\frac{d_{\min }}{\mathrm{len}},$ TI_delay∈(0，1)

其中，d_min为待测视频延时长度，len为视频总长度，延时越小，质量越好。

②帧凝固失真系数TI_zero

${\mathrm{TI}}_{\mathrm{zero}}=1-\frac{\mathrm{Num}\_\mathrm{zero}}{\mathrm{Len}\_\mathrm{effective}},$ TI_zero∈(0，1)

其中，Len_effective表示视频序列校准后的有效长度，Num_zero视频中序列凝固的长度，Num_zero为0时表明没有凝固现象，视频流畅性良好，TI_zero为1，不影响人眼对视频的主观评价。

③时域活动性失真系数Q_temporal_move

$Q_{\mathrm{temporal}}\_\mathrm{move}=\frac{1}{\mathrm{Len}\_\mathrm{effective}}\underset{k=1}{\overset{\mathrm{Len}\_\mathrm{effective}}{\mathrm{\&Sigma;}}}[1-|\frac{{\mathrm{TI}}_{s2}\left(k\right)-{\mathrm{TI}}_{p2}\left(k\right)}{{\mathrm{TI}}_{s2}\left(k\right)+{\mathrm{TI}}_{p2}\left(k\right)}\left|\right]$

其中，Len_effective为视频序列的有效长度，Q_spatial_move∈[0，1]，当活动性失真越小，其值越接近于1。

在步骤3)中，所述空域质量指标提取方法，包括以下步骤：

①结构相似度系数Q_mssim(k)

利用16个从中央向四周逐渐扩大的回字形窗口将视频图像进行空间分割，并依据各个窗口的位置受关注程度，对各个窗口的失真程度赋予对应的权重。通过提取各窗口中图像像素的平均亮度、对比度，对图像进行结构相似度计算：

$Q\_\mathrm{ssim}(n,k)=\left[\frac{2u_s(n,k)*u_p(n,k)+C_1}{u_s{(n,k)}^2+u_p{(n,k)}^2+C_1}\right]*\left[\frac{2{\mathrm{\&sigma;}}_s(n,k)*{\mathrm{\&sigma;}}_p(n,k)+C_2}{{\mathrm{\&sigma;}}_s{(n,k)}^2+{\mathrm{\&sigma;}}_p{(n,k)}^2+C_2}\right]$

$Q\_\mathrm{mssim}\left(k\right)=\underset{n=1}{\overset{16}{\mathrm{\&Sigma;}}}{w}_{\mathrm{window}}\_n*Q\_\mathrm{ssim}(n,k)$

其中w_window_n为各子窗口的失真权重，Q_ssim(n，k)为第k帧图像中各窗口的结构相似度，Q_mssim(k)为各窗口的加权平均值，表征该帧图像的亮度、对比度失真情况。

②帧图像边缘清晰度系数K_HV(k)

$K\_\mathrm{HV}\left(k\right)=\sqrt{1-\left|\frac{{\mathrm{HVR}}_s\left(k\right)-{\mathrm{HVR}}_p\left(k\right)}{{\mathrm{HVR}}_s\left(k\right)+{\mathrm{HVR}}_p\left(k\right)}\right|}$

如果待测视频的帧图像的边缘轮廓遭受模糊，往往会使HVR_p(k)＜HVR_s(k)，而图像方块效应往往会是边缘能量增加，使HVR_p(k)＞HVR_s(k)，从而对待测视频和参考视频的边缘能量进行对比，得出待测视频清晰度情况。

③帧图像边缘结构性失真系数Edge_structure(k)，定义如下：

$\mathrm{Edge}\_\mathrm{structure}\left(k\right)=1-\frac{\mathrm{Num}\_\mathrm{one}\_\mathrm{of}\left(\right|{\mathrm{Edge}}_s\_\mathrm{binary}(i,j,k)-{\mathrm{Edge}}_p\_\mathrm{binary}(i,j,k)\left|\right)}{M*N}$

其中Num_one_of()为统计值为1的个数，即待测视频与参考视频帧图像边缘位置不同的点的个数，个数越多，表征结构失真越严重。

在步骤3)中，所述模型建立，求视频空时域质量系数以及总体质量，包括以下步骤：

①计算时域整体质量系数Q_{_temporal}：

Q_temporal＝[TI_zero]^α*[TI_delay]^β*[Q_temporal_move]^λ，0＜Q_{_temporal}＜1

②计算空域整体质量系数Q_{_spatial}：

Q_spatial(k)＝[Q_mssim(k)]^a*[Edge_structure(k)]^b*[K_HV(k)]^c

$Q_{\_\mathrm{spatial}}=\underset{k=1}{\overset{\mathrm{Len}\_\mathrm{effective}}{\mathrm{\&Sigma;}}}\mathrm{gain}\left(k\right)*Q_{\mathrm{spatial}}\left(k\right),0<Q_{\_\mathrm{spatial}}<1$

其中，gain(k)表示依据视频序列各帧的活动性情况得到的权重。

③时空域综合评价视频总体质量VQM：

VQM＝w_spatial*Q_spatial+w_temporal*Q_temporal，0＜VQM＜1

其中w_spatial+w_temporal＝1，且w_spatial＞w_temporal，因为人的主观评价更注重视频图像空间上的像素失真，比较可以容忍一定程度的视频丢帧情况。

本发明所述无线视频素材的采集可以来自数字广播电视或者3G视频业务，这些业务中视频图像在无线传输中都会产生不同程度、不同样式的劣化，用户对视频业务进行评价以确保得到良好的业务服务，运营商对视频业务进行评价以反馈得到网络存在的劣化问题，并为网络优化提供改进参考。

本发明在对已有的视频客观质量评估模型进行深入理解和详尽分析的基础上，结合人眼的视觉特性，提供一种基于空时域特征提取的无线视频部分参考测评方法，对传统SSIM模型进行改进，以克服和改进现有技术的不足。该方法以视频时域的流畅性和空域的结构相似度以及清晰度为主要评价指标，在保证评价准确度的情况下，提取ST区域(空域和时域)的特征参数，建立一种新的评价模型，减少评测所需的参考数据以及降低计算复杂度，使得评价模型适用于对无线传输的视频质量的实时评价。

本发明从视频序列的时域和空域两个方面综合提取特征参数，通过视频时域的流畅性和空域的结构相似度以及清晰度两个指标，对无线视频的质量进行客观评价。

与现有的视频部分参考评测设计相比，本发明具有以下突出优点：

1)时域方面，由于无线传输环境复杂，信道噪声以及各种干扰的存在，视频在经过传输后，接收的视频往往在时域上会出现序列的延时、错乱、丢失、跳帧、重帧等现象，评价之前，需要对视频序列进行预校准，检测出待测视频的延时情况，并提取出延时失真参数；通过计算视频帧间的运动能量的变化，反映时域的运动情况，提取视频序列的时域活动失真参数；根据人眼的视觉特性，当视频中出现重帧、卡频等帧凝固现象时，凝固时间越长，导致人眼对视频的厌恶感增加，因此计算视频帧凝固的时间长度，作为视频评价的客观依据。

2)空域检测方面，对传统的SSIM进行算法改进(Zhou Wang，Image Quality Assessment：FromErrorVisibilityto Structural Similarity中提出了一种基于结构失真的SSIM评价方法)。传统的SSIM算法，需要建立8×8的窗口，提取的数据量大，计算复杂，而且没有考虑人眼对于图像轮廓信息的敏感度，因为图像的主要特征主要集中在边缘和细节部分，图像的边缘轮廓的结构失真能够很好地反映图像的空间失真程度。改进后的算法，对窗口建立方法进行改进，将窗口数量减少到16，大大减少了提取的数据量；并且提取出边缘结构失真参数以及边缘轮廓的清晰度，作为SSIM结构相似度的辅助测评依据，提高了评测准确度。

3)联合时空域综合评价视频质量，充分考虑了视频的时域和空域的相互联系性，比如时域运动变化较大时，可以降低对空域质量的要求，从而对空域失真的权重赋予相应的值。考虑从空域、时域提取出的各参数对视频质量的影响程度不一样，对各参数赋予不同的权重，并综合建立评价模型，使客观评价结果更接近主观评价。

本发明提供的基于空时域特征提取的无线视频部分参考测评方法，对传统的SSIM模型进行改进，克服了全参考模型提取数据量大、计算复杂度高以及现有部分参考模型忽略空时域联系造成客观评测结果与主观评测结果相偏离的缺陷，参数提取合理、全面，模型建立科学客观，保证了评测结果的准确性，特别适用于对无线网络中的视频质量的在线实时评测。

具体实施方式

本发明主要应用在3G无线视频业务如可视电话，以及数字广播电视业务等。系统主要包括三个部分：发送端、无线信道和接收端。

发送端装置需要设有存储器、实时处理芯片、摄像头以及无线发射模块。实际应用中，发送端的典型设备可以是手机移动终端，视频来自于手机摄像头摄像文件。发送端需要建立两个独立的信道，主信道要求具有较宽的带宽以及较高的速率，用于对视频数据流的实时传送；从信道或称辅助信道，主要用于传送提取出的视频特征参数，这些参数要求数据量少，具有很好的代表性，因此辅助信道对带宽和速率的要求较低。这些参数主要包括：时域上的TI₂₀(k)、TI₂(k)，空域上的u(n，k)、σ(n，k)、HVR(k)、Edge_binary(i，j，k)等，参数提取方法是对SSIM的改进，在保证评价准确度的前提下，减少了传输数据量和计算复杂度。

无线信道主要是建立在自然界的3G无线通信环境中，通过视频图像的失真情况，反映无线通信网络的质量。视频经发送端发送后，在无线信道中会经历各种劣化和失真，时域方面会产生延时、重帧、卡频、丢帧等现象，空域方面会出现图像模糊、方块等各种加噪失真现象。

接收端主要功能模块有无线接收模块，实时处理芯片、存储器、视频自动评价模块以及显示模块等。一方面从主信道将无线视频接收并保存下来，另一方面从辅助信道中将参考视频的特征参数接收保存下来，以备视频评价。接收端同样需要像发送端一样将视频格式转换成YUV格式并提取出相同的特征参数，并通过建立的评价模型，对待测视频的参数以及参考视频的参数进行对比分析，计算得出待测的视频质量。

详细的实施步骤如下。

1.发送端提取参考视频特征参数

部分参考模式与全参考模式的区别关键在于，后者需要完整的参考素材，而前者只需要从参考素材中提取出具有代表性的特征参数作为评价依据。因此，本发明在发送端需要对视频进行预处理，提取相应的参考特征，并通过辅助信道传输。这些参数主要包括：参考视频时域上的TI_s20(k)、TI_s2(k)，空域上的u_s(n，k)、σ_s(n，k)、HVR_s(k)、Edge_s_binary(i，j，k)等，详细提取方法如下所述：

1.1在发送端嵌入视频格式转换器，对要发送的视频进行预处理，将视频格式统一转换成YUV格式。

1.2对视频图像进行预处理，确定图像的有效区域。在进行视频质量评估时，我们只对图像的有效可视区域进行特征提取和计算。由视觉特性可知，人眼在观看一幅画面，特别是活动画面时，通常只关注画面的中心区域，对四周边沿区域极少关注，因此在计算特征参数时可以不考虑边沿区域，这样做的另一个好处是可以减少计算量，例如使用的704×576尺寸视频格式，可以在四个边沿各裁去16个像素。

1.3时域特征提取。图像的时间特征反映了图像的时域运动情况(图像的帧间运动能量)，它对视频图像的时间失真十分敏感。视频图像的运动变化主要体现在帧间的能量变化，帧间能量的减少往往是导致视频出现卡频、跳帧等现象，长时间的能量丢失，往往导致视频的帧凝固，时间越长，人眼对视频质量的厌恶越严重。时域提取的特征参数定义如表1所示。

表1

在无线传输过程中出现多径效应等问题，造成接收视频出现延时现象，因此在对待测视频进行评测之前，需要对视频序列进行预校准，对视频每隔20帧进行一次做差运算，这样每帧就得到一组差别数据，对该组数据进行均方根运算，这样每隔20帧提取出一个时域活动性参数TI₂₀(k)，分析比较参考视频和待测视频该特征的差别，可以获得待测视频的延时情况。

另一方面，视频图像的运动变化主要体现在帧间的能量变化，能量变化越大，时域活动性越大。因此我们对视频图像进行相继帧之间的差别计算，即帧差信号的活动性定义视频图像的时间特征TI₂(k)，比较分析待测视频和参考视频的该特征差别，可以获得待测视频的时域活动失真情况。其中，std[|Data(i，j，k+1)-Data(i，j，k)|]表示视频前后两帧像素差的标准差，TI₂(k)表征视频图像的运动能量大小，视频的跳帧现象会导致TI₂(k)的减小，而噪声会导致TI₂(k)的增加。

1.4空域特征提取。提取的主要参数定义如表2所示。

表2

特征表达	功能定义
		局部亮度u(n，k)、对比度σ(n，k)	用于评价待测视频与参考视频的结构相似度，并对SSIM算法进行改进，得到适合部分参考的评价模型。
边缘能量比值HVR(k)	噪声导致边缘增强，模糊导致边缘衰弱，分析比较待测视频的边缘能量情况，表征视频受噪情况。
		边缘结构Edge_binary(i，j，k)	人眼对视频的边缘轮廓的错位失真特别敏感，噪声导致的边缘像素位置的错乱，计算边缘的结构失真情况。

具体实施说明如下：

1.4.1改进SSIM算法，提取视频空域亮度、对比度参数。传统的SSIM模型一般将视频图像空间划分成8X8的子窗口，分别计算子窗口中图像像素的平均亮度x，以及子窗口中像素的均方误差即像素对比度σ_x ²作为特征参数，其中， $\stackrel{\&OverBar;}{x}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{x}_i,$ ${{\mathrm{\&sigma;}}_x}^2=\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{(x_i-\stackrel{\&OverBar;}{x})}^2.$ 但是由于划分的子窗口数量多，提取的特征参数数据量大，计算较复杂，不适合无线网络中对视频质量的实时评测。为了克服这个局限性，本文根据人眼对视频图像的观察主要集中在图像的中央位置的特性，将图像空间区域从中央往四周划分为16个回字形窗口，例如视频图像像素为704×576时，则中间的第一个窗口大小应该为41×36，从第一个窗口往外扩展，第二个窗口的大小应该为82×72，依次类推第16个窗口的大小应该为704×576；计算方式除了第一个窗口window(1)需要包含整个窗口内的所有区域，第n(n民2，3，...，16)个窗口window(n)只需要计算扣掉内部第n-1个窗口window(n-1)的区域，这样根据HVS视觉特性就将视频帧图像合理地划分为16个子区域，特征参数的提取也只需要对这16个区域进行提取，减少了计算的数据量和模型的复杂度，此时子区域中图像像素的平均亮度，以及均方误差，运算定义如下：

$u(n,k)=\frac{1}{\mathrm{row}\_n*\mathrm{col}\_n}\underset{i=1}{\overset{\mathrm{row}\_n}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{\mathrm{col}\_n}{\mathrm{\&Sigma;}}}\mathrm{Data}(i,j,k,n)$

(ifn＝1，i，j∈window(1)，else i，j∈window(n)且 $i,j\&NotElement;\mathrm{window}(n-1))$

$\mathrm{\&sigma;}{(n,k)}^2=\frac{1}{\mathrm{row}\_n*\mathrm{col}\_n-1}\underset{i=1}{\overset{\mathrm{row}\_n}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{\mathrm{col}\_n}{\mathrm{\&Sigma;}}}{[\mathrm{Data}(i,j,k,n)-u(n,k)]}^2$

(if n＝1，i，j∈window(1)，else i，j∈window_n且 $i,j\&NotElement;\mathrm{window}(n-1))$

其中，u(n，k)、σ(n，k)是指视频第k帧图像第n个子窗口中图像像素的数字统计，提取出该子窗口中的像素平均亮度以及均方误差，row_n、col_n为第n个子窗口的宽和高。

1.4.2帧图像边缘检测，提取边缘能量比值参数。在无线传输中，帧图像信息的损失造成图像空间上的模糊，噪声又会造成图像空间上的方块效应，而模糊和方块效应又是图像清晰度的重要影响因素，考虑到图像的模糊以及方块效应直接体现在图像边缘能量的减少或者增加，本文采用对图像边缘能量的梯度检测，作为清晰度的评价依据，定义如下：

①选用Sobel水平滤波器g_horizontal(i，j)和垂直滤波器g_vertical(i，j)，提取出帧图像水平和垂直边缘数据，分别记为R_edge_horizontal(i，j，k)和R_edge_vertical(i，j，k)，定义如下：

R_edge_horizontal(i，j，k)＝Data(i，j，k)*g_horizontal(i，j)

R_edge_vertical(i，j，k)＝Data(i，j，k)*g_vertical(i，j)

②提取边缘梯度矢量，矢量幅度记为R_edge(i，j，k)，即边缘能量大小，矢量角度记为θ(i，j，k)，定义如下：

$R\_\mathrm{edge}(i,j,k)=\sqrt{{(R\_\mathrm{edge}\_\mathrm{horizontal}(i,j,k))}^2+{(R\_\mathrm{edge}\_\mathrm{vertical}(i,j,k))}^2}$

$\mathrm{\&theta;}(i,j,k)={\tan }^{-1}\left[\frac{R\_\mathrm{edge}\_\mathrm{vertical}(i,j,k)}{R\_\mathrm{edge}\_\mathrm{horizontal}(i,j,k)}\right]$

③计算边缘能量比值HVR(k)，定义如下：

$\mathrm{HV}(i,j,k)=\left\{\begin{array}{c}R\_\mathrm{edge}(i,j,k),\mathrm{if\; R}\_\mathrm{edge}(i,j,k)\&GreaterEqual;r_{\min }\mathrm{and\; m}\frac{\mathrm{\&pi;}}{2}-\mathrm{\&Delta;\&theta;}<\mathrm{\&theta;}(i,j,k)<m\frac{\mathrm{\&pi;}}{2}+\mathrm{\&Delta;\&theta;},(m=\mathrm{0,1,2,3})\\ 0,\mathrm{otherwise}\end{array}\right.$

$\stackrel{\&OverBar;}{\mathrm{HV}}(i,j,k)=\left\{\begin{array}{c}R\_\mathrm{edge}(i,j,k),\mathrm{if\; R}\_\mathrm{edge}(i,j,k)\&GreaterEqual;r_{\min }\mathrm{and\; m}\frac{\mathrm{\&pi;}}{2}+\mathrm{\&Delta;\&theta;}<\mathrm{\&theta;}(i,j,k)<(m+1)\frac{\mathrm{\&pi;}}{2}-\mathrm{\&Delta;\&theta;},(m=\mathrm{0,1,2,3})\\ 0,\mathrm{otherwise}\end{array}\right.$

其中，r_min＝20，Δθ＝0.225

$\mathrm{HVR}\left(k\right)=\frac{\mathrm{mean}\left[\mathrm{HV}(i,j,k)\right]}{\mathrm{mean}\left[\stackrel{\&OverBar;}{\mathrm{HV}}(i,j,k)\right]}$

其中，HV(i，j，k)表示水平、垂直方向的梯度，反映图像水平、垂直方向的边缘能量；HV(i，j，k)表示非水平、垂直方向的梯度，反映了图像非水平、垂直方向的边缘能量。HVR(k)定义为图像水平、垂直方向的梯度与非水平、垂直方向的梯度的均值的比值。

1.4.3帧图像边缘检测，提取边缘结构信息。在上述步骤的基础上，对边缘像素进行二值化，提取出边缘的结构信息，记录下边缘像素的具体位置信息，定义如下：

$\mathrm{Edge}\_\mathrm{binary}(i,j,k)=\left\{\begin{array}{c}1,\mathrm{if\; R}\_\mathrm{edge}(i,j,k)>\mathrm{value}\left(k\right)\\ 0,\mathrm{else}\end{array}\right.$

其中value为一帧图像内的边缘像素的阈值，计算定义如下：

value(i，k)＝imhist(R_edge(i，j，k))， $\mathrm{value}\left(k\right)=\frac{\underset{i=0}{\overset{255}{\mathrm{\&Sigma;}}}i*\mathrm{value}(i,k)}{\mathrm{Num}}$

imhist(R_edge(i，j，k))表示对视频第k帧边缘图像的直方图，Num表示一帧内的像素总数。

1.5传输数据。将上述步骤中参考视频时域上的TI_s20(k)、TI_s2(k)，空域上的u_s(n，k)、σ_s(n，k)、HVR_s(k)、Edge_s_binary(i，j，k)打包，通过辅助信道，发送给接收端，用于视频质量的评测。

2.接收端提取特征参数。

接收端将经无线信道传输并产生劣化失真的待测视频接收保存下来，对视频进行特征提取。与步骤1发送端特征参数提取相同，先对视频进行格式转换，统一转换成YUV格式，并对待测视频进行特征参数提取，这些参数包括：时域上的TI_p20(k)、TI_p2(k)，空域上的u_p(n，k)、σ_p(n，k)、HVR_p(k)、Edge_p_binary(i，j，k)，提取方法与步骤1相同。

3.建立模型，定义评价指标，综合测评视频质量。

发送端和接收端各自提取出两组特征参数，建立模型对比分析两组参数的差别，从空域和时域综合评价视频质量，建立模型，得出各质量系数如表3所示。

表3

具体步骤实施如下：

3.1时域综合评价

3.1.1对视频序列进行预校准。在无线传输过程中出现多径效应等问题，造成接收视频出现延时现象，因此在对待测视频进行评测之前，需要对视频序列进行预校准，延时越长，人眼对视频的主观评价越差，因此延时情况作为视频客观评价的依据之一。

如步骤1.3中所述，发送端和接收端分别对参考视频和待测视频进行时域活动性检测，每隔20帧分别提取一个活动性参数TI_s20(k)和TI_p20(k)，即20帧的帧间能量差，可以表征为两条活动性曲线。对这两条曲线进行相关性检测，定义如下：

$\mathrm{TIsp}(k,d)=\left\{\right|{\mathrm{TI}}_{s20}(k+d)-{\mathrm{TI}}_{p20}\left(k\right)\left|\right\}{|}_{k=1}^{k=\mathrm{len}-20}$

$\mathrm{TIsp}(k,d_{\min })=\min \left(\mathrm{TIsp}(k,d){|}_{d=0}^{d=\mathrm{len}-20}\right)$

其中len为视频的总长度，对待测视频曲线在时域上进行平移，当检测到与参考视频曲线相关性最佳时，记录下此时的d_min，即为待测视频的延时时间，在后续的步骤中待测视频要先裁减掉延时的部分，并提取出延时失真参数，其中定义如下：

${\mathrm{TI}}_{\mathrm{delay}}=1-\frac{d_{\min }}{\mathrm{len}},$ TI_delay∈(0，1)

3.1.2视频帧凝固失真检测。由于人眼的视觉特性，当视频中出现卡频或者重帧等帧凝固现象，会直接影响人眼对视频质量的认可程度，由此，视频的帧序列的凝固失真是直接影响视频时域流畅性的重要因素。

待测视频出现重复帧时，相邻帧之间的差别为零即TI_2p(k)＝0，连续的出现TI_2p(k)＝0的情况，则说明待测视频序列中出现帧凝固现象，且凝固时间越长，越加深人眼对视频失真的厌恶程度，将视频的凝固失真作为一个视频时域特征的一个参数，定义如下：

${\mathrm{TI}}_{\mathrm{zero}}=1-\frac{\mathrm{Num}\_\mathrm{zero}}{\mathrm{Len}\_\mathrm{effective}},$ TI_zero∈(0，1)

其中，Len_effective表示视频序列的有效长度，Num_zero视频中序列凝固的长度，Num_zero为0时表明没有凝固现象，视频流畅性良好，TI_zero为1，不影响人眼对视频的主观评价。

3.1.3视频相邻帧间活动性检测。视频图像的运动变化主要体现在帧间的能量变化，能量变化越大，时域活动性越大。如步骤1.3所述，分别对参考视频和待测视频图像进行相继帧之间的差别计算，分别提取出特征参数TI_s2(k)和TI_p2(k)。比较参考视频和待测视频的时域活动性差别，当TI_s2(k)＞TI_p2(k)，表明视频出现时域能量丢失，当TI_s2(k)＜TI_p2(k)时，表明视频出现时域能量增强，不管是增强还是丢失，两者都是时域活动性失真，只有当TI_s2(k)＝TI_p2(k)时，时域上不出现失真，视频质量较好。活动性失真参数定义如下：

$Q_{\mathrm{temporal}}\_\mathrm{move}=\frac{1}{\mathrm{Len}\_\mathrm{effective}}\underset{k=1}{\overset{\mathrm{Len}\_\mathrm{effective}}{\mathrm{\&Sigma;}}}[1-|\frac{{\mathrm{TI}}_{s2}\left(k\right)-{\mathrm{TI}}_{p2}\left(k\right)}{{\mathrm{TI}}_{s2}\left(k\right)+{\mathrm{TI}}_{p2}\left(k\right)}\left|\right]$

其中，Len_effective为视频序列校准后的有效长度，Q_spatial_move∈[0，1]，当活动性失真越小，其值越接近于1.

3.1.4时域综合评价。由于无线传输环境比较复杂，接收的视频如果出现帧凝固，对播放的流畅性造成很大的影响，直接影响了人眼对视觉的主观评价，从而全面考虑时域的帧凝固失真TI_zero、延时失真TI_delay，活动性失真Q_temporal_move，时域的综合评价模型定义如下：

Q_{_temporal}＝[TI_zero]^α*[TI_delay]^β*[Q_temporal_move]^λ，0＜Q_temporal＜1

考虑到人眼对于帧凝固现象察觉更加敏感，相比时域的延时以及各帧的时域活动性失真，凝固失真现象更容易引起人眼对接收视频播放的厌恶感，降低了视频的质量，因此一般选取α＞β＞λ。

3.2空域综合评价

3.2.1空域结构相似度检测。以视频图像的亮度失真、对比度失真为依据，如步骤1.4.1在发送端和接收端分别对参考视频和待测视频提取出局部亮度u_s(n，k)、u_p(n，k)以及局部对比度σ_s(n，k)、σ_p(n，k)，并建立模型进行结构相似度评价，定义如下：

$Q\_\mathrm{ssim}(n,k)=\left[\frac{2u_s(n,k)*u_p(n,k)+C_1}{u_s{(n,k)}^2+u_p{(n,k)}^2+C_1}\right]*\left[\frac{2{\mathrm{\&sigma;}}_s(n,k)*{\mathrm{\&sigma;}}_p(n,k)+C_2}{{\mathrm{\&sigma;}}_s{(n,k)}^2+{\mathrm{\&sigma;}}_p{(n,k)}^2+C_2}\right]$

$Q\_\mathrm{mssim}\left(k\right)=\underset{n=1}{\overset{16}{\mathrm{\&Sigma;}}}{w}_{\mathrm{window}}\_n*Q\_\mathrm{ssim}(n,k)$

Q_ssim(n，k)为待测视频与参考视频第k帧图像中第n(n＝1，2，...，16)个子窗口的结构相似度，Q_mssim(k)为视频第k帧总的结构相似度。其中，C₁＝6.5，C₂＝58.5，w_window_n为各个子窗口的加权系数( $\underset{n=1}{\overset{16}{\mathrm{\&Sigma;}}}{w}_{\mathrm{window}}\_n=1,$ 且w_window_1＞w_window_2＞w_window_3＞…＞w_window_16)，这符合人眼对于中心关键部位的关心程度一般比较大的特点，关键部位的劣化更容易导致人眼对视频质量的厌恶感。

3.2.2帧图像边缘清晰度检测。如步骤1.4.2所示，在发送端和接收端对参考视频和待测视频分别提取出HVR_s(k)和HVR_p(k)，以表征各自的边缘能量情况。如果待测视频的帧图像的边缘轮廓遭受模糊，往往会使HVR_p(k)＜HVR_s(k)，而图像方块效应往往会是边缘能量增加，使HVR_p(k)＞HVR_s(k)，从而对待测视频和参考视频的边缘能量进行对比，得到图像的清晰度指标定义如下：

$K\_\mathrm{HV}\left(k\right)=\sqrt{1-\left|\frac{{\mathrm{HVR}}_s\left(k\right)-{\mathrm{HVR}}_p\left(k\right)}{{\mathrm{HVR}}_s\left(k\right)+{\mathrm{HVR}}_p\left(k\right)}\right|}$

3.2.3图像边缘结构性失真检测。如步骤1.4.3所示，在发送端和接收端对参考视频和待测视频分别提取出边缘轮廓信息Edge_s_binary(i，j，k)和Edge_p_binary(i，j，k)，分析比较边缘轮廓的差别，得到边缘的结构性失真指标，定义如下：

$\mathrm{Edge}\_\mathrm{structure}\left(k\right)=1-\frac{\mathrm{Num}\_\mathrm{one}\_\mathrm{of}\left(\right|\mathrm{Edges}\_\mathrm{binary}(i,j,k)-\mathrm{Edgep}\_\mathrm{binary}(i,j,k)\left|\right)}{M*N}$

Num_one_of(|Edges_binary(i，j，k)-Edgep_binary(i，j，k)|)，是对参考视频与待测视频对应帧在空域上边缘结构的做差比较，并求出边缘位置不同的点的个数，其值越大表明边缘结构失真越严重，边缘结构系数Edge_structure(k)就越小。

3.2.4空域综合评价。空域上综合考虑了图像像素的亮度失真、对比度失真以及边缘轮廓的清晰度、结构失真度。

Q_spatial(k)＝[Q_mssim(k)]^a*[Edge_structure(k)]^b*[K_HV(k)]^c；其中Q_spatial(k)∈(0，1)

同时，考虑到人眼视觉系统在视频帧间变化较大即时域活动性较大时，可以容忍更多的空域劣化，符合视觉掩盖特性，因此，根据时域的活动情况，对空域的图像质量进行加权平均，得到整个视频序列的空域失真情况，定义如下：

gain(k)＝Gain[TI_s2(k)]， $\underset{k=1}{\overset{\mathrm{Len}\_\mathrm{effective}}{\mathrm{\&Sigma;}}}\mathrm{gain}\left(k\right)=1$

$Q_{\_\mathrm{spatial}}=\underset{k=1}{\overset{\mathrm{Len}\_\mathrm{effective}}{\mathrm{\&Sigma;}}}\mathrm{gain}\left(k\right)*Q_{\mathrm{spatial}}\left(k\right),$ 0＜Q_{_spatial}＜1

其中，Gain[TI_s2(k)]表示对视频序列各帧的活动性TI_s2(k)求权重，TI_s2(k)越大表明时域变化越快，对空域劣化的关注就越放松，对应的权重gain(k)应该越小，相反则越大，且gain(k)满足 $\underset{k=1}{\overset{\mathrm{Len}\_\mathrm{effective}}{\mathrm{\&Sigma;}}}\mathrm{gain}\left(k\right)=1.$

3.4时域空域联合评价。以视频时域的流畅性以及空域的结构相似度以及清晰度为主要指标，对视频进行综合评价，得出视频的总质量，定义如下：

VQM＝w_spatial*Q_{_spatial}+w_temporal*Q_{_temporal}，0＜VQM＜1

其中w_spatial+w_temporal＝1，且w_spatial＞w_temporal，因为人的主观评价更注重视频图像空间上的像素失真，比较可以容忍一定程度的视频丢帧情况。

Claims (9)

1.基于空时域特征提取的无线视频部分参考测评方法，其特征在于包括以下步骤：

1)系统发送端嵌入视频转化器，将参考视频格式统一转化成YUV格式，并进行特征参数提取，YUV是被欧洲电视系统所采用的一种颜色编码方法，Y代表图像亮度，UV代表色差，U和V是构成色彩的两个分量，所述特征参数包括时域特征参数和空域特征参数，所述时域特征参数包括每隔20帧间的能量差TI₂₀(k)、相邻帧间的能量差TI₂(k)，所述空域特征参数包括局部亮度u(n，k)与对比度σ(n，k)、边缘能量比值HVR(k)、边缘结构Edge_binary(i，j，k)，发送端将参考视频的特征参数提取并打包发送给接收端；

2)系统接收端将经过无线信道传输的待测视频接收下来，对待测视频提取相同的特征参数，此时待测视频提取的特征参数记为TI_p20(k)、TI_p2(k)、u_p(n，k)、σ_p(n，k)、HVR_p(k)、Edge_p_binary(i，j，k)，同时，将经过辅助信道传输的参考视频特征参数接收下来，记为TI_s20(k)、TI_s2(k)，u_s(n，k)、σ_s(n，k)、HVR_s(k)、Edge_s_binary(i，j，k)；

3)建立评价模型，以视频时域的流畅性和空域的结构相似度以及清晰度为主要质量指标，对待测视频的质量进行综合测评，步骤如下：

①将步骤1)、2)中提取的参考视频和待测视频的部分特征参数，进行分析比较，提取出质量指标，时域的质量指标为延时失真系数TI_delay、帧凝固失真系数TI_zero和时域活动性失真系数Q_temporal_move；空域的质量指标为结构相似度系数Q_mssim(k)、帧图像边缘清晰度系数K_HV(k)和帧图像边缘结构性失真系数Edge_structure(k)；

②在步骤①基础上对时域的质量指标和空域的质量指标建立模型，求出时域的质量系数Q_{_temporal}和空域的质量系数Q_{_spatial}，最后结合空时域质量系数计算出总的质量系数VQM。

2.如权利要求1所述的基于空时域特征提取的无线视频部分参考测评方法，其特征在于在步骤1)中，所述每隔20帧间的能量差TI₂₀(k)的功能定义为用于计算待测视频时延情况；所述时域特征参数TI₂₀(k)为视频每隔20帧像素差的均方根值，定义如下：

Dif(i，j，k)＝|Data(i，j，k+20)-Data(i，j，k)|，Data(i，j，k)为视频的第k帧图像的像素数据； ${\mathrm{TI}}_{20}\left(k\right)=\sqrt{\frac{1}{M*N}\left(\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}\mathrm{Dif}(i,j,k)\right)}$

所述相邻帧间的能量差TI₂(k)的功能定义为用于计算待测视频帧凝固情况。

3.如权利要求1所述的基于空时域特征提取的无线视频部分参考测评方法，其特征在于在步骤1)中，所述的时域特征参数TI₂(k)为视频前后两帧的像素差的标准差值，定义如下：

TI₂(k)＝std[|Data(i，j，k+1)-Data(i，j，k)|]；

所述局部亮度u(n，k)、对比度σ(n，k)的功能定义为对SSIM算法进行改进，用于评价待测视频与参考视频的结构相似度；

所述边缘能量比值HVR(k)的功能定义为用于分析比较待测视频的边缘清晰度；

所述边缘结构Edge_binary(i，j，k)的功能定义为用于计算分析边缘像素的结构失真情况。

4.如权利要求1所述的基于空时域特征提取的无线视频部分参考测评方法，其特征在于在步骤1)中，所述空域局部亮度u(n，k)、对比度σ(n，k)的提取方法的具体步骤如下：

根据人眼对视频图像的观察主要集中在图像的中央位置的特性，将图像空间区域从中央往四周划分为16个回字形窗口，例如视频图像像素为704×576时，则中间的第一个窗口大小应该为41×36，从第一个窗口往外扩展，第二个窗口的大小应该为82×72，依次类推第16个窗口的大小应该为704×576；计算方式除了第一个窗口window(1)需要包含整个窗口内的所有区域，第n(n＝2，3，...，16)个窗口window(n)只需要计算扣掉内部第n-1个窗口window(n-1)的区域，此时子窗口中图像像素的平均亮度，以及均方误差，运算定义如下：

$u(n,k)=\frac{1}{\mathrm{row}\_n*\mathrm{col}\_n}\underset{i=1}{\overset{\mathrm{row}\_n}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{\mathrm{col}\_n}{\mathrm{\&Sigma;}}}\mathrm{Data}(i,j,k,n)$

(if n＝1，i，j∈window(1)，else i，j∈window(n)且 $i,j\&NotElement;\mathrm{window}(n-1))$

$\mathrm{\&sigma;}{(n,k)}^2=\frac{1}{\mathrm{row}\_n*\mathrm{col}\_n-1}\underset{i=1}{\overset{\mathrm{row}\_n}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{\mathrm{col}\_n}{\mathrm{\&Sigma;}}}{[\mathrm{Data}(i,j,k,n)-u(n,k)]}^2$

(if n＝1，i，j∈window(1)，else i，j∈window_n且 $i,j\&NotElement;\mathrm{window}(n-1))$

其中，u(n，k)、σ(n，k)是指视频第k帧图像中第n个子窗口中图像像素的数字统计，提取出该子窗口中的像素平均亮度以及均方误差，row_n、col_n为第n个子窗口的宽和高。

5.如权利要求1所述的基于空时域特征提取的无线视频部分参考测评方法，其特征在于在步骤1)中，所述空域帧图像边缘能量比值HVR(k)提取方法，包括以下步骤：

①选用Sobel水平滤波器g_horizontal(i，j)和垂直滤波器g_vertical(i，j)，提取出帧图像水平和垂直边缘数据，分别记为R_edge_horizontal(i，j，k)和R_edge_vertical(i，j，k)，定义如下：

R_edge_horizontal(i，j，k)＝Data(i，j，k)*g_horizontal(i，j)

R_edge_vertical(i，j，k)＝Data(i，j，k)*g_vertical(i，j)

②提取边缘梯度矢量，矢量幅度记为R_edge(i，j，k)，即边缘能量大小，矢量角度记为θ(i，j，k)，定义如下：

$R\_\mathrm{edge}(i,j,k)=\sqrt{{(R\_\mathrm{edge}\_\mathrm{horizontal}(i,j,k))}^2+{(R\_\mathrm{edge}\_\mathrm{vertical}(i,j,k))}^2}$

$\mathrm{\&theta;}(i,j,k)={\tan }^{-1}\left[\frac{R\_\mathrm{edge}\_\mathrm{vertical}(i,j,k)}{R\_\mathrm{edge}\_\mathrm{horizontal}(i,j,k)}\right]$

③计算边缘能量比值HVR(k)，定义如下：

$\mathrm{HV}(i,j,k)=\left\{\begin{array}{c}R\_\mathrm{edge}(i,j,k),\mathrm{if\; R}\_\mathrm{edge}(i,j,k)\&GreaterEqual;r_{\min }\mathrm{and\; m}\frac{\mathrm{\&pi;}}{2}-\mathrm{\&Delta;\&theta;}<\mathrm{\&theta;}(i,j,k)<m\frac{\mathrm{\&pi;}}{2}+\mathrm{\&Delta;\&theta;}(m=\mathrm{0,1,2,3})\\ 0,\mathrm{otherwise}\end{array}\right.$

$\stackrel{\&OverBar;}{\mathrm{HV}}(i,j,k)=\left\{\begin{array}{c}R\_\mathrm{edge}(i,j,k),\mathrm{if\; R}\_\mathrm{edge}(i,j,k)\&GreaterEqual;r_{\min }\mathrm{and\; m}\frac{\mathrm{\&pi;}}{2}+\mathrm{\&Delta;\&theta;}<\mathrm{\&theta;}(i,j,k)<(m+1)\frac{\mathrm{\&pi;}}{2}-\mathrm{\&Delta;\&theta;}(m=\mathrm{0,1,2,3})\\ 0,\mathrm{otherwise}\end{array}\right.$

其中，r_min＝20，Δθ＝0.225

$\mathrm{HVR}\left(k\right)=\frac{\mathrm{mean}\left[\mathrm{HV}(i,j,k)\right]}{\mathrm{mean}\left[\stackrel{\&OverBar;}{\mathrm{HV}}(i,j,k)\right]}$

其中，HV(i，j，k)表示水平、垂直方向的梯度，反映图像水平、垂直方向的边缘能量；HV(i，j，k)表示非水平、垂直方向的梯度，反映了图像非水平、垂直方向的边缘能量，HVR(k)定义为图像水平、垂直方向的梯度与非水平、垂直方向的梯度的均值的比值。

6.如权利要求1所述的基于空时域特征提取的无线视频部分参考测评方法，其特征在于在步骤1)中，所述帧图像边缘结构信息Edge_binary(i，j，k)提取方法，包括以下步骤；

对边缘像素进行二值化，提取出边缘的结构信息，记录下边缘像素的具体位置信息，定义如下：

$\mathrm{Edge}\_\mathrm{binary}(i,j,k)=\left\{\begin{array}{c}1,\mathrm{if\; R}\_\mathrm{edge}(i,j,k)>\mathrm{value}\left(k\right)\\ 0,\mathrm{else}\end{array}\right.$

其中value为一帧图像内的边缘像素的阈值，计算定义如下：

value(i，k)＝imhist(R_edge(i，j，k))

$\mathrm{value}\left(k\right)=\frac{\underset{i=0}{\overset{255}{\mathrm{\&Sigma;}}}i*\mathrm{value}(i,k)}{\mathrm{Num}}$

imhist(R_edge(i，j，k))表示对视频第k帧边缘图像的直方图，Num表示一帧内的像素总数。

7.如权利要求1所述的基于空时域特征提取的无线视频部分参考测评方法，其特征在于在步骤3)中，所述时域质量指标提取方法，包括以下步骤：

①延时失真系数TI_delay

${\mathrm{TI}}_{\mathrm{delay}}=1-\frac{d_{\min }}{\mathrm{len}},{\mathrm{TI}}_{\mathrm{delay}}\&Element;\left(\mathrm{0,1}\right)$

其中，d_min为待测视频延时长度，len为视频总长度，延时越小，质量越好；

②帧凝固失真系数TI_zero

${\mathrm{TI}}_{\mathrm{zero}}=1-\frac{\mathrm{Num}\_\mathrm{zero}}{\mathrm{Len}\_\mathrm{effective}},{\mathrm{TI}}_{\mathrm{zero}}\&Element;\left(\mathrm{0,1}\right)$

其中，Len_effective表示视频序列校准后的有效长度，Num_zero视频中序列凝固的长度，Num_zero为0时表明没有凝固现象，视频流畅性良好，TI_zero为1，不影响人眼对视频的主观评价；

③时域活动性失真系数Q_temporal_move

$Q_{\mathrm{temporal}}\_\mathrm{move}=\frac{1}{\mathrm{Len}\_\mathrm{effective}}\underset{k=1}{\overset{\mathrm{Len}\_\mathrm{effective}}{\mathrm{\&Sigma;}}}[1-|\frac{{\mathrm{TI}}_{s2}\left(k\right)-{\mathrm{TI}}_{p2}\left(k\right)}{{\mathrm{TI}}_{s2}\left(k\right)+{\mathrm{TI}}_{p2}\left(k\right)}\left|\right]$

其中，Len_effective为视频序列的有效长度，Q_spatial_move∈[0，1]，当活动性失真越小，其值越接近于1。

8.如权利要求1所述的基于空时域特征提取的无线视频部分参考测评方法，其特征在于在步骤3)中，所述空域质量指标提取方法，包括以下步骤：

①结构相似度系数Q_mssim(k)

利用16个从中央向四周逐渐扩大的回字形窗口将视频图像进行空间分割，并依据各个窗口的位置受关注程度，对各个窗口的失真程度赋予对应的权重。通过提取各窗口中图像像素的平均亮度、对比度，对图像进行结构相似度计算：

$Q\_\mathrm{ssim}(n,k)=\left[\frac{{2u}_s(n,k)*u_p(n,k)+C_1}{u_s{(n,k)}^2+u_p{(n,k)}^2+C_1}\right]*\left[\frac{{2\mathrm{\&sigma;}}_s(n,k)*{\mathrm{\&sigma;}}_p(n,k)+C_2}{{\mathrm{\&sigma;}}_s{(n,k)}^2+{\mathrm{\&sigma;}}_p{(n,k)}^2+C_2}\right]$

$Q\_\mathrm{mssim}\left(k\right)=\underset{n=1}{\overset{16}{\mathrm{\&Sigma;}}}{w}_{\mathrm{window}}\_n*Q\_\mathrm{ssim}(n,k)$

其中w_window_n为各子窗口的失真权重，Q_ssim(n，k)为第k帧图像中各窗口的结构相似度，Q_mssim(k)为各窗口的加权平均值，表征该帧图像的亮度、对比度失真情况；

②帧图像边缘清晰度系数K_HV(k)

$K\_\mathrm{HV}\left(k\right)=\sqrt{1-\left|\frac{{\mathrm{HVR}}_s\left(k\right)-{\mathrm{HVR}}_p\left(k\right)}{{\mathrm{HVR}}_s\left(k\right)+{\mathrm{HVR}}_p\left(k\right)}\right|}$

如果待测视频的帧图像的边缘轮廓遭受模糊，往往会使HVR_p(k)＜HVR_s(k)，而图像方块效应往往会是边缘能量增加，使HVR_p(k)＞HVR_s(k)，从而对待测视频和参考视频的边缘能量进行对比，得出待测视频清晰度情况；

③帧图像边缘结构性失真系数Edge_structure(k)，定义如下：

$\mathrm{Edge}\_\mathrm{structure}\left(k\right)=1-\frac{\mathrm{Num}\_\mathrm{one}\_\mathrm{of}\left(\right|{\mathrm{Edge}}_s\_\mathrm{binary}(i,j,k)-{\mathrm{Edge}}_p\_\mathrm{binary}(i,j,k)\left|\right)}{M*N}$

其中Num_one_of()为统计值为1的个数，即待测视频与参考视频帧图像边缘位置不同的点的个数，个数越多，表征结构失真越严重。

9.如权利要求1所述的基于空时域特征提取的无线视频部分参考测评方法，其特征在于在步骤3)中，所述模型建立，求视频空时域质量系数以及总体质量，包括以下步骤：

①计算时域整体质量系数Q_{_temporal}：

$Q_{\mathrm{temporal}}={\left[{\mathrm{TI}}_{\mathrm{zero}}\right]}^{\mathrm{\&alpha;}}*{\left[{\mathrm{TI}}_{\mathrm{delay}}\right]}^{\mathrm{\&beta;}}*{[Q_{\mathrm{temporal}}\_\mathrm{move}]}^{\mathrm{\&lambda;}},0<Q_{\_\mathrm{temporal}}<1$

②计算空域整体质量系数Q_{_spatial}：

Q_spatial(k)＝[Q_mssim(k)]^a*[Edge_structure(k)]^b*[K_HV(k)]^c

$Q_{\_\mathrm{spatial}}=\underset{k=1}{\overset{\mathrm{Len}\_\mathrm{effective}}{\mathrm{\&Sigma;}}}\mathrm{gain}\left(k\right)*Q_{\mathrm{spatial}}\left(k\right),0<Q_{\_\mathrm{spatial}}<1$

其中，gain(k)表示依据视频序列各帧的活动性情况得到的权重；

③时空域综合评价视频总体质量VQM：

VQM＝w_spatial*Q_spatial+w_temporal*Q_temporal，0＜VQM＜1

其中w_spatial+w_temporal＝1，且w_spatial＞w_temporal，因为人的主观评价更注重视频图像空间上的像素失真，比较可以容忍一定程度的视频丢帧情况。