CN103731664A - 全参考视频质量评估方法、装置及视频质量测试仪 - Google Patents

Abstract

本发明公开了一种全参考视频质量评估方法、装置及视频质量测试仪，该方法包括：对参考视频和测试视频各自的ROI的YUV的每一视频分量分别提取六个不同的空域参数，获得差异矩阵对，利用差异矩阵对，对参考视频和测试视频进行时间和亮度的粗对齐，获得粗对齐结果；根据粗对齐结果，对参考视频和测试视频进行时间、空间、亮度以及色度的精对齐，获得精对齐结果的视频序列对；根据精对齐结果的视频序列对，对参考视频和测试视频进行空间扭曲分析和时间扭曲分析，获得四个空间指标和一个时间指标，根据四个空间指标和一个时间指标，获得质量评估结果。通过上述方式，本发明能够获得更好的粗对齐效果，提高视频质量评估结果的准确性。

Description

全参考视频质量评估方法、装置及视频质量测试仪

技术领域

本发明涉及视频技术领域，特别是涉及一种全参考视频质量评估方法、装置及视频质量测试仪。

背景技术

随着移动通信和多媒体通信的发展，图像业务和视频业务被越来越广泛和频繁的使用。视频通信过程中，无损视频（即源视频、参考视频）经过编码器、通信信道、解码器等处理后，必然造成视频质量的损伤，对用户体验质量（Quality of Experience，QoE）产生负面影响，因此，对视频图像质量的评估一直是通信系统中一个重要的组成部分。

视频质量评估方法分为主观质量评估（Subjective QualityAssessment，SQA）和客观质量评估（Objective Quality Assessment，OQA）。主观质量评估虽然最为准确和可信，但是不利于实时视频通信的质量评估。客观质量评估按照是否需要源视频文件又分为三大类，分别为全参考（Full-Reference，FR）度量、部分参考（Reduce-Reference，RR）度量和无参考（No-Reference，NR）度量，其中，FR主要用于实验室的视频质量评估，NR、RR则用于系统终端或中间点视频质量监控。

目前，被广泛使用的全参考视频质量评估方法是峰值信噪比（PeakSignal Noise Ratio，PSNR)，其计算公式为：

其中，M×N为图像大小，O_m,n和r_m,n分别代表参考图像和测试图像在(m,n)处的像素值。另一种使用比较广的全参考视频质量评估方法是视频质量感知评估（Perceptual Evaluation ofVideo Quality，PEVQ）。

上述现有方法在视频图像时域上的对齐很粗糙，因此，和主观质量评估结果之间的差别太大，降低了视频质量评估结果的准确性。

发明内容

本发明主要解决的技术问题是提供一种全参考视频质量评估方法、装置及视频质量测试仪，能够获得更好的粗对齐效果，提高视频质量评估结果的准确性。

第一方面，本发明提供一种全参考视频质量评估方法，包括：对参考视频和测试视频各自的空间感兴趣区域ROI的Y、U、V的三个视频分量中的每一视频分量分别提取六个不同的空域参数，获得所述参考视频和测试视频的之间的差异矩阵对[D_s,D_p]，利用所述参考视频和测试视频的之间的差异矩阵对[D_s,D_p]，对所述参考视频和测试视频进行时间和亮度的粗对齐，获得所述参考视频和测试视频的粗对齐结果，其中，所述D_s是所述参考视频的三个视频分量中的每一视频分量分别提取的六个不同的空域参数所形成的矩阵，所述D_p是所述测试视频的三个视频分量中的每一视频分量分别提取的六个不同的空域参数所形成的矩阵，所述六个不同的空域参数分别是：参考视频和测试视频各自ROI的对应视频分量的均值和标准差、参考视频信号和测试视频信号分别在水平垂直方向平移三个像素后的对应视频分量之差的均值和标准差、参考视频和测试视频各自对应视频分量的边缘信号的均值和标准差；对所述参考视频和测试视频的粗对齐结果进行时间、空间、亮度以及色度的精对齐，根据所述参考视频和测试视频的精对齐结果，对所述参考视频和测试视频进行空间扭曲分析和时间扭曲分析，并获得所述测试视频的质量评估结果。

在第一方面的第一种可能的实现方式中，所述根据所述参考视频和测试视频的精对齐结果，对所述参考视频和测试视频进行空间扭曲分析和时间扭曲分析的步骤包括：根据所述参考视频和测试视频的精对齐结果，利用多线程技术对所述参考视频和测试视频进行空间扭曲分析和时间扭曲分析，以并行获得四个空间指标和一个时间指标，其中所述四个空间指标分别是：亮度指标、色度指标以及两个时间变异性指标。

在第一方面的第二种可能的实现方式中，所述方法还包括：当所述参考视频和测试视频是两路或两路以上视频时，利用多线程技术使所述每路视频对应的参考视频和测试视频并行处理，以实时获得每路测试视频的质量评估结果。

结合第一方面的第二种可能的实现方式，在第一方面的第三种可能的实现方式中，所述当参考视频和测试视频是两路或两路以上视频时，利用多线程技术使所述每路视频对应的参考视频和测试视频并行处理，以实时获得每路测试视频的质量评估结果的步骤包括：当所述参考视频和测试视频是两路或两路以上视频时，利用多线程技术使所述每路参考视频和测试视频的粗对齐、精对齐以及获得所述测试视频的质量评估结果的步骤独立并行处理，以实时获得每路测试视频的质量评估结果。

结合第一方面、第一方面的第一种至第三种中任一种可能的实现方式，在第一方面的第四种可能的实现方式中，所述对参考视频和测试视频各自的空间感兴趣区域ROI的Y、U、V的三个视频分量中的每一视频分量分别提取六个不同的空域参数之前，包括：提取所述参考视频和测试视频的ROI区域；删除所述参考视频和测试视频提取的ROI区域边缘的十个像素。

第二方面，本发明提供一种全参考视频质量评估装置，所述装置包括：粗对齐模块、精对齐模块以及结果输出模块；所述粗对齐模块用于对参考视频和测试视频各自的空间感兴趣区域ROI的Y、U、V的三个视频分量中的每一视频分量分别提取六个不同的空域参数，获得所述参考视频和测试视频的之间的差异矩阵对[D_s,D_p]，利用所述参考视频和测试视频的之间的差异矩阵对[D_s,D_p]，对所述参考视频和测试视频进行时间和亮度的粗对齐，获得所述参考视频和测试视频的粗对齐结果，其中，所述D_s是所述参考视频的三个视频分量中的每一视频分量分别提取的六个不同的空域参数所形成的矩阵，所述D_p是所述测试视频的三个视频分量中的每一视频分量分别提取的六个不同的空域参数所形成的矩阵，所述六个不同的空域参数分别是：参考视频和测试视频各自ROI的对应视频分量的均值和标准差、参考视频信号和测试视频信号分别在水平垂直方向平移三个像素后的对应视频分量之差的均值和标准差、参考视频和测试视频各自对应视频分量的边缘信号的均值和标准差；所述精对齐模块用于对所述参考视频和测试视频的粗对齐结果进行时间、空间、亮度以及色度的精对齐；所述结果输出模块用于根据所述参考视频和测试视频的精对齐结果，对所述参考视频和测试视频进行空间扭曲分析和时间扭曲分析，并获得所述测试视频的质量评估结果。

在第二方面的第一种可能的实现方式中，所述结果输出模块还用于根据所述参考视频和测试视频的精对齐结果，利用多线程技术对所述参考视频和测试视频进行空间扭曲分析和时间扭曲分析，以并行获得四个空间指标和一个时间指标，其中所述四个空间指标分别是：亮度指标、色度指标以及两个时间变异性指标。

在第二方面的第二种可能的实现方式中，当所述参考视频和测试视频是两路或两路以上视频时，所述粗对齐模块、精对齐模块以及结果输出模块分别独立并行处理所述每路视频对应的参考视频和测试视频，以实时获得每路测试视频的质量评估结果。

在第二方面的第三种可能的实现方式中，当所述参考视频和测试视频是两路或两路以上视频时，对应于每一路视频，所述装置包括一个粗对齐模块、一个精对齐模块以及一个结果输出模块，其中每路参考视频和测试视频对应的粗对齐模块、精对齐模块以及结果输出模块独立并行处理，以实时获得每路测试视频的质量评估结果。

结合第二方面、第二方面的第一种至第三种中任一种可能的实现方式，在第二方面的第四种可能的实现方式中，所述装置还包括预处理模块，所述预处理模块用于提取所述参考视频和测试视频的ROI区域，删除所述参考视频和测试视频提取的ROI区域边缘的十个像素。

第三方面，本发明提供一种视频质量测试仪，所述测试仪包括：处理器、与处理器偶联的存储器以及输出装置；所述处理器用于对参考视频和测试视频各自的空间感兴趣区域ROI的Y、U、V的三个视频分量中的每一视频分量分别提取六个不同的空域参数，获得所述参考视频和测试视频的之间的差异矩阵对[D_s,D_p]，并将所述参考视频和测试视频的之间的差异矩阵对[D_s,D_p]存储在存储器中，利用所述参考视频和测试视频的之间的差异矩阵对[D_s,D_p]，对所述参考视频和测试视频进行时间和亮度的粗对齐，获得所述参考视频和测试视频的粗对齐结果，并将所述参考视频和测试视频的粗对齐结果存储在存储器中，其中，所述D_s是所述参考视频的三个视频分量中的每一视频分量分别提取的六个不同的空域参数所形成的矩阵，所述D_p是所述测试视频的三个视频分量中的每一视频分量分别提取的六个不同的空域参数所形成的矩阵，所述六个不同的空域参数分别是：参考视频和测试视频各自ROI的对应视频分量的均值和标准差、参考视频信号和测试视频信号分别在水平垂直方向平移三个像素后的对应视频分量之差的均值和标准差、参考视频和测试视频各自对应视频分量的边缘信号的均值和标准差；对所述参考视频和测试视频的粗对齐结果进行时间、空间、亮度以及色度的精对齐；根据所述参考视频和测试视频的精对齐结果，对所述参考视频和测试视频进行空间扭曲分析和时间扭曲分析，并获得所述测试视频的质量评估结果；所述存储器用于存储所述参考视频和测试视频的之间的差异矩阵对[D_s,D_p]，所述参考视频和测试视频的粗对齐结果，以及所述参考视频和测试视频的精对齐结果；所述输出装置用于输出所述测试视频的质量评估结果。

本发明的有益效果是：区别于现有技术的情况，本发明通过对参考视频和测试视频各自的空间感兴趣区域ROI的Y、U、V的三个视频分量中的每一视频分量分别提取六个不同的空域参数，获得18个空域参数，这样在对参考视频和测试视频进行对齐时，可以获得更好的粗对齐效果，从而提高测试视频质量评估结果的准确性。

附图说明

图1是本发明全参考视频质量评估方法一实施方式的流程图；

图2是本发明全参考视频质量评估方法另一实施方式的流程图；

图3是本发明全参考视频质量评估装置一实施方式的结构示意图；

图4是本发明全参考视频质量评估装置另一实施方式的结构示意图；

图5是本发明视频质量测试仪一实施方式的结构示意图。

具体实施方式

下面结合附图和实施方式对本发明进行详细说明。

参阅图1，图1是本发明全参考视频质量评估方法一实施方式的流程图，包括：粗对齐步骤、精对齐步骤以及结果输出步骤，具体内容如下：

一、粗对齐步骤，具体包括：

步骤S101：对参考视频和测试视频各自的空间感兴趣区域ROI的Y、U、V的三个视频分量中的每一视频分量分别提取六个不同的空域参数，获得参考视频和测试视频的之间的差异矩阵对[D_s,D_p]，其中，D_s是参考视频的三个视频分量中的每一视频分量分别提取的六个不同的空域参数所形成的矩阵，D_p是测试视频的三个视频分量中的每一视频分量分别提取的六个不同的空域参数所形成的矩阵，六个不同的空域参数分别是：参考视频和测试视频各自ROI的对应视频分量的均值和标准差、参考视频信号和测试视频信号分别在水平垂直方向平移三个像素后的对应视频分量之差的均值和标准差、参考视频和测试视频各自对应视频分量的边缘信号的均值和标准差。

参考视频即为视频质量没有受到损伤的源视频，测试视频即为参考视频经过编码器、通信信道、解码器等处理后造成视频质量损伤的视频。

从视觉心理学角度来看，人眼视觉是一种积极的感受行为，不仅与生理因素有关，还在相当程度上取决于心理因素。人们在观察和理解图像时总会对其中某一些区域感兴趣，即空间感兴趣区域（Region ofInterest，ROI），整幅图像的质量往往取决于ROI的质量，而不感兴趣的区域质量下降有时候不易被觉察。将评估对象选为ROI，也可以减少边缘扭曲对视频质量评估结果的影响。

Y、U、V的三个视频分量中，Y表示明亮度，U、V是色度，分别描述影像色彩及饱和度。Y、U、V的三个视频分量中的每一视频分量分别提取六个不同的空域参数，这样参考视频和测试视频分别对应18个空域参数。对于参考视频和测试视频来说，提取的空域参数越多，在对参考视频和测试视频进行对齐时，准确性越高，从而为后面的视频质量评估结果的准确性打下好的基础。

参考视频和测试视频各自ROI的对应视频分量的均值分别是：

$D_s[0,t]=\frac{1}{W_{\mathrm{cs}}{H}_{\mathrm{cs}}}\underset{i=0}{\overset{W_{\mathrm{cs}}-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{H_{\mathrm{cs}}-1}{\mathrm{\Σ}}}{C}_s[i,j,t]$

$D_p[0,t]=\frac{1}{W_{\mathrm{cp}}{H}_{\mathrm{cp}}}\underset{i=0}{\overset{W_{\mathrm{cp}}-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{H_{\mathrm{cp}}-1}{\mathrm{\Σ}}}{C}_p[i,j,t]$

参考视频和测试视频各自ROI的对应视频分量的标准差分别是：

$D_s[1,t]=\sqrt{\frac{1}{W_{\mathrm{cs}}{H}_{\mathrm{cs}}}\underset{i=0}{\overset{W_{\mathrm{cs}}-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{H_{\mathrm{cs}}-1}{\mathrm{\Σ}}}{\left(C_s\right[i,j,t]-D_s[0,t\left]\right)}^2}$

$D_p[1,t]=\sqrt{\frac{1}{W_{\mathrm{cp}}{H}_{\mathrm{cp}}}\underset{i=0}{\overset{W_{\mathrm{cp}}-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{H_{\mathrm{cp}}-1}{\mathrm{\Σ}}}{\left(C_p\right[i,j,t]-D_p[0,t\left]\right)}^2}$

其中，D_s[0,t]是参考视频序列ROI的对应视频分量的第t帧的均值，D_p[0,t]是测试视频序列ROI的对应视频分量的第t帧的均值，D_s[1,t]是参考视频序列ROI的对应视频分量的第t帧的标准差，D_p[1,t]是测试视频序列ROI的对应视频分量的第t帧的标准差，0表示提取出来的第一个空域参数，1表示提取出来的第二个空域参数，W_cs是参考视频的像素宽，H_cs是参考视频的像素高，W_cp是测试视频的像素宽，H_cp是测试视频的像素高，C_s是参考视频帧，C_s[i,j,t]是参考视频的第t帧中的第i，j个像素的对应视频分量值，i=0，.....，W_cs-1，j=0，.....，H_cs-1，C_p是测试视频帧，C_p[i,j,t]是测试视频的第t帧中的第i，j个像素的视频分量值，i=0，.....，W_cp-1，j=0，.....，H_cp-1。

参考视频信号和测试视频信号分别在水平垂直方向平移三个像素后的对应视频分量之差的均值：

$D_s[2,t]=\frac{1}{(W_{\mathrm{cs}}-3)(H_{\mathrm{cs}}-3)}\underset{i=0}{\overset{W_{\mathrm{cs}}-4}{\mathrm{\Σ}}}\underset{j=0}{\overset{H_{\mathrm{cs}}-4}{\mathrm{\Σ}}}\left(C_s\right[i,j,t]-C_s[i+3,j+3,t\left]\right)$

$D_p[2,t]=\frac{1}{(W_{\mathrm{cp}}-3)(H_{\mathrm{cp}}-3)}\underset{i=0}{\overset{W_{\mathrm{cp}}-4}{\mathrm{\Σ}}}\underset{j=0}{\overset{H_{\mathrm{cp}}-4}{\mathrm{\Σ}}}\left(C_p\right[i,j,t]-C_p[i+3,j+3,t\left]\right)$

参考视频信号和测试视频信号分别在水平垂直方向平移三个像素后的对应视频分量之差的标准差：

$D_s[3,t]=\sqrt{\frac{1}{(W_{\mathrm{cs}}-3)(H_{\mathrm{cs}}-3)}\stackrel{W_{\mathrm{cs}}-4}{\underset{i=0}{\mathrm{\Σ}}}\underset{j=0}{\overset{H_{\mathrm{cs}}-4}{\mathrm{\Σ}}}{\left(C_s\right[i,j,t]-C_s[i+3,j+3,t]-D_s[2,t\left]\right)}^2}$

$D_p[3,t]=\sqrt{\frac{1}{(W_{\mathrm{cp}}-3)(H_{\mathrm{cp}}-3)}\stackrel{W_{\mathrm{cp}}-4}{\underset{i=0}{\mathrm{\Σ}}}\underset{j=0}{\overset{H_{\mathrm{cp}}-4}{\mathrm{\Σ}}}{\left(C_p\right[i,j,t]-C_p[i+3,j+3,t]-D_p[2,t\left]\right)}^2}$

其中，D_s[2,t]是参考视频序列在水平垂直方向平移三个像素后的对应视频分量之差第t帧的均值，D_p[2,t]是测试视频序列在水平垂直方向平移三个像素后的对应视频分量之差第t帧的均值，D_s[3,t]是参考视频序列在水平垂直方向平移三个像素后的对应视频分量之差第t帧的标准差，D_p[3,t]是测试视频序列在水平垂直方向平移三个像素后的对应视频分量之差第t帧的标准差，2表示提取出来的第三个空域参数，3表示提取出来的第四个空域参数。

通过视频图像的边缘提取，对ROI区域进行滤波得到最后两个参数：

（1）先获得边缘信息，即边缘能量函数：

$E_s\left[t\right]=\sqrt{{\left(C_s\right[t]\×K_h)}^2+{\left(C_s\right[t]\×K_v)}^2}$

$E_p\left[t\right]=\sqrt{{\left(C_p\right[t]\×K_h)}^2+{\left(C_p\right[t]\×K_v)}^2}$

其中，E_s[t]是参考视频在第t帧的边缘能量，E_p[t]是测试视频在第t帧的边缘能量，C_s[t]是参考视频在第t帧的序列，C_p[t]是测试视频在第t帧的序列，K_h和K_v表示水平和垂直滤波器内核：

$K_h=\left[\begin{array}{ccc}1& 2& 1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right]K_v=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]$

（2）计算边缘信号的均值和标准差作为第五、六个指标：

参考视频和测试视频各自对应视频分量的边缘信号的均值：

$D_s[4,t]=\frac{1}{W_{\mathrm{cs}}{H}_{\mathrm{cs}}}\underset{i=0}{\overset{W_{\mathrm{cs}}-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{H_{\mathrm{cs}}-1}{\mathrm{\Σ}}}{E}_s[i,j,t]$

$D_p[4,t]=\frac{1}{W_{\mathrm{cp}}{H}_{\mathrm{cp}}}\underset{i=0}{\overset{W_{\mathrm{cp}}-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{H_{\mathrm{cp}}-1}{\mathrm{\Σ}}}{E}_p[i,j,t]$

参考视频和测试视频各自对应视频分量的边缘信号的标准差：

$D_s[5,t]=\sqrt{\frac{1}{W_{\mathrm{cs}}{H}_{\mathrm{cs}}}\underset{i=0}{\overset{W_{\mathrm{cs}}-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{H_{\mathrm{cs}}-1}{\mathrm{\Σ}}}{\left(E_s\right[i,j,t]-D_s[4,t\left]\right)}^2}$

$D_p[5,t]=\sqrt{\frac{1}{W_{\mathrm{cp}}{H}_{\mathrm{cp}}}\underset{i=0}{\overset{W_{\mathrm{cp}}-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{H_{\mathrm{cp}}-1}{\mathrm{\Σ}}}{\left(E_p\right[i,j,t]-D_p[4,t\left]\right)}^2}$

其中，D_s[4,t]是参考视频序列各自对应视频分量的边缘信号的均值，D_p[4,t]是测试视频序列各自对应视频分量的边缘信号的均值，D_s[5,t]是参考视频序列各自对应视频分量的边缘信号的标准差，D_p[5,t]是测试视频序列各自对应视频分量的边缘信号的标准差，4表示提取出来的第五个空域参数，5表示提取出来的第六个空域参数。E_s[i,j,t]是参考视频的第t帧中的第i，j个像素的边缘能量，E_p[i,j,t]是测试视频的第t帧中的第i，j个像素的边缘能量。

Y、U、V的三个视频分量中的每一视频分量的六个空域参数都是以均值和标准差为基础的，这18个空域参数可以表示每帧的基本特征，把一帧图像的18个参数放置在矩阵的一列中，这样，一段N帧的视频序列就可以提取出18*N的矩阵D_s和D_p。

步骤S102：利用参考视频和测试视频的之间的差异矩阵对[D_s,D_p]，对参考视频和测试视频进行时间和亮度的粗对齐，获得参考视频和测试视频的粗对齐结果。

全参考算法中影响最终评价结果的一个很重要的方面就是参考视频和测试视频在时间上的对齐，对参考视频和测试视频进行时间的对齐就是寻找参考视频与测试视频在时间上相同的对应帧。时间上的对齐可能会受到延迟、帧跳过或帧重复的影响。基本原理是：首先搜索输入序列的静态延迟，如果没有满足可靠性标准的阈值延迟，那么这个信号被分成两部分，然后分别计算这两部分的静态延迟，依次类推，直到所有的片段都被准确的对齐或是输入信号的片段不能再分为止。为了更准确地执行实际的对齐，需要对提取的Y、U、V三个视频分量中每个视频分量的六个不同的空域参数进行分析和相关性计算得出结果，最后选择最适合的结果作为片段的粗延迟。具体说明如下：

对于第t帧视频，根据归一化的积差相关函数

分别求解YUV分量上X[t]和Y[t]间的延迟为：

${\mathrm{delay}}_{[Y,U,V]}\left(X\right[t],Y[t\left]\right)=\underset{n}{\arg \max }\left({\tilde{r}}_{\mathrm{xy}}\right[n\left]\right)$

其中，X[t]和Y[t]是长度为nx和ny的向量。

${\mathrm{corrm}}_{[Y,U,V]}\left(X\right[t],Y[t\left]\right)=\underset{n}{\max }\left({\tilde{r}}_{\mathrm{xy}}\right[n\left]\right)$ 则表示为一个准确延时估计的相似度度量。

因此，两个相似性矩阵空间D_s和D_p的相似度度量为D_s和D_p的单独的一方面信息的最大相似度：

${\mathrm{corrmsim}}_{[Y,U,V]}(D_s,D_p)=\underset{i\∈\left[\mathrm{0,5}\right]}{\max }\left({\mathrm{corrm}}_{[Y,U,V]}\left(D_s\right[i,t],D_p[i,t\left]\right)\right)$

两个相似性矩阵的相似性指数定义为信息方面的指标，该指标具有最大的相似性度量。

${\mathrm{corrmx}}_{[Y,U,V]}(D_s,D_p)=\underset{i\∈\left[\mathrm{0,5}\right]}{\arg \max }\left({\mathrm{corrm}}_{[Y,U,V]}\left(D_s\right[i,t],D_p[i,t\left]\right)\right)$

然后，取YUV分量中的最大值：

corrmx(D_S,D_P)＝max(corrmx_Y,corrmx_U,corrmx_V)

最后，根据其中最大值计算两个相似性矩阵延迟信息的最大相似度：

delay(D_S,D_P)＝delay(D_S[corrmx(D_S,D_P)],D_P[corrmx(D_S,D_P)])

根据该两个相似性矩阵延迟信息的最大相似度，对两个相似性矩阵参考视频和测试视频进行时间上的粗对齐，两个相似性矩阵延迟信息的最大相似度大于某个阈值的对应视频的帧被认为是对齐的。

亮度的粗对齐是基于时间未对齐的参考视频序列和测试视频序列的亮度部分。方法是计算出的亮度分量的直方图，计算累积直方图，测定亮度校正曲线；通过直方图和亮度校正曲线进行校正。

二、精对齐和获得测试视频的质量评估结果步骤包括：

步骤S103：对参考视频和测试视频的粗对齐结果进行时间、空间、亮度以及色度的精对齐，根据参考视频和测试视频的精对齐结果，对参考视频和测试视频进行空间扭曲分析和时间扭曲分析，并获得测试视频的质量评估结果。

其中，步骤S103具体包括：子步骤S103a、子步骤S103b以及子步骤S103c。

子步骤S103a：根据参考视频和测试视频的粗对齐结果，利用视频序列对的直方图进行定量分析比较，对参考视频和测试视频进行时间、空间、亮度以及色度的精对齐，获得参考视频和测试视频的精对齐结果的视频序列对[S_A,P_A]，其中，S_A是参考视频精对齐结果的视频序列，P_A是测试视频精对齐结果的视频序列。

对参考视频和测试视频进行时间的精对齐是在时间和亮度粗对齐的基础上进行的，使用均方误差（Mean Square Error，MSE）标准进行时间的精对齐。主要是对粗对齐的视频对计算其均方误差，均方误差越小则表示其对轻度越好，精对齐即为寻找最小的均方误差。

对参考视频和测试视频进行空间的精对齐是在时间精对齐的基础上进行的，也是使用MSE的方法，主要是在一帧一帧的基础上对参考视频信号和测试视频信号的空间转移进行测定和校正，通过计算空间的最小均方误差，完成参考视频和测试视频空间的精对齐。

对参考视频和测试视频进行亮度以及色度的精对齐在时间和空间精对齐的基础上进行的，包括：

（1）亮度和色度校正曲线的测定：第一步是计算参考视频和测试视频图像的亮度和色度直方图，第二步是计算参考视频和测试视频信号的累积直方图。（2）亮度和色度直方图的校正，即比较参考视频和测试视频图像直方图的匹配情况，以确定参考视频和测试视频亮度和色度的对齐情况。

经过参考视频和测试视频进行时间、空间、亮度以及色度的精对齐后，即可获得参考视频和测试视频的精对齐结果的视频序列对[S_A,P_A]。

子步骤S103b：根据参考视频和测试视频的精对齐结果的视频序列对[S_A,P_A]，对参考视频和测试视频进行空间扭曲分析和时间扭曲分析，获得四个空间指标和一个时间指标，其中四个空间指标分别是：亮度指标、色度指标以及两个时间变异性指标。

空间扭曲分析是对基于通过计算校准之后的图像在亮度和色度上的局部梯度值来近似得到的边缘图像进行的分析。

空间扭曲分析主要是计算获得空间域的四个不同的空间指标，一个描述边缘差异的亮度指标，一个是描述边缘差异的色度指标，以及两个描述视频序列运动量的时间变异性指标。

边缘图像的计算公式如下：

$S_{\mathrm{edge},\mathrm{\μ}}\left[t\right]=\mathrm{MaxFilte}{r}_{3\×3}\left(\sqrt{{\left(S_{A,\mathrm{\μ}}\right[t]*K_v)}^2+{\left(S_{A,\mathrm{\μ}}\right[t]*K_h)}^2}\right)$

$P_{\mathrm{edge},\mathrm{\μ}}\left[t\right]=\mathrm{MaxFilte}{r}_{3\×3}\left(\sqrt{{\left(P_{A,\mathrm{\μ}}\right[t]*K_v)}^2+{\left(P_{A,\mathrm{\μ}}\right[t]*K_h)}^2}\right)$

其中K_v＝[0.5,0.5,-0.5,-0.5],K_h＝[0.5,0.5,-0.5,-0.5]^T，μ∈{Y,Cr,Cb}分别代表不同的颜色通道。MaxFilter_3×3()指的是对图像的非线性滤波，这个函数的作用是在处理过的图像上找到3×3矩阵中的局部最大值。

在对参考视频和测试视频的精对齐结果的视频序列对[S_A,P_A]计算得到各自的边缘图像后，通过边缘图像计算获得4个空间指标。

当一个扭曲的视频序列包含两个完全相同的图像时，被认为是重复的。时间扭曲分析主要是针对视频序列的重复帧、跳过帧等异常情况进行分析，以获得一个时间指标可以描述视频序列中的这些异常情况，即分析测试视频序列中重复帧、跳过帧等对用户观看体验造成影响的视频帧占总体视频帧的比例。

其中，子步骤S103b可以根据参考视频和测试视频的精对齐结果的视频序列对[S_A,P_A]，利用多线程技术对参考视频和测试视频进行空间扭曲分析和时间扭曲分析，以并行获得四个空间指标和一个时间指标。

多线程技术就是利用特殊的硬件指令，把两个逻辑内核模拟成两个物理芯片，让单个处理器都能使用线程级并行计算，进而兼容多线程操作系统和软件，减少了中央处理器CPU的闲置时间，提高CPU的运行效率。在本发明实施方式中，采用图形处理器（Graphic Processing Unit，GPU）利用多线程技术对参考视频和测试视频进行空间扭曲分析和时间扭曲分析，可以并行获得四个空间指标和一个时间指标。通过这种方式，可以提高计算效率，缩短了视频质量评估所需要的时间，从而实现视频质量评估的实时性。

步骤S103c：通过四个空间指标和一个时间指标，获得测试视频的质量评估结果。

利用函数映射的方法对视频质量进行评估。这里假设I[i]为各个输入指标（即四个空间指标和一个时间指标）。这个映射函数需要定义输入比例因子的最小值和最大值I_min[i],I_max[i]，定义一系列的比例因子w_x[i]以及是一组输出比例因子。

$\mathrm{Score}=\mathrm{LinearOffset}+\underset{i=0}{\overset{4}{\mathrm{\Σ}}}\frac{w\left[i\right]}{1+e^{\mathrm{\α}\left[i\right]\·I_{\lim }\left[i\right]+\mathrm{\β}\left[i\right]}}$

其中，可以根据PEVQ方法中所使用的不同视频格式（例如VGA、CIF、QCIF等）的不同分辨率信号，设置I_lim[i]、I_max[i]、w[i]、α[i]、β[i]值。

例如，视频格式是VGA，设置的值可以参见表1：

表1：视频格式是VGA时各因子的设置值

表2是五分制标准对视频质量进行评分的等级表，根据DMSO输出的分数Score对照表2，即可实时得到测试视频的质量评估结果。

表2五级损伤标度

评分等级	损伤术语
		5	不觉察
4	可觉察、但不讨厌
		3	稍有讨厌
2	讨厌
		1	非常讨厌

其中，当参考视频和测试视频是两路或两路以上视频时，利用多线程技术使每路视频对应的参考视频和测试视频并行处理，以实时获得每路测试视频的质量评估结果。具体可以是：当参考视频和测试视频是两路或两路以上视频时，利用多线程技术使每路参考视频和测试视频的粗对齐、精对齐以及获得测试视频的质量评估结果的步骤独立并行处理，以实时获得每路测试视频的质量评估结果。也就是说，粗对齐、精对齐以及获得测试视频的质量评估结果的步骤分别可以独立运行，各自保留各自的运算或计算结果，在某一个步骤需要该运算或计算结果时，可以调出该运算结果。通过这种方式，可以实现多路视频质量评估结果的实时性。当然，当参考视频和测试视频是两路或两路以上视频时，利用多线程技术使每路视频对应的参考视频和测试视频并行处理，以实时获得每路测试视频的质量评估结果，也可以采用其它方式，例如，如果是三路视频，假设粗对齐、精对齐以及获得测试视频的质量评估结果的步骤为一个线程执行，为了实现三路视频质量的实时性评估，采用三个这样的线程也可以达到目的。

本发明实施方式通过对参考视频和测试视频各自的空间感兴趣区域ROI的Y、U、V的三个视频分量中的每一视频分量分别提取六个不同的空域参数，获得18个空域参数，这样在对参考视频和测试视频进行对齐时，可以获得更好的粗对齐效果，从而提高测试视频质量评估结果的准确性。另外，利用多线程技术对参考视频和测试视频进行空间扭曲分析和时间扭曲分析，可以提高计算效率，缩短视频质量评估所需要的时间，从而实现视频质量评估的实时性；利用多线程技术使每路参考视频和测试视频对应的粗对齐、精对齐以及获得测试视频的质量评估结果的步骤独立并行处理，从而实时获得每路测试视频的质量评估结果。

参阅图2，图2是本发明全参考视频质量评估方法另一实施方式的流程图，本实施方式和图1的实施方式基本相同，相同的地方请参见图1以及相关的文字说明，不同之处在于本实施方式还包括步骤S201和步骤S202，具体内容如下：

一、预处理步骤，具体包括：

步骤S201：提取参考视频和测试视频的ROI区域。

从视觉心理学角度来看，人眼视觉是一种积极的感受行为，不仅与生理因素有关，还在相当程度上取决于心理因素。人们在观察和理解图像时总会对其中某一些区域感兴趣，即空间感兴趣区域（Region ofInterest，ROI），整幅图像的质量往往取决于ROI的质量，而不感兴趣的区域质量下降有时候不易被觉察。将评估对象选为ROI，也可以减少边缘扭曲对视频质量评估结果的影响。

步骤S202：删除参考视频和测试视频提取的ROI区域边缘的十个像素。

删除掉参考视频和测试视频ROI区域边缘的十个像素，以消除边缘效应。

二、粗对齐步骤，具体包括：

步骤S203：对参考视频和测试视频各自的空间感兴趣区域ROI的Y、U、V的三个视频分量中的每一视频分量分别提取六个不同的空域参数，获得参考视频和测试视频的之间的差异矩阵对[D_s,D_p]，其中，D_s是参考视频的三个视频分量中的每一视频分量分别提取的六个不同的空域参数所形成的矩阵，D_p是测试视频的三个视频分量中的每一视频分量分别提取的六个不同的空域参数所形成的矩阵，六个不同的空域参数分别是：参考视频和测试视频各自ROI的对应视频分量的均值和标准差、参考视频信号和测试视频信号分别在水平垂直方向平移三个像素后的对应视频分量之差的均值和标准差、参考视频和测试视频各自对应视频分量的边缘信号的均值和标准差。

步骤S204：利用参考视频和测试视频的之间的差异矩阵对[D_s,D_p]，对参考视频和测试视频进行时间和亮度的粗对齐，获得参考视频和测试视频的粗对齐结果。

三、精对齐和获得测试视频的质量评估结果步骤包括：

步骤S205：对参考视频和测试视频的粗对齐结果进行时间、空间、亮度以及色度的精对齐，根据参考视频和测试视频的精对齐结果，对参考视频和测试视频进行空间扭曲分析和时间扭曲分析，并获得测试视频的质量评估结果。

其中，步骤S205具体包括：子步骤S205a、子步骤S205b以及子步骤S205c。

子步骤S205a：根据参考视频和测试视频的粗对齐结果，利用视频序列对的直方图进行定量分析比较，对参考视频和测试视频进行时间、空间、亮度以及色度的精对齐，获得参考视频和测试视频的精对齐结果的视频序列对[S_A,P_A]，其中，S_A是参考视频精对齐结果的视频序列，P_A是测试视频精对齐结果的视频序列。

子步骤S205b：根据参考视频和测试视频的精对齐结果的视频序列对[S_A,P_A]，对参考视频和测试视频进行空间扭曲分析和时间扭曲分析，获得四个空间指标和一个时间指标，其中四个空间指标分别是：亮度指标、色度指标以及两个时间变异性指标。

其中，子步骤S205b可以根据参考视频和测试视频的精对齐结果的视频序列对[S_A,P_A]，利用多线程技术对参考视频和测试视频进行空间扭曲分析和时间扭曲分析，以并行获得四个空间指标和一个时间指标。

子步骤S205c：通过四个空间指标和一个时间指标，获得测试视频的质量评估结果。

其中，当参考视频和测试视频是两路或两路以上视频时，利用多线程技术使每路视频对应的参考视频和测试视频并行处理，以实时获得每路测试视频的质量评估结果。具体可以是：当参考视频和测试视频是两路或两路以上视频时，利用多线程技术使每路参考视频和测试视频对应的粗对齐步骤、精对齐步骤以及结果输出步骤独立并行处理，以实时获得每路测试视频的质量评估结果。也就是说，粗对齐步骤、精对齐步骤以及结果输出步骤分别可以独立运行，各自保留各自的运算或计算结果，在某一个步骤需要该运算或计算结果时，可以调出该运算结果。通过这种方式，可以实现多路视频质量评估结果的实时性。当然，当参考视频和测试视频是两路或两路以上视频时，利用多线程技术使每路视频对应的参考视频和测试视频并行处理，以实时获得每路测试视频的质量评估结果，也可以采用其它方式，例如，如果是三路视频，假设粗对齐步骤、精对齐步骤以及结果输出步骤为一个线程执行，为了实现三路视频质量的实时性评估，采用三个这样的线程也可以达到目的。

本发明实施方式通过对参考视频和测试视频各自的空间感兴趣区域ROI的Y、U、V的三个视频分量中的每一视频分量分别提取六个不同的空域参数，获得18个空域参数，这样在对参考视频和测试视频进行对齐时，可以获得更好的粗对齐效果，从而提高测试视频质量评估结果的准确性。另外，利用多线程技术对参考视频和测试视频进行空间扭曲分析和时间扭曲分析，可以提高计算效率，缩短视频质量评估所需要的时间，从而实现视频质量评估的实时性；利用多线程技术使每路参考视频和测试视频对应的粗对齐步骤、精对齐步骤以及结果输出步骤独立并行处理，从而实时获得每路测试视频的质量评估结果。通过对参考视频和测试视频进行ROI区域的提取，可以减少边缘扭曲对视频质量评估结果的影响。通过删除参考视频和测试视频提取的ROI区域边缘的十个像素，可以消除边缘效应。

参阅图3，图3是本发明全参考视频质量评估装置一实施方式的结构示意图，该装置包括：粗对齐模块101、精对齐模块102以及结果输出模块103。

需要说明的是，本实施方式的装置可以执行图1和图2中的步骤。

粗对齐模块101用于对参考视频和测试视频各自的空间感兴趣区域ROI的Y、U、V的三个视频分量中的每一视频分量分别提取六个不同的空域参数，获得参考视频和测试视频的之间的差异矩阵对[D_s,D_p]，利用参考视频和测试视频的之间的差异矩阵对[D_s,D_p]，对参考视频和测试视频进行时间和亮度的粗对齐，获得参考视频和测试视频的粗对齐结果，其中，D_s是参考视频的三个视频分量中的每一视频分量分别提取的六个不同的空域参数所形成的矩阵，D_p是测试视频的三个视频分量中的每一视频分量分别提取的六个不同的空域参数所形成的矩阵，六个不同的空域参数分别是：参考视频和测试视频各自ROI的对应视频分量的均值和标准差、参考视频信号和测试视频信号分别在水平垂直方向平移三个像素后的对应视频分量之差的均值和标准差、参考视频和测试视频各自对应视频分量的边缘信号的均值和标准差。

参考视频即为视频质量没有受到损伤的源视频，测试视频即为参考视频经过编码器、通信信道、解码器等处理后造成视频质量损伤的视频。

从视觉心理学角度来看，人眼视觉是一种积极的感受行为，不仅与生理因素有关，还在相当程度上取决于心理因素。人们在观察和理解图像时总会对其中某一些区域感兴趣，即空间感兴趣区域（Region ofInterest，ROI），整幅图像的质量往往取决于ROI的质量，而不感兴趣的区域质量下降有时候不易被觉察。将评估对象选为ROI，也可以减少边缘扭曲对视频质量评估结果的影响。

Y、U、V的三个视频分量中，Y表示明亮度，U、V是色度，分别描述影像色彩及饱和度。Y、U、V的三个视频分量中的每一视频分量分别提取六个不同的空域参数，这样参考视频和测试视频分别对应18个空域参数。对于参考视频和测试视频来说，提取的空域参数越多，在对参考视频和测试视频进行对齐时，准确性越高，从而为后面的视频质量评估结果的准确性打下好的基础。

Y、U、V的三个视频分量中的每一视频分量的六个空域参数都是以均值和标准差为基础的，这18个空域参数可以表示每帧的基本特征，把一帧图像的18个参数放置在矩阵的一列中，这样，一段N帧的视频序列就可以提取出18*N的矩阵D_s和D_p。

全参考算法中影响最终评价结果的一个很重要的方面就是参考视频和测试视频在时间上的对齐，对参考视频和测试视频进行时间的对齐就是寻找参考视频与测试视频在时间上相同的对应帧。时间上的对齐可能会受到延迟、帧跳过或帧重复的影响。基本原理是：首先搜索输入序列的静态延迟，如果没有满足可靠性标准的阈值延迟，那么这个信号被分成两部分，然后分别计算这两部分的静态延迟，依次类推，直到所有的片段都被准确的对齐或是输入信号的片段不能再分为止。为了更准确地执行实际的对齐，需要对提取的Y、U、V三个视频分量中每个视频分量的六个不同的空域参数进行分析和相关性计算得出结果，最后选择最适合的结果作为片段的粗延迟。

精对齐模块102用于根据粗对齐模块101获得的参考视频和测试视频的粗对齐结果，利用视频序列对的直方图进行定量分析比较，对参考视频和测试视频进行时间、空间、亮度以及色度的精对齐，获得参考视频和测试视频的精对齐结果的视频序列对[S_A,P_A]，其中，S_A是参考视频精对齐结果的视频序列，P_A是测试视频精对齐结果的视频序列。

对参考视频和测试视频进行时间的精对齐是在时间和亮度粗对齐的基础上进行的，使用均方误差（Mean Square Error，MSE）标准进行时间的精对齐。主要是对粗对齐的视频对计算其均方误差，均方误差越小则表示其对轻度越好，精对齐即为寻找最小的均方误差。

对参考视频和测试视频进行空间的精对齐是在时间精对齐的基础上进行的，也是使用MSE的方法，主要是在一帧一帧的基础上对参考视频信号和测试视频信号的空间转移进行测定和校正，通过计算空间的最小均方误差，完成参考视频和测试视频空间的精对齐。

对参考视频和测试视频进行亮度以及色度的精对齐在时间和空间精对齐的基础上进行的，包括：

（1）亮度和色度校正曲线的测定：第一步是计算参考视频和测试视频图像的亮度和色度直方图，第二步是计算参考视频和测试视频信号的累积直方图。（2）亮度和色度直方图的校正，即比较参考视频和测试视频图像直方图的匹配情况，以确定参考视频和测试视频亮度和色度的对齐情况。

经过参考视频和测试视频进行时间、空间、亮度以及色度的精对齐后，即可获得参考视频和测试视频的精对齐结果的视频序列对[S_A,P_A]。

结果输出模块103用于根据精对齐模块102获得的参考视频和测试视频的精对齐结果的视频序列对[S_A,P_A]，对参考视频和测试视频进行空间扭曲分析和时间扭曲分析，获得四个空间指标和一个时间指标，根据四个空间指标和一个时间指标，获得测试视频的质量评估结果，其中四个空间指标分别是：亮度指标、色度指标以及两个时间变异性指标。

空间扭曲分析是对基于通过计算校准之后的图像在亮度和色度上的局部梯度值来近似得到的边缘图像进行的分析。

空间扭曲分析主要是计算获得空间域的四个不同的空间指标，一个描述边缘差异的亮度指标，一个是描述边缘差异的色度指标，以及两个描述视频序列运动量的时间变异性指标。

在对参考视频和测试视频的精对齐结果的视频序列对[S_A,P_A]计算得到各自的边缘图像后，通过边缘图像计算获得4个空间指标。

当一个扭曲的视频序列包含两个完全相同的图像时，被认为是重复的。时间扭曲分析主要是针对视频序列的重复帧、跳过帧等异常情况进行分析，以获得一个时间指标可以描述视频序列中的这些异常情况。

结果输出模块103还用于根据参考视频和测试视频的精对齐结果的视频序列对[S_A,P_A]，利用多线程技术对参考视频和测试视频进行空间扭曲分析和时间扭曲分析，以并行获得四个空间指标和一个时间指标，即分析测试视频序列中重复帧、跳过帧等对用户观看体验造成影响的视频帧占总体视频帧的比例。

多线程技术就是利用特殊的硬件指令，把两个逻辑内核模拟成两个物理芯片，让单个处理器都能使用线程级并行计算，进而兼容多线程操作系统和软件，减少了中央处理器CPU的闲置时间，提高CPU的运行效率。在本发明实施方式中，采用图形处理器（Graphic Processing Unit，GPU）利用多线程技术对参考视频和测试视频进行空间扭曲分析和时间扭曲分析，可以并行获得四个空间指标和一个时间指标。通过这种方式，可以提高计算效率，缩短了视频质量评估所需要的时间，从而实现视频质量评估的实时性。

其中，该装置还用于当参考视频和测试视频是两路或两路以上视频时，利用多线程技术使每路视频对应的参考视频和测试视频并行处理，以实时获得每路测试视频的质量评估结果。

进一步地，该装置还用于当参考视频和测试视频是两路或两路以上视频时，利用多线程技术使每路参考视频和测试视频对应的粗对齐模块、精对齐模块以及结果输出模块独立并行处理，以实时获得每路测试视频的质量评估结果。

本发明实施方式通过对参考视频和测试视频各自的空间感兴趣区域ROI的Y、U、V的三个视频分量中的每一视频分量分别提取六个不同的空域参数，获得18个空域参数，这样在对参考视频和测试视频进行对齐时，可以获得更好的粗对齐效果，从而提高测试视频质量评估结果的准确性。另外，利用多线程技术对参考视频和测试视频进行空间扭曲分析和时间扭曲分析，可以提高计算效率，缩短视频质量评估所需要的时间，从而实现视频质量评估的实时性；利用多线程技术使每路参考视频和测试视频对应的粗对齐步骤、精对齐步骤以及结果输出步骤独立并行处理，从而实时获得每路测试视频的质量评估结果。

参阅图4，图4是本发明全参考视频质量评估装置另一实施方式的结构示意图，本实施方式和图3的实施方式基本相同，相同的地方请参见图3以及相应的文字说明，不同之处在于本实施方式还包括预处理模块201。该装置包括：预处理模块201、粗对齐模块202、精对齐模块203以及结果输出模块204。

需要说明的是，本实施方式的装置可以执行图2中的步骤。

预处理模块201用于对参考视频和测试视频进行ROI区域的提取，删除参考视频和测试视频提取的ROI区域边缘的十个像素。

从视觉心理学角度来看，人眼视觉是一种积极的感受行为，不仅与生理因素有关，还在相当程度上取决于心理因素。人们在观察和理解图像时总会对其中某一些区域感兴趣，即空间感兴趣区域（Region ofInterest，ROI），整幅图像的质量往往取决于ROI的质量，而不感兴趣的区域质量下降有时候不易被觉察。将评估对象选为ROI，也可以减少边缘扭曲对视频质量评估结果的影响。删除掉参考视频和测试视频ROI区域边缘的十个像素，以消除边缘效应。

粗对齐模块202用于对参考视频和测试视频各自的空间感兴趣区域ROI的Y、U、V的三个视频分量中的每一视频分量分别提取六个不同的空域参数，获得参考视频和测试视频的之间的差异矩阵对[D_s,D_p]，利用参考视频和测试视频的之间的差异矩阵对[D_s,D_p]，对参考视频和测试视频进行时间和亮度的粗对齐，获得参考视频和测试视频的粗对齐结果，其中，D_s是参考视频的三个视频分量中的每一视频分量分别提取的六个不同的空域参数所形成的矩阵，D_p是测试视频的三个视频分量中的每一视频分量分别提取的六个不同的空域参数所形成的矩阵，六个不同的空域参数分别是：参考视频和测试视频各自ROI的对应视频分量的均值和标准差、参考视频信号和测试视频信号分别在水平垂直方向平移三个像素后的对应视频分量之差的均值和标准差、参考视频和测试视频各自对应视频分量的边缘信号的均值和标准差。

精对齐模块203用于根据粗对齐模块202获得的参考视频和测试视频的粗对齐结果，利用视频序列对的直方图进行定量分析比较，对参考视频和测试视频进行时间、空间、亮度以及色度的精对齐，获得参考视频和测试视频的精对齐结果的视频序列对[S_A,P_A]，其中，S_A是参考视频精对齐结果的视频序列，P_A是测试视频精对齐结果的视频序列。

结果输出模块204用于根据精对齐模块203获得的参考视频和测试视频的精对齐结果的视频序列对[S_A,P_A]，对参考视频和测试视频进行空间扭曲分析和时间扭曲分析，获得四个空间指标和一个时间指标，根据四个空间指标和一个时间指标，获得测试视频的质量评估结果，其中四个空间指标分别是：亮度指标、色度指标以及两个时间变异性指标。

结果输出模块204还用于根据参考视频和测试视频的精对齐结果的视频序列对[S_A,P_A]，利用多线程技术对参考视频和测试视频进行空间扭曲分析和时间扭曲分析，以并行获得四个空间指标和一个时间指标。

其中，该装置还用于当参考视频和测试视频是两路或两路以上视频时，利用多线程技术使每路视频对应的参考视频和测试视频并行处理，以实时获得每路测试视频的质量评估结果。

进一步地，该装置还用于当参考视频和测试视频是两路或两路以上视频时，利用多线程技术使每路参考视频和测试视频对应的粗对齐模块、精对齐模块以及结果输出模块独立并行处理，以实时获得每路测试视频的质量评估结果。也就是说，粗对齐模块、精对齐模块以及结果输出模块分别可以独立运行，各自保留各自的运算或计算结果，在某一个模块或单元需要该运算或计算结果时，可以调出该运算结果。通过这种方式，可以实现多路视频质量评估结果的实时性。当然，当参考视频和测试视频是两路或两路以上视频时，利用多线程技术使每路视频对应的参考视频和测试视频并行处理，以实时获得每路测试视频的质量评估结果，也可以采用其它方式。

本发明实施方式通过对参考视频和测试视频各自的空间感兴趣区域ROI的Y、U、V的三个视频分量中的每一视频分量分别提取六个不同的空域参数，获得18个空域参数，这样在对参考视频和测试视频进行对齐时，可以获得更好的粗对齐效果，从而提高测试视频质量评估结果的准确性。另外，利用多线程技术对参考视频和测试视频进行空间扭曲分析和时间扭曲分析，可以提高计算效率，缩短视频质量评估所需要的时间，从而实现视频质量评估的实时性；利用多线程技术使每路参考视频和测试视频对应的粗对齐步骤、精对齐步骤以及结果输出步骤独立并行处理，从而实时获得每路测试视频的质量评估结果。通过对参考视频和测试视频进行ROI区域的提取，可以减少边缘扭曲对视频质量评估结果的影响。通过删除参考视频和测试视频提取的ROI区域边缘的十个像素，可以消除边缘效应。

参阅图5，图5是本发明视频质量测试仪一实施方式的结构示意图，该视频质量测试仪包括：处理器31、与处理器31偶联的存储器32、输出装置33、以及用于处理器31、存储器32以及输出装置33进行通信的数据总线34。

在一些实施方式中，存储器32存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：

操作系统，包含各种系统程序，用于实现各种基础业务以及处理基于硬件的任务；

应用程序模块，包含各种应用程序，用于实现各种应用业务。

在本发明实施方式中，处理器31用于在粗对齐阶段，对参考视频和测试视频各自的空间感兴趣区域ROI的Y、U、V的三个视频分量中的每一视频分量分别提取六个不同的空域参数，获得所述参考视频和测试视频的之间的差异矩阵对[D_s,D_p]，并将所述参考视频和测试视频的之间的差异矩阵对[D_s,D_p]存储在存储器32中，利用所述参考视频和测试视频的之间的差异矩阵对[D_s,D_p]，对所述参考视频和测试视频进行时间和亮度的粗对齐，获得所述参考视频和测试视频的粗对齐结果，并将所述参考视频和测试视频的粗对齐结果存储在存储器32中，其中，所述D_s是所述参考视频的三个视频分量中的每一视频分量分别提取的六个不同的空域参数所形成的矩阵，所述D_p是所述测试视频的三个视频分量中的每一视频分量分别提取的六个不同的空域参数所形成的矩阵，所述六个不同的空域参数分别是：参考视频和测试视频各自ROI的对应视频分量的均值和标准差、参考视频信号和测试视频信号分别在水平垂直方向平移三个像素后的对应视频分量之差的均值和标准差、参考视频和测试视频各自对应视频分量的边缘信号的均值和标准差；在精对齐阶段，根据所述参考视频和测试视频的粗对齐结果，利用视频序列对的直方图进行定量分析比较，对所述参考视频和测试视频进行时间、空间、亮度以及色度的精对齐，获得所述参考视频和测试视频的精对齐结果的视频序列对[S_A,P_A]，并将所述参考视频和测试视频的精对齐结果的视频序列对[S_A,P_A]存储在存储器32中，其中，所述S_A是所述参考视频精对齐结果的视频序列，所述P_A是所述测试视频精对齐结果的视频序列；在结构输出阶段，根据所述参考视频和测试视频的精对齐结果的视频序列对[S_A,P_A]，对所述参考视频和测试视频进行空间扭曲分析和时间扭曲分析，获得四个空间指标和一个时间指标，并将所述四个空间指标和一个时间指标存储在存储器32中，根据所述四个空间指标和一个时间指标，获得所述测试视频的质量评估结果，控制输出装置33输出所述测试视频的质量评估结果，其中所述四个空间指标分别是：亮度指标、色度指标以及两个时间变异性指标。

其中，处理器31还用于根据所述参考视频和测试视频的精对齐结果的视频序列对[S_A,P_A]，利用多线程技术对所述参考视频和测试视频进行空间扭曲分析和时间扭曲分析，以并行获得四个空间指标和一个时间指标。

其中，所述视频质量测试仪还用于当所述参考视频和测试视频是两路或两路以上视频时，利用多线程技术使所述每路视频对应的参考视频和测试视频并行处理，以实时获得每路测试视频的质量评估结果。

进一步地，所述视频质量测试仪还用于当所述参考视频和测试视频是两路或两路以上视频时，利用多线程技术使所述每路参考视频和测试视频对应的粗对齐阶段、精对齐阶段以及结果输出阶段独立并行处理，以实时获得每路测试视频的质量评估结果。

其中，所述处理器还用于对所述参考视频和测试视频进行ROI区域的提取；删除所述参考视频和测试视频提取的ROI区域边缘的十个像素。

本发明实施方式通过对参考视频和测试视频各自的空间感兴趣区域ROI的Y、U、V的三个视频分量中的每一视频分量分别提取六个不同的空域参数，获得18个空域参数，这样在对参考视频和测试视频进行对齐时，可以获得更好的粗对齐效果，从而提高测试视频质量评估结果的准确性。另外，利用多线程技术对参考视频和测试视频进行空间扭曲分析和时间扭曲分析，可以提高计算效率，缩短视频质量评估所需要的时间，从而实现视频质量评估的实时性；利用多线程技术使每路参考视频和测试视频对应的粗对齐步骤、精对齐步骤以及结果输出步骤独立并行处理，从而实时获得每路测试视频的质量评估结果。通过对参考视频和测试视频进行ROI区域的提取，可以减少边缘扭曲对视频质量评估结果的影响。通过删除参考视频和测试视频提取的ROI区域边缘的十个像素，可以消除边缘效应。

在本发明所提供的几个实施方式中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本发明各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (11)

1.一种全参考视频质量评估方法，其特征在于，包括：

对参考视频和测试视频各自的空间感兴趣区域ROI的Y、U、V的三个视频分量中的每一视频分量分别提取六个不同的空域参数，获得所述参考视频和测试视频的之间的差异矩阵对[D_s,D_p]，利用所述参考视频和测试视频的之间的差异矩阵对[D_s,D_p]，对所述参考视频和测试视频进行时间和亮度的粗对齐，获得所述参考视频和测试视频的粗对齐结果，其中，所述D_s是所述参考视频的三个视频分量中的每一视频分量分别提取的六个不同的空域参数所形成的矩阵，所述D_p是所述测试视频的三个视频分量中的每一视频分量分别提取的六个不同的空域参数所形成的矩阵，所述六个不同的空域参数分别是：参考视频和测试视频各自ROI的对应视频分量的均值和标准差、参考视频信号和测试视频信号分别在水平垂直方向平移三个像素后的对应视频分量之差的均值和标准差、参考视频和测试视频各自对应视频分量的边缘信号的均值和标准差；

对所述参考视频和测试视频的粗对齐结果进行时间、空间、亮度以及色度的精对齐，根据所述参考视频和测试视频的精对齐结果，对所述参考视频和测试视频进行空间扭曲分析和时间扭曲分析，并获得所述测试视频的质量评估结果。

2.根据权利要求1所述的方法，其特征在于，所述根据所述参考视频和测试视频的精对齐结果，对所述参考视频和测试视频进行空间扭曲分析和时间扭曲分析的步骤包括：根据所述参考视频和测试视频的精对齐结果，利用多线程技术对所述参考视频和测试视频进行空间扭曲分析和时间扭曲分析，以并行获得四个空间指标和一个时间指标，其中所述四个空间指标分别是：亮度指标、色度指标以及两个时间变异性指标。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：当所述参考视频和测试视频是两路或两路以上视频时，利用多线程技术使所述每路视频对应的参考视频和测试视频并行处理，以实时获得每路测试视频的质量评估结果。

4.根据权利要求3所述的方法，其特征在于，所述当参考视频和测试视频是两路或两路以上视频时，利用多线程技术使所述每路视频对应的参考视频和测试视频并行处理，以实时获得每路测试视频的质量评估结果的步骤包括：

当所述参考视频和测试视频是两路或两路以上视频时，利用多线程技术使所述每路参考视频和测试视频的粗对齐、精对齐以及获得所述测试视频的质量评估结果的步骤独立并行处理，以实时获得每路测试视频的质量评估结果。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述对参考视频和测试视频各自的空间感兴趣区域ROI的Y、U、V的三个视频分量中的每一视频分量分别提取六个不同的空域参数之前，包括：

提取所述参考视频和测试视频的ROI区域；

删除所述参考视频和测试视频提取的ROI区域边缘的十个像素。

6.一种全参考视频质量评估装置，其特征在于，所述装置包括：粗对齐模块、精对齐模块以及结果输出模块；

所述粗对齐模块用于对参考视频和测试视频各自的空间感兴趣区域ROI的Y、U、V的三个视频分量中的每一视频分量分别提取六个不同的空域参数，获得所述参考视频和测试视频的之间的差异矩阵对??Ds,D_p??，利用所述参考视频和测试视频的之间的差异矩阵对??Ds,D_p??，对所述参考视频和测试视频进行时间和亮度的粗对齐，获得所述参考视频和测试视频的粗对齐结果，其中，所述D_s是所述参考视频的三个视频分量中的每一视频分量分别提取的六个不同的空域参数所形成的矩阵，所述D_p是所述测试视频的三个视频分量中的每一视频分量分别提取的六个不同的空域参数所形成的矩阵，所述六个不同的空域参数分别是：参考视频和测试视频各自ROI的对应视频分量的均值和标准差、参考视频信号和测试视频信号分别在水平垂直方向平移三个像素后的对应视频分量之差的均值和标准差、参考视频和测试视频各自对应视频分量的边缘信号的均值和标准差；

所述精对齐模块用于对所述参考视频和测试视频的粗对齐结果进行时间、空间、亮度以及色度的精对齐；

所述结果输出模块用于根据所述参考视频和测试视频的精对齐结果，对所述参考视频和测试视频进行空间扭曲分析和时间扭曲分析，并获得所述测试视频的质量评估结果。

7.根据权利要求6所述的装置，其特征在于，所述结果输出模块还用于根据所述参考视频和测试视频的精对齐结果，利用多线程技术对所述参考视频和测试视频进行空间扭曲分析和时间扭曲分析，以并行获得四个空间指标和一个时间指标，其中所述四个空间指标分别是：亮度指标、色度指标以及两个时间变异性指标。

8.根据权利要求6所述的装置，其特征在于，当所述参考视频和测试视频是两路或两路以上视频时，所述粗对齐模块、精对齐模块以及结果输出模块分别独立并行处理所述每路视频对应的参考视频和测试视频，以实时获得每路测试视频的质量评估结果。

9.根据权利要求6所述的装置，其特征在于，当所述参考视频和测试视频是两路或两路以上视频时，对应于每一路视频，所述装置包括一个粗对齐模块、一个精对齐模块以及一个结果输出模块，其中每路参考视频和测试视频对应的粗对齐模块、精对齐模块以及结果输出模块独立并行处理，以实时获得每路测试视频的质量评估结果。

10.根据权利要求6至9任一项所述的装置，其特征在于，所述装置还包括预处理模块，所述预处理模块用于提取所述参考视频和测试视频的ROI区域，删除所述参考视频和测试视频提取的ROI区域边缘的十个像素。

11.一种视频质量测试仪，其特征在于，所述测试仪包括：处理器、与处理器偶联的存储器以及输出装置；

所述处理器用于对参考视频和测试视频各自的空间感兴趣区域ROI的Y、U、V的三个视频分量中的每一视频分量分别提取六个不同的空域参数，获得所述参考视频和测试视频的之间的差异矩阵对[D_s,D_p]，并将所述参考视频和测试视频的之间的差异矩阵对[D_s,D_p]存储在存储器中，利用所述参考视频和测试视频的之间的差异矩阵对[D_s,D_p]，对所述参考视频和测试视频进行时间和亮度的粗对齐，获得所述参考视频和测试视频的粗对齐结果，并将所述参考视频和测试视频的粗对齐结果存储在存储器中，其中，所述D_s是所述参考视频的三个视频分量中的每一视频分量分别提取的六个不同的空域参数所形成的矩阵，所述D_p是所述测试视频的三个视频分量中的每一视频分量分别提取的六个不同的空域参数所形成的矩阵，所述六个不同的空域参数分别是：参考视频和测试视频各自ROI的对应视频分量的均值和标准差、参考视频信号和测试视频信号分别在水平垂直方向平移三个像素后的对应视频分量之差的均值和标准差、参考视频和测试视频各自对应视频分量的边缘信号的均值和标准差；对所述参考视频和测试视频的粗对齐结果进行时间、空间、亮度以及色度的精对齐；根据所述参考视频和测试视频的精对齐结果，对所述参考视频和测试视频进行空间扭曲分析和时间扭曲分析，并获得所述测试视频的质量评估结果；

所述存储器用于存储所述参考视频和测试视频的之间的差异矩阵对[D_s,D_p]，所述参考视频和测试视频的粗对齐结果，以及所述参考视频和测试视频的精对齐结果；

所述输出装置用于输出所述测试视频的质量评估结果。

Images