CN105163106A - 一种多重数据处理的视频质量评价系统 - Google Patents

一种多重数据处理的视频质量评价系统 Download PDF

Info

Publication number
CN105163106A
CN105163106A CN201510435336.5A CN201510435336A CN105163106A CN 105163106 A CN105163106 A CN 105163106A CN 201510435336 A CN201510435336 A CN 201510435336A CN 105163106 A CN105163106 A CN 105163106A
Authority
CN
China
Prior art keywords
unit
video
evaluation
objective
video quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510435336.5A
Other languages
English (en)
Other versions
CN105163106B (zh
Inventor
司占军
顾翀
原菲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University of Science and Technology
Original Assignee
Tianjin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University of Science and Technology filed Critical Tianjin University of Science and Technology
Priority to CN201510435336.5A priority Critical patent/CN105163106B/zh
Publication of CN105163106A publication Critical patent/CN105163106A/zh
Application granted granted Critical
Publication of CN105163106B publication Critical patent/CN105163106B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明涉及一种视频质量评价系统,该系统包括视频质量客观评价系统以及视频质量综合评价系统,其中,视频质量客观评价系统,其包括峰值信噪比计算单元、边缘结构相似性计算单元、清晰度计算单元、空时域值计算单元以及客观评价数据处理单元;客观评价数据处理单元,其包括原始数据评价矩阵构建单元、标准化矩阵构建单元、权重计算单元;视频质量综合评价系统,其包括主观结果接收模块、客观结果接收模块、第二原始数据评价矩阵构建单元、第二标准化矩阵构建单元、第二权重计算单元。通过本发明,有效提高视频评价结果的准确性,实现高效评估。

Description

一种多重数据处理的视频质量评价系统
技术领域
本发明是应用于移动终端的视频质量评价系统,主要针对于安卓系统的平板电脑的视频进行分析,通过视频质量评估方法对视频进行主观评价和客观评价,对视频质量进行高效评估,从而可以控制和改善数字视频的质量,更好的为移动终端产商提供指导依据。
背景技术
现如今在视频从模拟化到数字化的发展中,视频采样、压缩、传输以及重建的过程中会产生各种各样的差异,引起视频不同程度的失真。目前对于视频质量的评价多数是基于PC展开的,而对基于移动终端的研究领域相对较少,如何对基于移动终端视频质量进行高效评估,是人们未来研究的重点,不仅可以对移动终端产商提供指导依据,还可以服务于不同的视频领域。
视频质量主观评价方面,由于测试过程受各种因素影响,测试方法不具有通用性,因此一套通用的标准测试系统成为主观评价的一个研究方向。
视频质量客观评价方面,通过寻找合适的评价指标建立评价模型,但是人眼是一个复杂的系统,在进行客观评价的过程中应充分结合人眼视觉系统进行深入研究。对于视频质量主客观综合评价的研究,目前还不是很成熟,尤其是在移动终端的视频评价系统研究较少。
发明内容
本发明正是为了解决现有技术中的上述问题而发明的一套视频质量综合评价体系,首次将基于PC研究的视频质量评价理论转移到平板电脑等移动终端,设计出基于安卓系统的平板电脑的评价体系系统。构建了一套视频质量综合评价体系。评价系统主要由两个部分组成,视频质量的主观评价以及视频质量的客观评价。
客观评价,选择了四个客观评价指标:峰值信噪比、边缘结构相似性、清晰度、空时域模型,既考虑了人眼视觉系统的特征,又反应了视频空间信息和时间信息,多指标的选择解决了单一指标的不准确性和局限性。本发明通过采用熵权赋权法计算各个指标的权重,并引入效应函数对数据进行归一化处理,通过计算欧氏距离对视频质量进行排序,完成视频质量的评价。综合评价后与主观结果具有很好的一致性。
主观评价,采用的是ITU-TP.910中定义的去除隐含参考的绝对等级评分法ACR-HRR,测试环境严格按照标准中给出的进行布置,测试序列选用的是VQEG组织提供的5个场景的视频,每个场景包含1个原始视频和16个失真视频,组织了多名观测者进行主观评价,并对评价结果进行处理,得到平均主观意见分。评价结果显示,各个场景图的趋势走向一致,保证了实验结果的准确性。
为了实现上述发明目的,采用以下技术方案:一种多重数据处理的视频质量评价系统,其包括视频质量客观评价系统以及视频质量综合评价系统,其中,视频质量客观评价系统,其包括峰值信噪比计算单元、边缘结构相似性计算单元、清晰度计算单元、空时域值计算单元以及客观评价数据处理单元,所述客观评价数据处理单元与峰值信噪比计算单元、边缘结构相似性计算单元、清晰度计算单元、空时域值计算单元连接;
所述峰值信噪比计算单元,其通过公式:计算峰值信噪比PSNR,其中,其中xi表示原始视频和失真视频帧中的像素值,M、N为视频的长和宽;
所述边缘结构相似性计算单元,其基于视频亮度、对比度和结构相似性三个参数计算边缘结构相似性ESSIM;
所述清晰度计算单元,其通过公式:计算清晰度,其中,m、n为视频长和宽,df为视频亮度的变化幅度,dx为视频帧像素间的距离增量;
所述空时域值计算单元,其基于空域中的模糊度、块效应和时域中的运动性指标计算空时域指标IMB;
所述客观评价数据处理单元,其包括原始数据评价矩阵构建单元、标准化矩阵构建单元、权重计算单元;所述客观评价数据处理单元接收峰值信噪比计算单元、边缘结构相似性计算单元、清晰度计算单元、空时域值计算单元计算的结果作为原始数据;
所述原始数据评价矩阵构建单元,其对包含峰值信噪比、边缘结构相似性、清晰度、空时域值的原始数据处理,以构建评价矩阵;
所述标准化矩阵构建单元,其使用效用函数对包含原始数据的评价矩阵进行标准化转换,以构建标准化矩阵;
所述权重计算单元,其对标准化矩阵中各个标准化指标进行权重计算,主要完成评价指标熵的计算以及评价指标熵权的计算;
所述客观评价数据处理单元,其通过对原始数据评价矩阵构建单元、标准化矩阵构建单元以及权重计算单元计算结果的处理进而得到客观评价结果;
所述视频质量综合评价系统,其包括主观评价结果接收模块、客观评价结果接收模块、第二原始数据评价矩阵构建单元、第二标准化矩阵构建单元、第二权重计算单元;所述主观评价结果接收模块接收用户传送的主观评价结果,所述客观结果接收模块与视频质量客观评价系统连接以接收客观评价结果,所述视频质量综合评价系统将接收到的主观评价结果和客观评价结果作为第二原始数据;
所述第二原始数据评价矩阵构建单元,其对包含主观评价结果和客观评价结果的第二原始数据处理,以构建第二评价矩阵;
所述第二标准化矩阵构建单元,其使用第二效用函数对包含第二原始数据的第二评价矩阵进行标准化转换,以构建第二标准化矩阵;
所述第二权重计算单元,其对第二标准化矩阵中各个标准化指标进行权重计算,主要完成第二评价指标熵的计算以及第二评价指标熵权的计算;
所述视频质量综合评价系统,其通过对第二原始数据评价矩阵构建单元、第二标准化矩阵构建单元以及第二权重计算单元计算结果的处理进而得到综合结果。
本发明提供的多重数据处理的视频质量评价系统,客观评价选用了四个指标算法,峰值信噪比、边缘结构相似性、清晰度、空时域算法;主观客观评价均是通过Java语言编程实现,建立综合评价系统。系统实现后,将评估系统分为两层,对实验数据的原始数据矩阵变换,使用效用函数对矩阵标准化,计算各个指标的熵和熵权,最后通过欧氏距离得到客观结果,进一步结合场景的平均主观意见分和客观评价结果,通过计算方法最终得到所有视频序列的综合结果,完成视频质量的综合评价结果,其进一步保证视频评价结果的准确性,实现了高效评估。
附图说明
图1是本发明视频质量综合评价流程图。
图2是本发明视频质量综合评价数据处理系统图。
图3是边缘结构相似性ESSIM方法原理框图。
图4是清晰度算法示意图。
图5是相邻水平像素块示意图。
具体实施方式
下面结合附图对本发明做进一步详细说明。
具体实现过程可以为:首先基于Android开发环境搭建,通过调用SDL第三方库基于Androidyuv制作视频播放器,进行评估系统的设计与实现,设计视频质量主观评价的界面,包括用户登录系统与数据库实时更新,场景选择界面自主随机,视频播放界面,评分功能的限制。而客观评价仅允许管理员登陆,故设置了管理员身份认证,需要验证管理员信息,与数据库中信息匹配时,进入客观评价系统,否则无法进入。管理员可以查看主观评价的数据,进行客观评价并查看客观计算结果。
具体使用过程可以为:基于安卓的平板电脑进行对多组视频进行综合评价,首先从安卓平板电脑中打开应用。进行主观评价测试,要求至少15名非专业测试者参加,通过注册账号,该用户登录进入到主观评价界面,根据多组场景的不同的视频进行主观评分,只有在视频播放结束,出现灰度图片时,才可以进行打分,要求评分在0~9之间,评分结束后,手动选择下一视频进行播放,重复上述过程,直至所有视频序列都评价结束,即可退出系统,观测者给出所有评分,评分将自动更新到数据库中,从而完成视频质量的主观评价。进行客观评价仅对管理员开放,故设置了管理员身份认证,需要验证管理员信息,与数据库中信息匹配时,进入客观评价系统。管理员可以查看主观评价的数据,同时也可以查看客观计算结果。客观结果中的峰值信噪比、边缘结构相似性、清晰度三个指标,均是计算结果越大,代表失真视频与原始视频的质量差异越小,视频的质量越好,属于效益型指标。空时域值则相反,其值越小,代表失真视频与原始视频的质量差异越小,视频的质量越好,属于成本型指标。
参见图1,视频质量综合评价测试的具体过程可以为:待测试的视频载入到视频列表中,发布该程序到安卓系统的平板电脑中,开启软件进入主界面,进入登录界面,分为管理员登录,测试者登录,用户登陆即为测试者登录,测试者登录可以进入到主观评价系统,至少15名非专业观测者进行试验,采用九级制评分等级对全部视频进行评价打分,整合主观评价的全部数据结果,其数据需要由管理员登陆才可显示,管理员登陆即为进行视频评价分析的工作者的登录界面,管理员登陆进入客观评价系统,对视频进行自动化的客观分析,按照边缘结构相似性、峰值信噪比、清晰度、空时域算法的四个方面指标进行算法评分,通过系统的客观分析,得到视频序列客观实验数据,得到四个指标的数据结果,根据一定的算法和按照四个指标的相对权重,最终计算所有视频序列的客观结果,综合评价结果,结合场景的平均主观意见分和客观评价结果,通过计算方法最终得到所有视频序列的综合结果。
其中,多重数据处理的视频质量评价系统可以具体为:其包括视频质量客观评价系统以及视频质量综合评价系统,视频质量客观评价系统,其包括峰值信噪比计算单元、边缘结构相似性计算单元、清晰度计算单元、空时域值计算单元以及客观评价数据处理单元,所述客观评价数据处理单元与峰值信噪比计算单元、边缘结构相似性计算单元、清晰度计算单元、空时域值计算单元连接;
所述峰值信噪比计算单元,其通过公式:计算峰值信噪比PSNR,其中,其中xi表示原始视频和失真视频帧中的像素值,M、N为视频的长和宽;
所述边缘结构相似性计算单元,其基于视频亮度、对比度和结构相似性三个参数计算边缘结构相似性ESSIM;
所述清晰度计算单元,其通过公式:计算清晰度,其中,m、n为视频长和宽,df为视频亮度的变化幅度,dx为视频帧像素间的距离增量;
所述空时域值计算单元,其基于空域中的模糊度、块效应和时域中的运动性指标计算空时域指标IMB;
所述客观评价数据处理单元,其包括原始数据评价矩阵构建单元、标准化矩阵构建单元、权重计算单元;所述客观评价数据处理单元接收峰值信噪比计算单元、边缘结构相似性计算单元、清晰度计算单元、空时域值计算单元计算的结果作为原始数据;
所述原始数据评价矩阵构建单元,其对包含峰值信噪比、边缘结构相似性、清晰度、空时域值的原始数据处理,以构建评价矩阵;
所述标准化矩阵构建单元,其使用效用函数对包含原始数据的评价矩阵进行标准化转换,以构建标准化矩阵;
所述权重计算单元,其对标准化矩阵中各个标准化指标进行权重计算,主要完成评价指标熵的计算以及评价指标熵权的计算;
所述客观评价数据处理单元,其通过对原始数据评价矩阵构建单元、标准化矩阵构建单元以及权重计算单元计算结果的处理进而得到客观评价结果;
所述视频质量综合评价系统,其包括主观评价结果接收模块、客观评价结果接收模块、第二原始数据评价矩阵构建单元、第二标准化矩阵构建单元、第二权重计算单元;所述主观评价结果接收模块接收用户传送的主观评价结果,所述客观结果接收模块与视频质量客观评价系统连接以接收客观评价结果,所述视频质量综合评价系统将接收到的主观评价结果和客观评价结果作为第二原始数据;
所述第二原始数据评价矩阵构建单元,其对包含主观评价结果和客观评价结果的第二原始数据处理,以构建第二评价矩阵;
所述第二标准化矩阵构建单元,其使用第二效用函数对包含第二原始数据的第二评价矩阵进行标准化转换,以构建第二标准化矩阵;
所述第二权重计算单元,其对第二标准化矩阵中各个标准化指标进行权重计算,主要完成第二评价指标熵的计算以及第二评价指标熵权的计算;
所述视频质量综合评价系统,其通过对第二原始数据评价矩阵构建单元、第二标准化矩阵构建单元以及第二权重计算单元计算结果的处理进而得到综合结果。
参见图2,对视频质量评价系统进一步作以下说明:
1、具体数据处理过程,其包括客观评价数据处理和综合评价数据处理,其中,客观评价数据处理包括:
1.1、根据客观评价四个指标的结果,针对的视频序列客观实验数据构建评价矩阵。该层主要是对视频质量四个指标权重的计算,并计算出各个序列的客观结果。每一场景n个不同视频的4个评价指标的原始数据评价矩阵R=(rij)n×4为:
1.2、矩阵R中rij表示第i个视频序列的第j个评价指标,评价指标分为三类:成本型、效益型、区间型,对于不同类型的指标有不同的量纲,在评价前需将评价指标标准化,使其可以落在某一无量纲区间。本课题使用效用函数公式对原始数据进行标准化,记第j个评价指标的平均值如式:
对于成本型指标中间过渡变量如式对于效益型指标中间过渡变量如式对原始数据指标值进行处理后得到过渡矩阵A如下:
下面将过渡矩阵数据采用效用函数标准化,如式:
对原始数据进行处理后,最后得到原始数据标准化矩阵B:
显然,bij=f(aij)函数是一条S型曲线,aij反应的是原始数据rij偏离平均值的程度,对于效益型指标而言:当时,标准化处理后效用函数bij≥0;对于成本指标而言:当时,标准化处理后效用函数bij≤0。原始数据rij越大,效用函数bij就越大,当原始数据rij增大到一定程度时,效用函数bij就会接近“饱和”。
1.3、对评价指标原始数据标准化处理后,需要对各个标准化指标进行权重计算,熵权赋权法确定指标权重,主要分为两个过程:评价指标熵的计算,评价指标熵权的计算。在m个评价序列n个客观评价指标的问题中,第j个评价指标的熵Hj定义如式:
其中:并假定:当fij=0时,令fijlnfij=0。定义第j个指标的熵权定义ωj为:
其中,0≤ωj≤1,评价指标的熵越大,其熵权就会越小,说明该指标就越不重要。引用Zadeh[75]定义将Lλ(i)最为客观指标的综合评价,如式:
通常情况下,λ=1时的L1称为海明距离,更多注重的偏差的总和;λ=2时的L2称为欧式距离,更多注重的是个别偏差较大的情况。在本课题中,采用L2作为总指标的结果计算,如式欧氏距离越小,视频质量越好。
综合评价数据处理:这一层数据的计算,与计算客观评价数据处理时的思路是一样的,计算公式也是参照客观评价数据处理。
1.4、在计算出第二层客观评价指标结果后,与主观评价结果作为第一层,形成原始数据矩阵R如下,计算视频质量评价结果。
1.5、使用效用函数公式对原始数据进行标准化,记第j个评价指标的平均值如式:对于成本型指标中间过渡变量如式:对于效益型指标中间过渡变量如式对原始数据指标值进行处理后得到过渡矩阵A如下:
下面将过渡矩阵数据采用效用函数标准化,如式:
对原始数据进行处理后,最后得到原始数据标准化矩阵B:
1.6、在m个评价序列n个客观评价指标的问题中,第j个评价指标的熵Hj定义如式:
其中:并假定:当fij=0时,令fijlnfij=0。定义第j个指标的熵权定义ωj为:
其中,0≤ωj≤1,评价指标的熵越大,其熵权就会越小,说明该指标就越不重要。引用Zadeh[75]定义将Lλ(i)最为客观指标的综合评价,如式:
采用L2作为总指标的结果计算,如式欧氏距离越小,视频质量越好。对各个场景的视频序列进行质量排序,完成视频质量的评价。
2、客观评价的四个参数指标为:
(1)峰值信噪比PSNR
该评价指标属于全参考模型,均方误差MSE和峰值信噪比PSNR,应用最广泛,物理意义清晰简单。
MSE公式如下:式(2-1)
其中,fij、fij’分别表示原始参考视频序列和失真视频序列的对应帧,M、N表示视频帧的高和宽。
PSNR的计算是基于独立像素进行的,即利用参考视频和失真视频每一帧像素值的均方误差进行评价,公式如下[71]
式(2-2)
其中xi表示原始视频和失真视频帧中的像素值。M、N为视频的长和宽。PSNR值越大,失真视频与原始视频的差异越小。在8b采样条件下信号峰值幅度为255。本课题计算了每帧图像每个像素的PSNR值,所有像素的平均值为帧的PSNR值,所有帧的平均值为失真视频序列的PSNR值。
(2)边缘结构相似性ESSIM
常用的结构相似性算法是基于亮度、对比度和结构相似性三个参数计算,对于原始视频序列X和失真视频序列Y,亮度比较函数l(x,y)如式(2-3)、对比度比较函数c(x,y)如式(2-4)、结构相似性比较函数s(x,y)如式(2-5),综合计算结果如式(2-6)。
亮度比较:式(2-3)
对比度比较:式(2-4)
结构相似性比较:式(2-5)
SSIM=[(l(x,y)]α·[(c(x,y)]β·[s(x,y)]γ式(2-6)
其中:
式(2-7)
式(2-8)
式(2-9)
式(2-10)
式(2-11)
其中,μx和μy是原始视频序列和失真视频序列的平均亮度,δx和δy是原始视频序列和失真视频序列的标准差,δxy是原始视频序列和失真视频序列的协方差。传统的结构相似性计算是从统计学上基于图像计算的,像素间的相关性差,不能很好的评价人的主观感受。考虑到人眼的视觉掩盖效应,本文将图像的边缘特征和SSIM相结合,形成新的评价指标,基于边缘信息的结构相似性指标ESSIM(Edge-SSIM),原理如图3所示。对视频图像进行Sobel边缘检测,计算梯度图像的边缘信息作为结构相似性的第四个参数。常用的检测算子[71]是从水平方向0°和垂直方向90°两个方向进行检测,如式(2-12)和式(2-13)。为了保证可以检测到所有的边缘,本发明采用该了的4方向检测算子,增加了45°方向和135°方向,如式(2-14)和式(2-15)。分别对亮度、色度按照梯度算子进行4个边缘提取,定义合成的G为4个方向的边缘强度值,如式(2-16)。
式(2-12)
式(2-13)
式(2-14)
式(2-15)
式(2-16)
计算所得的边缘强度值G,作为图像的边缘信息,计算边缘图像的边缘能量e(x,y),如式(2-17):
边缘能量:式(2-17)
其中,θxy表示原始视频序列和失真视频序列的边缘图像的灰度协方差,θx和θy表示原始视频序列和失真视频序列的边缘图像的灰度方差。
改进算法的综合结果如式(2-18):
ESSIM(x,y)=[(l(x,y)]α·[(c(x,y)]β·[s(x,y)]γ·[e(x,y)]κ式(2-18)
c1,c2,c3,c4是为了避免分母为0而设的常数,本文均取0;α,β,γ,κ为权值调整,均取1。
所以,本发明的边缘结构相似性计算公式如式(2-19):
式(2-19)
本发明计算了亮度Y的ESSIM值,计算每帧图像每个像素的ESSIM值,所有像素的平均值为帧的ESSIM值,所有帧的平均值为失真视频序列的ESSIM值。ESSIM值越大,失真视频与原始视频的差异越小。
(3)清晰度PSV
该指标只是定量计算视频清晰度,仅对失真视频序列图像帧中的每个像素周围的灰度扩散情况进行统计计算,属于无参考模型。因此该算法公式如下:
式(2-20)
其中,m、n为视频长和宽,df为视频亮度的变化幅度,dx为视频帧像素间的距离增量。对视频帧中每一像素点取8邻域点,依次进行亮度差值计算,并对8个差值加权求和。根据距离目标像素点的距离计算加权的大小取,距离较远的权值越小。
如图4所示,8邻域点中45°(3、6)和135°(1、8)方向的像素点距离较远,亮度差值需除以0°(4、5)和90°(2、7)方向的像素点距离较近,权值取为1。8个邻域点的亮度差值加权和如式(2-21):
式(2-21)
此算法是对每个像素点周围的灰度扩散程度的统计,本发明计算了亮度Y的PSV值,计算每帧图像每个像素的PSV值,所有像素的平均值为帧的PSV值,所有帧的平均值为失真视频序列的PSV值。PSV值越大,视频扩散程度越剧烈,视频图像也就越清晰,失真视频与原始视频的差异越小。
(4)空时域指标IMB
视频图像在传输中,除了诸如马赛克、模糊、噪音等空域质量损失外,还会有画面跳跃、凝滞等时域质量的损失,综合考虑视频的空域信息和时域信息是研究视频质量评价的趋势,本课题重点考虑了空域中的模糊度、块效应和时域中的运动性指标,作为第四个评价指标。
模糊度,是人眼对视频布局的主观细节感受,视频图像模糊度B(k)计算如式(2-22),通过式(2-23)计算整个视频的模糊度值,其中Nk为视频图像k的像素数,F为视频的帧数,f(x,y)为像素(x,y)的灰度值,S为最大灰度级,模糊度值B越大,视频越模糊。
式(2-22)
式(2-23)
块效应,即解码图像的块边界的不连续现象。当前大多数的压缩算法都是将图像分为8×8的像素块后采用DCT算法把将空域信息转换到频率域[73]。因此,块效应是检测视频图像质量的一个重要空域指标。首先将视频帧分成8×8的像素块,相邻的两个水平像素块如图5所示。
计算水平相邻两个像素块边界处的亮度差值,如式(2-24):
式(2-24)
d1(m,n)=a(m,n+1)-a(m,n)式(2-25)
式(2-26)
其中,a(m,n)为边界像素点的亮度值,d1(m,n)为相邻两块边界处的绝对亮度差,d2(m,n)为相邻两块靠近边界的亮度差均值。用同样的方法计算垂直相邻的两个像素块边界处的亮度差值Dh。人眼视觉系统对块效应具有掩盖效应以及非线性,引入韦伯-费克内定律[74],可以得到视频帧的像素块效应函数公式如式(2-27)和式(2-28):
式(2-27)
式(2-28)
定义,Dv或Dh为0时,Iv和Ih为0。其中,k=1,L0,α为常数,取值为150和2,阈值T=0.02L,L为视频帧背景的平均亮度值,Iv为水平相邻像素块的块效应值,Ih为垂直相邻像素块的块效应值。视频帧的块效应就是将所有水平方向和垂直方向的块效应累加求得,如式(2-29),对视频帧块效应求平均得到整个视频的块效应值,如式(2-30)。
式(2-29)
式(2-30)
其中,Np为视频帧的像素数,M×N为视频帧中8×8像素块的个数,F为视频的帧数。
选用运动性指标MA[75](MotionActivity)描述视频的运行信息,计算相邻两帧亮度的平均绝对差值MAD(MeanAbsoluteDifference)作为视频的运动性指标,如式(2-31):
式(2-31)
其中,Nk为视频帧的像素数,Lk(x,y)为第k帧中像素(x,y)的灰度值,对视频帧MA值求平均得到整个视频的运动性指标结果,如式(2-32)。
式(2-32)
综合以上三个指标,得到视频质量客观评价的第四个指标,研究表明,视频图像空域细节中块效应对视频图像质量的影响较大[76],故将块效应分配更多的权重,如式(2-33)。该值越大,视频质量越差。
IMB=0.5I+0.3M+0.2B式(2-33)
以上所述的实施例仅仅是对本发明的优选实施方式进行描述,并非对本发明的范围进行限定,在不脱离本发明设计精神的前提下,本领域普通工程技术人员对本发明的技术方案作出的各种变形和改进,均应落入本发明的权利要求书确定的保护范围内。

Claims (1)

1.一种多重数据处理的视频质量评价系统,其包括视频质量客观评价系统以及视频质量综合评价系统,其特征在于:
视频质量客观评价系统,其包括峰值信噪比计算单元、边缘结构相似性计算单元、清晰度计算单元、空时域值计算单元以及客观评价数据处理单元,所述客观评价数据处理单元与峰值信噪比计算单元、边缘结构相似性计算单元、清晰度计算单元、空时域值计算单元连接;
所述峰值信噪比计算单元,其通过公式:计算峰值信噪比PSNR,其中,其中xi表示原始视频和失真视频帧中的像素值,M、N为视频的长和宽;
所述边缘结构相似性计算单元,其基于视频亮度、对比度和结构相似性三个参数计算边缘结构相似性ESSIM;
所述清晰度计算单元,其通过公式:计算清晰度,其中,m、n为视频长和宽,df为视频亮度的变化幅度,dx为视频帧像素间的距离增量;
所述空时域值计算单元,其基于空域中的模糊度、块效应和时域中的运动性指标计算空时域指标IMB;
所述客观评价数据处理单元,其包括原始数据评价矩阵构建单元、标准化矩阵构建单元、权重计算单元;所述客观评价数据处理单元接收峰值信噪比计算单元、边缘结构相似性计算单元、清晰度计算单元、空时域值计算单元计算的结果作为原始数据;
所述原始数据评价矩阵构建单元,其对包含峰值信噪比、边缘结构相似性、清晰度、空时域值的原始数据处理,以构建评价矩阵;
所述标准化矩阵构建单元,其使用效用函数对包含原始数据的评价矩阵进行标准化转换,以构建标准化矩阵;
所述权重计算单元,其对标准化矩阵中各个标准化指标进行权重计算,主要完成评价指标熵的计算以及评价指标熵权的计算;
所述客观评价数据处理单元,其通过对原始数据评价矩阵构建单元、标准化矩阵构建单元以及权重计算单元计算结果的处理进而得到客观评价结果;
所述视频质量综合评价系统,其包括主观评价结果接收模块、客观评价结果接收模块、第二原始数据评价矩阵构建单元、第二标准化矩阵构建单元、第二权重计算单元;所述主观评价结果接收模块接收用户传送的主观评价结果,所述客观结果接收模块与视频质量客观评价系统连接以接收客观评价结果,所述视频质量综合评价系统将接收到的主观评价结果和客观评价结果作为第二原始数据;
所述第二原始数据评价矩阵构建单元,其对包含主观评价结果和客观评价结果的第二原始数据处理,以构建第二评价矩阵;
所述第二标准化矩阵构建单元,其使用第二效用函数对包含第二原始数据的第二评价矩阵进行标准化转换,以构建第二标准化矩阵;
所述第二权重计算单元,其对第二标准化矩阵中各个标准化指标进行权重计算,主要完成第二评价指标熵的计算以及第二评价指标熵权的计算;
所述视频质量综合评价系统,其通过对第二原始数据评价矩阵构建单元、第二标准化矩阵构建单元以及第二权重计算单元计算结果的处理进而得到综合结果。
CN201510435336.5A 2015-07-22 2015-07-22 一种多重数据处理的视频质量评价系统 Expired - Fee Related CN105163106B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510435336.5A CN105163106B (zh) 2015-07-22 2015-07-22 一种多重数据处理的视频质量评价系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510435336.5A CN105163106B (zh) 2015-07-22 2015-07-22 一种多重数据处理的视频质量评价系统

Publications (2)

Publication Number Publication Date
CN105163106A true CN105163106A (zh) 2015-12-16
CN105163106B CN105163106B (zh) 2017-04-12

Family

ID=54803847

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510435336.5A Expired - Fee Related CN105163106B (zh) 2015-07-22 2015-07-22 一种多重数据处理的视频质量评价系统

Country Status (1)

Country Link
CN (1) CN105163106B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106060537A (zh) * 2016-08-04 2016-10-26 腾讯科技(深圳)有限公司 一种视频质量评估方法及装置
CN107743226A (zh) * 2017-11-06 2018-02-27 潘柏霖 一种监测准确的环境监测系统
CN107833433A (zh) * 2017-11-06 2018-03-23 龚土婷 一种预警准确的山区自然灾害预警系统
CN107948649A (zh) * 2016-10-12 2018-04-20 北京金山云网络技术有限公司 一种基于主观质量模型的视频编码方法及装置
CN108234995A (zh) * 2016-12-21 2018-06-29 中国移动通信有限公司研究院 一种视频质量评测的方法及测试服务器
CN110366043A (zh) * 2019-08-20 2019-10-22 北京字节跳动网络技术有限公司 视频处理方法、装置、电子设备及可读介质
CN111311584A (zh) * 2020-02-24 2020-06-19 北京百度网讯科技有限公司 视频质量评估方法及装置、电子设备、可读介质
CN114332082A (zh) * 2022-03-07 2022-04-12 飞狐信息技术(天津)有限公司 清晰度的评价方法、装置、电子设备及计算机存储介质
CN114584849A (zh) * 2019-09-24 2022-06-03 腾讯科技(深圳)有限公司 视频质量评估方法、装置、电子设备及计算机存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1422498A (zh) * 2000-12-12 2003-06-04 皇家菲利浦电子有限公司 提供一个可分级动态客观量度的自动视频质量评价的系统和方法
US20050105802A1 (en) * 2003-11-14 2005-05-19 Hekstra Andries P. Method and an arrangement for objective assessment of video quality
US20080143837A1 (en) * 2004-10-18 2008-06-19 Nippon Telegraph And Telephone Corporation Video Quality Objective Assessment Device, Assessment Method, and Program
CN101404778A (zh) * 2008-07-16 2009-04-08 河北师范大学 综合的无参考视频质量评价方法
CN102421007A (zh) * 2011-11-28 2012-04-18 浙江大学 基于多尺度结构相似度加权综合的图像质量评价方法
CN103179592A (zh) * 2013-03-20 2013-06-26 南京邮电大学 基于树形分层结构的QoE综合评价方法
CN104023227A (zh) * 2014-05-28 2014-09-03 宁波大学 一种基于空域和时域结构相似性的视频质量客观评价方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1422498A (zh) * 2000-12-12 2003-06-04 皇家菲利浦电子有限公司 提供一个可分级动态客观量度的自动视频质量评价的系统和方法
US20050105802A1 (en) * 2003-11-14 2005-05-19 Hekstra Andries P. Method and an arrangement for objective assessment of video quality
US20080143837A1 (en) * 2004-10-18 2008-06-19 Nippon Telegraph And Telephone Corporation Video Quality Objective Assessment Device, Assessment Method, and Program
CN101404778A (zh) * 2008-07-16 2009-04-08 河北师范大学 综合的无参考视频质量评价方法
CN102421007A (zh) * 2011-11-28 2012-04-18 浙江大学 基于多尺度结构相似度加权综合的图像质量评价方法
CN103179592A (zh) * 2013-03-20 2013-06-26 南京邮电大学 基于树形分层结构的QoE综合评价方法
CN104023227A (zh) * 2014-05-28 2014-09-03 宁波大学 一种基于空域和时域结构相似性的视频质量客观评价方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
原菲,等: "移动智能终端视频质量评价的应用研究", 《包装世界》 *
王佳,司占军: "图像质量评测流程的设计与应用研究", 《包装工程》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106060537B (zh) * 2016-08-04 2019-08-13 腾讯科技(深圳)有限公司 一种视频质量评估方法及装置
CN106060537A (zh) * 2016-08-04 2016-10-26 腾讯科技(深圳)有限公司 一种视频质量评估方法及装置
CN107948649B (zh) * 2016-10-12 2020-07-03 北京金山云网络技术有限公司 一种基于主观质量模型的视频编码方法及装置
CN107948649A (zh) * 2016-10-12 2018-04-20 北京金山云网络技术有限公司 一种基于主观质量模型的视频编码方法及装置
CN108234995A (zh) * 2016-12-21 2018-06-29 中国移动通信有限公司研究院 一种视频质量评测的方法及测试服务器
CN108234995B (zh) * 2016-12-21 2019-08-13 中国移动通信有限公司研究院 一种视频质量评测的方法及测试服务器
CN107833433A (zh) * 2017-11-06 2018-03-23 龚土婷 一种预警准确的山区自然灾害预警系统
CN107743226A (zh) * 2017-11-06 2018-02-27 潘柏霖 一种监测准确的环境监测系统
CN110366043A (zh) * 2019-08-20 2019-10-22 北京字节跳动网络技术有限公司 视频处理方法、装置、电子设备及可读介质
CN114584849A (zh) * 2019-09-24 2022-06-03 腾讯科技(深圳)有限公司 视频质量评估方法、装置、电子设备及计算机存储介质
CN114584849B (zh) * 2019-09-24 2023-05-05 腾讯科技(深圳)有限公司 视频质量评估方法、装置、电子设备及计算机存储介质
CN111311584A (zh) * 2020-02-24 2020-06-19 北京百度网讯科技有限公司 视频质量评估方法及装置、电子设备、可读介质
CN111311584B (zh) * 2020-02-24 2023-06-23 北京百度网讯科技有限公司 视频质量评估方法及装置、电子设备、可读介质
CN114332082A (zh) * 2022-03-07 2022-04-12 飞狐信息技术(天津)有限公司 清晰度的评价方法、装置、电子设备及计算机存储介质
CN114332082B (zh) * 2022-03-07 2022-05-27 飞狐信息技术(天津)有限公司 清晰度的评价方法、装置、电子设备及计算机存储介质

Also Published As

Publication number Publication date
CN105163106B (zh) 2017-04-12

Similar Documents

Publication Publication Date Title
CN105100789A (zh) 一种视频质量评价方法
CN105163106A (zh) 一种多重数据处理的视频质量评价系统
Wang et al. Multiscale structural similarity for image quality assessment
CN100559880C (zh) 一种基于自适应st区的高清视频图像质量评价方法及装置
CN101282481A (zh) 一种基于人工神经网络的视频质量评价方法
CN108428227A (zh) 基于全卷积神经网络的无参考图像质量评价方法
Wang et al. Novel spatio-temporal structural information based video quality metric
CN101783971B (zh) 一种视频质量主观测试方法
CN107027023A (zh) 基于神经网络的VoIP无参考视频通信质量客观评价方法
CN104023229B (zh) 非接触式影像系统性能检测方法及系统
CN104123519A (zh) 一种采用二维码进行电子产品自动检测的系统和方法
CN106375754B (zh) 基于视觉刺激衰减特性的无参考视频质量评估方法
CN112434680B (zh) 智能摄像头模型自训练方法、装置、设备及介质
CN108961227A (zh) 一种基于空域和变换域多特征融合的图像质量评价方法
CN106780446A (zh) 一种无参考混合失真图像质量评价方法
CN112434681A (zh) 智能摄像头自训练置信度阈值选择方法、装置及设备
CN117857779B (zh) 一种基于物联网的设备数字化巡检方法
Onuoha et al. An Evaluation of Quality Metrics for Neural Radiance Field
CN101895787B (zh) 一种视频编码性能主观评价方法及系统
CN105959685B (zh) 一种基于视频内容及聚类分析的压缩码率预测方法
Seshadrinathan et al. New vistas in image and video quality
CN114071233B (zh) 音视频质量评价方法及其装置、设备、介质、产品
Zhu et al. Siqd: Surveillance image quality database and performance evaluation for objective algorithms
CN112700425A (zh) 一种用于电力设备x射线图像质量的判定方法
Loukil et al. A new image quality metric using system visual human characteristics

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170412

Termination date: 20170722