CN106412571B - 一种基于梯度相似性标准差的视频质量评价方法 - Google Patents

一种基于梯度相似性标准差的视频质量评价方法 Download PDF

Info

Publication number
CN106412571B
CN106412571B CN201610891465.XA CN201610891465A CN106412571B CN 106412571 B CN106412571 B CN 106412571B CN 201610891465 A CN201610891465 A CN 201610891465A CN 106412571 B CN106412571 B CN 106412571B
Authority
CN
China
Prior art keywords
video
frame
difference
present frame
quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610891465.XA
Other languages
English (en)
Other versions
CN106412571A (zh
Inventor
张淑芳
黄小琴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201610891465.XA priority Critical patent/CN106412571B/zh
Publication of CN106412571A publication Critical patent/CN106412571A/zh
Application granted granted Critical
Publication of CN106412571B publication Critical patent/CN106412571B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于梯度相似性标准差的视频质量评价方法，步骤一、计算帧差的梯度相似度矩阵；步骤二、计算视频当前帧的时域失真程度；步骤三、计算视频当前帧的空域失真程度；计算当前帧的失真程度；计算视频序列的质量。与现有技术相比，本发明提出的基于梯度相似性标准差的视频质量评价评价算法旨在提高视频客观质量评价与人眼的主观质量评价的一致性；该算法对于不同的失真类型、不同的场景均能够有较好的视频评价性能，并且该算法具有较低的复杂度，能够实现实时质量评价。

Description

一种基于梯度相似性标准差的视频质量评价方法
技术领域
本发明涉及视频技术领域，特别是涉及一种视频质量评价领域。
背景技术
视频质量评价对视频的获取、压缩、传输以及存储有着极其重要的作用。视频质量评价主要分为主观质量评价和客观质量评价。前者主要通过观察者对失真视频的主观感受来衡量视频质量；后者主要利用算法来衡量视频质量。主观质量评价的准确性高，但是容易受到周围环境的影响，费时费力。因此，在实际应用中，通常采用客观评价算法来自动预测视频的质量，并且利用主观质量来对客观算法的性能进行衡量。
客观质量评价方法主要分为两种：信号保真度的测量方法(Signal FidelityMeasures)和基于视觉感知的质量评估方法(perceptual visual quality metrics,PVQMs)。其中，信号保真度的测量方法如均方误差MSE和峰值信噪比方法PSNR等。基于视觉感知的质量评估方法如C.van den Branden Lambrech等人提出来的运动图像质量方法(MPQM)、S.Winkler等人提出来的感知失真方法(PDM)等。由于人眼视觉系统的复杂性，这些方法并没有与主观质量评价结果具有很好的一致性。总体而言，虽然视频质量评价虽然取得了一定的进展，但是依然存在着许多技术难题，需要进一步的发展与完善。
Wufeng Xue等人利用局部梯度相似度与标准差的方法，提出一种基于梯度相似度标准差(Gradient Magnitude Similarity Deviation,GMSD)的图像质量评价方法，该算法能够快速而又较为准确的预测失真图像的质量。Woei-Tan Loh等人利用视频当前帧与前两帧的帧差和结构相似度(Structural Similarity Index，SSIM)，提出一种基于SSIM的视频质量时域评价方法，该评价方法能够较好的拟合人眼视觉系统(HVS)的时域感知变化。
发明内容
基于现有技术，本发明提出了一种基于梯度相似性标准差的视频质量评价方法，借鉴GMSD在空域计算图像质量评价的方法与视频质量时域评价方法的人眼视觉系统的时域感知变化计算方法，采用最差情况权重池化策略(worst-case pooling strategy)对两种方法进行融合。
一种基于梯度相似性标准差的视频质量评价方法，该方法包括以下步骤：
步骤一、计算帧差的梯度相似度矩阵，即分别计算m1(i)、m3(i)的梯度相似度矩阵GMS1(i)与m2(i)、m4(i)的梯度相似度矩阵GMS2(i)：
其中，T表示正常数；m1(i)、m2(i)、m3(i)、m4(i)表示difference矩阵中每一点的梯度值，结合水平方向与垂直方向的Prewitt算子hx、hy，遵循以下计算公式
其中，i表示difference矩阵中像素点的位置，表示卷积；参考视频当前帧分别与参考视频当前帧的前两帧的帧差difference1、difference2，失真视频当前帧分别与参考视频当前帧的前两帧的帧差difference3、difference4；
步骤二、计算视频当前帧的时域失真程度，即
当前帧的梯度相似性标准差GMSD1(x)、GMSD2(x)，计算公式如下：
其中，N为difference矩阵中像素点的个数，x表示当前帧的位置，x＝3.......F-3，F表示视频序列的总帧数；
步骤三、计算视频当前帧的空域失真程度，即获取参考帧与失真帧的梯度相似度矩阵S-GMS(i)以及当前帧的空域质量SQ(x)：
mr(i)、md(i)分别为获取参考帧与失真帧的每一点梯度值，计算公式如下：
假设参考视频的当前帧为ri，失真视频的当前帧为di；
步骤四、计算当前帧的失真程度
步骤五、计算视频序列的质量，即假设视频序列中每一帧的质量为Q＝{Q(3),Q(4),......Q(F-3)}，对每一帧视频质量从小到大进行排序，越大的Q(x)值表示当前帧的失真程度越大，取Q中值最大失真程度的H％，则视频序列的失真程度表示如下：
其中，H表示最大失真程度的H％中的值，NH为H中元素的数量。
与现有技术相比，本发明提出的基于梯度相似性标准差的视频质量评价评价算法旨在提高视频客观质量评价与人眼的主观质量评价的一致性。该算法对于不同的失真类型、不同的场景均能够有较好的视频评价性能，并且该算法具有较低的复杂度，能够实现实时质量评价。
附图说明
图1是本发明的基于梯度相似性标准差的视频质量评价评价方法模型框图；
图2是视频质量评价方法的客观评分与DMOS的拟合曲线。
具体实施方式
下面结合附图对本发明作进一步详细描述：
相比较静态图像，视频序列具有较为复杂的时域相关特性，人眼视觉系统对于视频质量的评价，除考虑视频单帧图像的空域感知特性之外，还要考虑视觉系统的时域感知特性，因此，本发明在图像质量评价方法GMSD中引入视频帧差的方法来模拟视觉系统的时域感知变化，从而计算视频序列的空域与时域的失真程度，提出一种基于梯度相似性标准差的视频质量评价评价模型，将最终得到的值作为视频失真程度的评分。
如图1所示，该方法的具体实现步骤如下：
第一步：计算帧差的梯度相似度矩阵
假设参考视频的当前帧为ri，前两帧分别为ri-1、ri-2,失真视频的当前帧为di，则参考视频分别与前两帧的帧差difference1、difference2，失真视频分别与参考视频前两帧的帧差difference3、difference4的计算分别为：
结合水平方向与垂直方向的Prewitt算子hx、hy，计算difference矩阵中每一点的梯度值m1(i)、m2(i)、m3(i)、m4(i)：
其中，i表示difference矩阵中像素点的位置，表示卷积。
分别计算m1、m3的梯度相似度矩阵GMS1(i)与m2、m4的梯度相似度矩阵GMS2(i)：
其中，T表示正常数。
第二步：计算视频当前帧的时域失真程度
结合梯度相似度GMS1(i)、GMS2(i)，分别计算当前帧的梯度相似性标准差GMSD1(x)、GMSD2(x)：
其中，N为difference矩阵中像素点的个数，x表示当前帧的位置，x＝3.......F-3，F表示视频序列的总帧数。
第三步：计算视频当前帧的空域失真程度
假设参考视频的当前帧为ri，失真视频的当前帧为di，以公式(2)、(3)的方法分别获取参考帧与失真帧的每一点梯度值mr(i)、md(i)：
以公式(4)、(6)的方法获取参考帧与失真帧的梯度相似度矩阵S-GMS(i)以及当前帧的空域质量SQ(x)：
第四步：计算当前帧的失真程度
第五步：计算视频序列的质量
假设视频序列中每一帧的质量为Q＝{Q(3),Q(4),......Q(F-3)}，对每一帧视频质量从小到大进行排序，越大的Q(x)值表示当前帧的失真程度越大，取Q中值最大失真程度的H％，则视频序列的失真程度
其中，H表示最大失真程度的H％中的值，NH为H中元素的数量。
最佳实施方式
1)拟选取T＝170，H＝40
2)然后按照公式(1)分别计算失真视频当前帧与参考视频当前帧、前一帧、前两帧的帧差，并对所获得的帧差首先利用2×2的均值滤波器进行滤波，再对已经滤波后的矩阵进行下采样，下采样因子为2。
3)对已经经过均值滤波、下采样后的帧差利用公式(2)-(11)分别计算空域失真程度、时域失真程度和单帧视频质量，利用公式(12)的最差权重池化最终权重池化策略，从而获取最终视频的质量。
4)性能测试
所提出的质量评价方法选用LIVE视频数据库进行测试，其中包含有10种不同场景的参考视频以及150个失真视频序列。每种视频源包括4种不同水平的失真类型(Wireless失真、IP失真、H.264压缩和MPEG-2压缩)，IP失真有3种不同水平，而其余三种失真类型均各自有4中不同程度的失真，即每种场景下的参考视频都含有15个失真视频。本算法使用视频质量专家组(VQEG)提出的4种评价指标：斯皮尔曼等级次序相关系数(SROCC)、肯德尔等级次序相关系数(KROCC)、皮尔森线性相关系数(PLCC)和均方根误差RMSE作为评价算法性能的指标。较大的SROCC值、KROCC值、PLCC值和较小的RMSE值表示视频质量评价算法具有较好的准确性和一致性。表1给出了所提算法对不同失真类型视频的评价性能，可以看出，本发明提出的算法对在对各种失真类型视频都具有很好的性能，具有较好的鲁棒性。表二给出了所提出算法对于150个失真视频的评价性能，可以看出该算法具有很好的通用性。表三给出了该算法对于一个250帧视频pa2_25fps.yuv的运行时间，表明了该算法可用于视频的实时评价。
表1、所提出的算法对不同失真类型视频的评价性能
表2、所提出的算法对LIVE库中150个失真视频的总体评价性能
表3、所提出的算法对一个live库中pa2_25fps.yuv视频的运行时间
图2为本文所提视频质量评价模型分别与LIVE数据库中150个失真视频主观评分(DMOS)的一致性对比图。图中横坐标为视频序列的客观评分，纵坐标为视频序列的主观评分，黑色的实线是Logistic函数对视频序列的客观评价结果与主观数据的非线性拟合曲线。如果蓝色的离散点能够均匀分布在拟合曲线上并且为单调曲线则认为评价算法性能较好，从中可以看出，本算法与人眼主观质量评价结果具有较好的一致性。

Claims (1)

1.一种基于梯度相似性标准差的视频质量评价方法，其特征在于，该方法包括以下步骤：
步骤一、计算帧差的梯度相似度矩阵，即分别计算m1(i)、m3(i)的梯度相似度矩阵GMS1(i)与m2(i)、m4(i)的梯度相似度矩阵GMS2(i)：
其中，T表示正常数；m1(i)、m2(i)、m3(i)、m4(i)表示difference矩阵中每一点的梯度值，结合水平方向与垂直方向的Prewitt算子hx、hy，遵循以下计算公式
其中，i表示difference矩阵中像素点的位置，表示卷积；参考视频当前帧分别与参考视频当前帧的前两帧的帧差difference1、difference2，失真视频当前帧分别与参考视频当前帧的前两帧的帧差difference3、difference4；
步骤二、计算视频当前帧的时域失真程度，即
当前帧的梯度相似性标准差GMSD1(x)、GMSD2(x)，计算公式如下：
其中，N为difference矩阵中像素点的个数，x表示当前帧的位置，x＝3.......F-3，F表示视频序列的总帧数；
步骤三、计算视频当前帧的空域失真程度，即获取参考帧与失真帧的梯度相似度矩阵S-GMS(i)以及当前帧的空域质量SQ(x)：
mr(i)、md(i)分别为获取参考帧与失真帧的每一点梯度值，计算公式如下：
假设参考视频的当前帧为ri，失真视频的当前帧为di；
步骤四、计算当前帧的失真程度：
步骤五、计算视频序列的质量，即假设视频序列中每一帧的质量为Q＝{Q(3),Q(4),......Q(F-3)}，对每一帧视频质量从小到大进行排序，越大的Q(x)值表示当前帧的失真程度越大，取Q中值最大失真程度的H％，则视频序列的失真程度表示如下：
其中，H表示最大失真程度的H％中的值，NH为H中元素的数量。
CN201610891465.XA 2016-10-12 2016-10-12 一种基于梯度相似性标准差的视频质量评价方法 Active CN106412571B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610891465.XA CN106412571B (zh) 2016-10-12 2016-10-12 一种基于梯度相似性标准差的视频质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610891465.XA CN106412571B (zh) 2016-10-12 2016-10-12 一种基于梯度相似性标准差的视频质量评价方法

Publications (2)

Publication Number Publication Date
CN106412571A CN106412571A (zh) 2017-02-15
CN106412571B true CN106412571B (zh) 2018-06-19

Family

ID=59229698

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610891465.XA Active CN106412571B (zh) 2016-10-12 2016-10-12 一种基于梯度相似性标准差的视频质量评价方法

Country Status (1)

Country Link
CN (1) CN106412571B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107659806B (zh) * 2017-08-22 2019-08-16 华为技术有限公司 视频质量的评估方法和装置
CN111626974B (zh) * 2019-02-28 2024-03-22 苏州润迈德医疗科技有限公司 冠状动脉造影图像序列的质量评分方法和装置
CN110365966B (zh) * 2019-06-11 2020-07-28 北京航空航天大学 一种基于视窗的视频质量评价方法及装置
CN113255789B (zh) * 2021-05-31 2023-01-24 西安电子科技大学 基于对抗网络和多被试脑电信号的视频质量评价方法
CN114332088B (zh) * 2022-03-11 2022-06-03 电子科技大学 一种基于运动估计的全参考视频质量评估方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104159104A (zh) * 2014-08-29 2014-11-19 电子科技大学 基于多级梯度相似的全参考视频质量评估方法
CN105592311A (zh) * 2015-12-03 2016-05-18 天津大学 一种基于三维梯度相似性的视频质量评价算法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104159104A (zh) * 2014-08-29 2014-11-19 电子科技大学 基于多级梯度相似的全参考视频质量评估方法
CN105592311A (zh) * 2015-12-03 2016-05-18 天津大学 一种基于三维梯度相似性的视频质量评价算法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Gradient Magnitude Similarity Deviation: A Highly Efficient Perceptual Image Quality Index;Wufeng Xue等;《IEEE Transactions on Image Processing》;20131203;全文 *
Video quality assessment via gradient magnitude similarity deviation of spatial and spatiotemporal slices;Peng Yan等;《Proc. SPIE 9411, Mobile Devices and Multimedia: Enabling Technologies, Algorithms, and Applications 2015》;20150311;第684-695页 *

Also Published As

Publication number Publication date
CN106412571A (zh) 2017-02-15

Similar Documents

Publication Publication Date Title
CN106412571B (zh) 一种基于梯度相似性标准差的视频质量评价方法
CN107483920B (zh) 一种基于多层级质量因子的全景视频评估方法及系统
CN108428227B (zh) 基于全卷积神经网络的无参考图像质量评价方法
CN109559276B (zh) 一种基于质量评价和特征统计的图像超分辨率重建方法
Le Callet et al. A convolutional neural network approach for objective video quality assessment
CN104811691B (zh) 一种基于小波变换的立体视频质量客观评价方法
JP5635677B2 (ja) 高ダイナミックレンジ、視覚ダイナミックレンジおよび広色範囲の画像およびビデオの品質評価
CN109191460B (zh) 一种对于色调映射图像的质量评价方法
CN103281554B (zh) 一种基于人眼视觉特性的视频客观质量评价方法
CN108335289A (zh) 一种全参考融合的图像客观质量评价方法
CN109218716B (zh) 基于色彩统计和信息熵无参考色调映射图像质量评价方法
CN105635743A (zh) 基于显著性检测和全变分的最小可察觉失真方法及系统
CN112950596B (zh) 基于多区域多层次的色调映射全向图像质量评价方法
Fan et al. Picture-level just noticeable difference for symmetrically and asymmetrically compressed stereoscopic images: Subjective quality assessment study and datasets
CN108322733B (zh) 一种无参考高动态范围图像客观质量评价方法
CN110910347A (zh) 一种基于图像分割的色调映射图像无参考质量评价方法
CN105894507B (zh) 基于图像信息量自然场景统计特征的图像质量评价方法
CN101389045B (zh) 一种图像质量的评测方法及装置
CN112508847A (zh) 一种基于深度特征与结构加权lbp特征的图像质量评价方法
Poreddy et al. BVRIQE: A completely blind no reference virtual reality image quality evaluator
CN107590796B (zh) 基于稀疏分解残差的全参考混合失真图像质量评价方法
CN109191431A (zh) 基于特征相似度的高动态彩色图像质量评价方法
CN105592311B (zh) 一种基于三维梯度相似性的视频质量评价算法
Fu et al. Full-reference video quality assessment based on spatiotemporal visual sensitivity
CN107809631A (zh) 基于背景消除的小波域视频质量评价方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant