CN114332088A - 一种基于运动估计的全参考视频质量评估方法 - Google Patents

一种基于运动估计的全参考视频质量评估方法 Download PDF

Info

Publication number
CN114332088A
CN114332088A CN202210249222.1A CN202210249222A CN114332088A CN 114332088 A CN114332088 A CN 114332088A CN 202210249222 A CN202210249222 A CN 202210249222A CN 114332088 A CN114332088 A CN 114332088A
Authority
CN
China
Prior art keywords
video
frame
distorted
distortion
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210249222.1A
Other languages
English (en)
Other versions
CN114332088B (zh
Inventor
朱树元
胡术明
曾兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202210249222.1A priority Critical patent/CN114332088B/zh
Publication of CN114332088A publication Critical patent/CN114332088A/zh
Application granted granted Critical
Publication of CN114332088B publication Critical patent/CN114332088B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于全参考视频质量评估领域，具体提供一种基于运动估计的全参考视频质量评估方法，首先计算了失真在空间上对视频内容梯度信息造成的改变，并通过两步时间池化方式，得到视频的空间失真分数值；然后通过对运动矢量图局部均值与标准差变异系数的差异，以及相邻帧同一位置运动矢量的变异系数差异，并与空间失真特征进行融合，得到视频的时空失真分数值；最后通过将空间失真分数值与时空失真分数值进行融合，得到最终的视频质量预测值；本发明将运动信息引入视频质量评估方法中，能够显著增强视频质量预测的准确性，进而获得与人眼主观感受一致性更强的客观视频质量评估方法。

Description

一种基于运动估计的全参考视频质量评估方法
技术领域
本发明属于全参考视频质量评估领域，具体提供一种利用运动估计的全参考视频质量评估方法。
背景技术
随着网络技术的高速发展，越来越多的视频在网络上传播；视频在拍摄、编码、传输的过程中，往往会引入多种多样的失真，导致视频的质量下降，严重影响用户的观看体验；如何准确的衡量视频的质量情况，对于编码领域、视频传输领域以及终端视频质量增强领域都具有重要的实际意义。
由于主观视频质量评估需要大量实验人员对视频进行逐个打分，费时费力，而且在实际场景中，很难实现对每个视频都进行主观质量评估；同时，目前经常使用的衡量视频质量的客观方法，如PSNR、SSIM，他们与人眼的主观感受相差较大，不能够很好的对视频质量进行评估。因此，设计一个与人眼主观感受更符合的客观视频质量评估方法十分重要。
发明内容
本发明的目的在于提供一种基于运动估计的全参考视频质量评估方法，用以有效提升客观视频质量评估与人眼主观感受的一致性。为实现该目的，本发明采用的技术方案如下：
一种基于运动估计的全参考视频质量评估方法，其特征在于，包括以下步骤：
步骤1. 空间失真特征提取；
步骤1.1 采用Prewitt算子计算原始视频和失真视频中每一帧的梯度幅值图；
步骤1.2 基于梯度幅值图，计算原始视频和失真视频的梯度相似度偏差值作为失真视频的空间失真特征
Figure 740156DEST_PATH_IMAGE001
；
步骤1.3对空间失真特征
Figure 701159DEST_PATH_IMAGE001
进行时间池化处理，得到空间失真分数
Figure 83730DEST_PATH_IMAGE002
；
步骤1.4 计算前后帧空间失真特征的梯度
Figure 155591DEST_PATH_IMAGE003
，对空间失真特征的梯度
Figure 471166DEST_PATH_IMAGE003
进行时间池化处理，得到空间失真分数
Figure 478436DEST_PATH_IMAGE004
；
步骤1.5 对空间失真分数
Figure 738516DEST_PATH_IMAGE002
与空间失真分数
Figure 489434DEST_PATH_IMAGE004
进行融合，得到失真视频的空间失真分数值
Figure 396866DEST_PATH_IMAGE005
；
步骤2. 时间失真特征提取；
步骤2.1 使用ARPS块运动估计算法，计算得到原始视频与失真视频中每一帧的运动矢量幅值图；
步骤2.2 基于运动矢量幅值图，计算原始视频与失真视频的局部均值和标准差，得到均值向量和标准差向量；再计算原始视频与失真视频均值向量的变异系数差值
Figure 434092DEST_PATH_IMAGE006
和标准差向量的变异系数差值
Figure 56835DEST_PATH_IMAGE007
；
步骤2.3计算当前帧的运行矢量与邻近帧运动矢量的变异系数差值
Figure 470499DEST_PATH_IMAGE008
；
步骤2.4将变异系数差值
Figure 495086DEST_PATH_IMAGE006
、变异系数差值
Figure 109738DEST_PATH_IMAGE007
与变异系数差值
Figure 344411DEST_PATH_IMAGE008
进行融合，得到失真视频的时间失真特征
Figure 171552DEST_PATH_IMAGE009
；
步骤3. 时空失真特征融合；
根据空间失真特征
Figure 175281DEST_PATH_IMAGE001
与时间失真特征
Figure 429675DEST_PATH_IMAGE009
，计算失真视频的时空失真特征
Figure 886065DEST_PATH_IMAGE010
，并基于时空失真特征
Figure 782476DEST_PATH_IMAGE010
计算失真视频的时空失真分数值
Figure 781656DEST_PATH_IMAGE011
；
步骤4. 将空间失真分数
Figure 735181DEST_PATH_IMAGE005
与时空失真分数
Figure 678867DEST_PATH_IMAGE011
融合，得到失真视频的失真分数
Figure 113390DEST_PATH_IMAGE012
。
进一步的，所述步骤1.2中，空间失真特征
Figure 826131DEST_PATH_IMAGE001
具体为：
Figure 687908DEST_PATH_IMAGE013
其中，
Figure 853310DEST_PATH_IMAGE014
表示原始视频与失真视频第
Figure 91525DEST_PATH_IMAGE015
帧的梯度相似度偏差值，
Figure 658772DEST_PATH_IMAGE016
表示原始视频第
Figure 691450DEST_PATH_IMAGE015
帧的梯度幅值图，
Figure 609728DEST_PATH_IMAGE017
表示失真视频第
Figure 120475DEST_PATH_IMAGE015
帧的梯度幅值图，
Figure 807808DEST_PATH_IMAGE018
表示像素的空间坐标，
Figure 745808DEST_PATH_IMAGE019
表示标准差，
Figure 885802DEST_PATH_IMAGE020
为预设常数。
进一步的，所述步骤1.3与步骤1.4中，时间池化处理具体为：将特征值按由大到小排序，取前30%的特征值做平均，将平均值作为时间池化的空间失真分数。
进一步的，所述步骤1.5中，失真视频的空间失真分数值具体为
Figure 465819DEST_PATH_IMAGE005
：
Figure 7659DEST_PATH_IMAGE021
。
进一步的，所述步骤2.2中，原始视频与失真视频均值向量的变异系数差值
Figure 241194DEST_PATH_IMAGE006
为：
Figure 735062DEST_PATH_IMAGE022
其中，
Figure 712245DEST_PATH_IMAGE023
为原始视频第
Figure 249537DEST_PATH_IMAGE015
帧的运动均值向量，
Figure 919553DEST_PATH_IMAGE024
为失真视频第
Figure 909505DEST_PATH_IMAGE015
帧的运动均值向量；
原始视频与失真视频标准差向量的变异系数差值
Figure 690380DEST_PATH_IMAGE007
为：
Figure 82178DEST_PATH_IMAGE025
其中，
Figure 923095DEST_PATH_IMAGE026
为原始视频第
Figure 134764DEST_PATH_IMAGE015
帧的运动均值向量，
Figure 719330DEST_PATH_IMAGE027
为失真视频第
Figure 965634DEST_PATH_IMAGE015
帧的运动均值向量。
进一步的，所述步骤2.3中，当前帧的运行矢量与邻近帧运动矢量的变异系数
Figure 977453DEST_PATH_IMAGE008
为：
Figure 676418DEST_PATH_IMAGE028
其中，
Figure 799095DEST_PATH_IMAGE029
表示原始视频第
Figure 24540DEST_PATH_IMAGE015
帧第m个局部块及其相邻帧相同位置块的运动矢量组成的向量：
Figure 82626DEST_PATH_IMAGE030
，
Figure 659101DEST_PATH_IMAGE031
表示原始视频第
Figure 457905DEST_PATH_IMAGE015
帧的运动矢量幅值图的第m个局部块；
Figure 272277DEST_PATH_IMAGE032
表示失真视频第
Figure 766844DEST_PATH_IMAGE015
帧第第m个局部块及其相邻帧相同位置块的运动矢量组成的向量：
Figure 565035DEST_PATH_IMAGE033
，
Figure 904881DEST_PATH_IMAGE034
表示失真视频第
Figure 104918DEST_PATH_IMAGE015
帧的运动矢量幅值图的第m个局部块。
进一步的，所述步骤2.4中，失真视频的时间失真特征具体为
Figure 770386DEST_PATH_IMAGE009
：
Figure 790294DEST_PATH_IMAGE035
其中，
Figure 58465DEST_PATH_IMAGE036
表示失真视频第
Figure 988375DEST_PATH_IMAGE015
帧的时间失真特征。
进一步的，所述步骤3中，失真视频的时空失真特征
Figure 683798DEST_PATH_IMAGE010
具体为：
Figure 331948DEST_PATH_IMAGE037
，
Figure 403810DEST_PATH_IMAGE038
表示失真视频第
Figure 188226DEST_PATH_IMAGE015
帧的时空失真特征；失真视频的时空失真分数值
Figure 54551DEST_PATH_IMAGE011
具体为：
Figure 924418DEST_PATH_IMAGE039
，
Figure 799970DEST_PATH_IMAGE040
为失真视频的总帧数。
进一步的，所述步骤4中，失真视频的失真分数
Figure 707402DEST_PATH_IMAGE012
具体为：
Figure 744628DEST_PATH_IMAGE041
，
Figure 367370DEST_PATH_IMAGE042
为预设次幂系数、
Figure 515455DEST_PATH_IMAGE043
。
本发明的有益效果在于：
本发明提出了一种基于运动估计的全参考视频质量评估方法，通过运动估计来获得视频的时间信息，比较失真对视频时间信息造成的改变以及空间信息造成的改变，综合来衡量失真视频的视觉质量。在本发明中，首先计算了失真在空间上对视频内容梯度信息造成的改变，并通过两步时间池化方式，得到视频的空间失真分数值；然后通过对运动矢量图局部均值与标准差变异系数的差异，以及相邻帧同一位置运动矢量的变异系数差异，并与空间失真特征进行融合，得到视频的时空失真分数值；最后通过将空间失真分数值与时空失真分数值进行融合，得到最终的视频质量预测值；人眼对运动的信息捕捉敏感，将运动特征引入质量评估方法中能够增强对视频质量的预测准确性；综上所述，本发明将运动信息引入视频质量评估方法中，能够显著增强视频质量预测的准确性，进而获得与人眼主观感受一致性更强的客观视频质量评估方法。
附图说明
图1为本发明基于运动估计的全参考视频质量评估方法的流程图。
具体实施方式
下面将结合附图对本发明得实施例中的技术方案进行清楚、完整的描述，显然，下面所描述的实施例仅是本发明一部分的实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下，所获得的所有其他实施例，都属于本发明保护的范围。
本实施例提供一种基于运动估计的全参考视频质量评估方法，其流程如图1所示，分为空间失真特征提取、时间失真特征提取、时空失真特征融合三个部分；具体步骤如下：
步骤1. 空间失真特征提取；
步骤1.1空间失真特征采取梯度相似度偏差，利用Prewitt梯度算子计算原始视频和失真视频每帧的梯度幅值图，记原始视频第
Figure 399097DEST_PATH_IMAGE015
帧的梯度幅值图为
Figure 482591DEST_PATH_IMAGE016
，失真视频第
Figure 451684DEST_PATH_IMAGE015
帧的梯度幅值图为
Figure 544405DEST_PATH_IMAGE017
；
步骤1.2 对于每帧的梯度幅值图，计算原始视频和失真视频每一帧的梯度相似度；每一帧所有位置梯度相似度取标准差作为失真视频的空间失真特征
Figure 16974DEST_PATH_IMAGE001
，第
Figure 536949DEST_PATH_IMAGE015
帧空间失真特征
Figure 993338DEST_PATH_IMAGE014
计算方式如下：
Figure 624170DEST_PATH_IMAGE013
其中，
Figure 482405DEST_PATH_IMAGE018
表示像素的空间坐标，
Figure 32335DEST_PATH_IMAGE019
表示标准差，
Figure 585807DEST_PATH_IMAGE020
为预设常数、用以仿真分母为零；
步骤1.3 对空间失真特征
Figure 144964DEST_PATH_IMAGE001
进行第一步时间池化操作；
人眼在观看视频过程中，对低质量的视频帧敏感，视频的总体质量受到最差的部分视频帧影响；首先，对所有帧的空间失真特征
Figure 733072DEST_PATH_IMAGE001
由大到小排序，取前30%做平均，将平均值作为低质量视频帧失真情况的表征，记为
Figure 453903DEST_PATH_IMAGE002
；
步骤1.4 对空间失真特征
Figure 757321DEST_PATH_IMAGE001
进行第二步时间池化操作；
人眼在观看视频中，对视频帧质量升高和降低的敏感度不同，将视频质量波动引入质量评估模型是很有必要的；计算前后帧空间失真特征的梯度，并对帧质量升高和降低的情况赋以不同权重，空间失真特征的梯度
Figure 854590DEST_PATH_IMAGE003
计算如下：
Figure 297204DEST_PATH_IMAGE044
其中，
Figure 454516DEST_PATH_IMAGE045
与
Figure 982580DEST_PATH_IMAGE046
分别为帧质量降低与升高是预设权重、
Figure 883540DEST_PATH_IMAGE047
，本实施例中，
Figure 446239DEST_PATH_IMAGE045
取1、
Figure 508873DEST_PATH_IMAGE046
取0.5，即帧质量下降赋以更高权重；对
Figure 648868DEST_PATH_IMAGE003
进行池化，计算
Figure 963305DEST_PATH_IMAGE003
的由大到小排序前30%取均值作为视频的质量波动的衡量，记为
Figure 505145DEST_PATH_IMAGE004
；
步骤1.5 将
Figure 879626DEST_PATH_IMAGE002
与
Figure 506916DEST_PATH_IMAGE004
进行加和，并限制幅度，得到两步时间池化后的空间失真分数值
Figure 625045DEST_PATH_IMAGE005
，
Figure 286971DEST_PATH_IMAGE005
的计算方法如下：
Figure 566773DEST_PATH_IMAGE021
步骤2. 时间失真特征提取；
步骤2.1 使用ARPS块运动估计算法，计算得到原始视频和失真视频每一帧的运动矢量图，记原始视频第
Figure 415781DEST_PATH_IMAGE015
帧的运动矢量幅值图为
Figure 352249DEST_PATH_IMAGE048
，失真视频第
Figure 868681DEST_PATH_IMAGE015
帧的运动矢量幅值图为
Figure 584964DEST_PATH_IMAGE049
；
步骤2.2 计算每一帧局部块内，原始视频和失真视频局部均值和标准差，构成均值向量和标准差向量；
将每一帧划分为互不重叠的局部块、本实施例中局部块大小为4×4，按照从左向右、从上到下的顺序编号，得到共
Figure 655688DEST_PATH_IMAGE050
个局部块；计算原始视频第
Figure 240253DEST_PATH_IMAGE015
帧的运动均值向量
Figure 486558DEST_PATH_IMAGE051
和标准差向量
Figure 498376DEST_PATH_IMAGE052
：
Figure 462921DEST_PATH_IMAGE053
其中，
Figure 585598DEST_PATH_IMAGE054
表示
Figure 686409DEST_PATH_IMAGE048
的第m个局部块的运动矢量平均值，
Figure 869129DEST_PATH_IMAGE055
表示
Figure 55391DEST_PATH_IMAGE048
的第m个局部块的运动矢量标准差；
计算失真视频的均值向量
Figure 981758DEST_PATH_IMAGE056
和标准差向量
Figure 202655DEST_PATH_IMAGE057
同理；
计算
Figure 556276DEST_PATH_IMAGE051
和
Figure 88889DEST_PATH_IMAGE056
变异系数差异
Figure 694314DEST_PATH_IMAGE058
、以及
Figure 894351DEST_PATH_IMAGE052
和
Figure 291309DEST_PATH_IMAGE057
变异系数差异
Figure 576797DEST_PATH_IMAGE007
，
Figure 985913DEST_PATH_IMAGE058
计算过程如下：
Figure 774877DEST_PATH_IMAGE022
其中，
Figure 345667DEST_PATH_IMAGE059
表示标准差，
Figure 118451DEST_PATH_IMAGE060
表示均值，
Figure 65679DEST_PATH_IMAGE007
的计算方法同理；
步骤2.3 计算当前帧的运行矢量与邻近帧运动矢量的变异系数
Figure 974729DEST_PATH_IMAGE008
，其计算过程如下：
Figure 841054DEST_PATH_IMAGE061
其中，
Figure 710921DEST_PATH_IMAGE029
表示原始视频第
Figure 586473DEST_PATH_IMAGE015
帧第第m个局部块及其相邻帧相同位置块的运动矢量组成的向量，即
Figure 225396DEST_PATH_IMAGE030
，
Figure 528201DEST_PATH_IMAGE032
同理；
步骤2.4 将
Figure 619785DEST_PATH_IMAGE006
、
Figure 33449DEST_PATH_IMAGE007
和
Figure 792457DEST_PATH_IMAGE008
进行融合，得到视频的时间失真特征
Figure 266164DEST_PATH_IMAGE036
，
Figure 969678DEST_PATH_IMAGE036
计算方式如下：
Figure 65328DEST_PATH_IMAGE035
步骤3. 时空失真特征融合；
时空失真特征的计算方式如下：
Figure 803477DEST_PATH_IMAGE037
对所有帧的时空失真特征取平均，作为视频的时空失真分数值
Figure 323451DEST_PATH_IMAGE011
，计算方式如下：
Figure 779841DEST_PATH_IMAGE039
其中，
Figure 410673DEST_PATH_IMAGE040
为失真视频的总帧数；
步骤4. 将时空失真分数
Figure 3329DEST_PATH_IMAGE011
和池化后的空间失真分数
Figure 428625DEST_PATH_IMAGE005
再次融合，得到视频的失真分数
Figure 372310DEST_PATH_IMAGE012
，计算方式如下：
Figure 806834DEST_PATH_IMAGE041
其中，
Figure 519575DEST_PATH_IMAGE042
为预设次幂系数、
Figure 381351DEST_PATH_IMAGE043
，本实施例中取0.3。
基于上述技术方案，本实施例在3个视频质量评估数据集上进行测试，分别为LIVE数据集、CSIQ数据集和IVP数据集；其中，LIVE数据集包含150个失真视频和对应的主观质量分数，CSIQ数据集包含216个失真视频和对应的主观质量分数，IVP数据集包含128个失真视频和对应的主观质量分数。使用了三种客观质量评估方法进行了对比，分别为1）梯度相似度偏差GMSD，2）结构相似度SSIM，3）多评估方法融合的VMAF，对比的参数为不同方法在数据集中预测得分与主观质量分数的斯皮尔曼等级相关系数SROCC、皮尔森线性相关系数PLCC，对比结果如表1所示，其中，SROCC、PLCC越大越好。从表1中可以得出，本实施例提出的方法的模型评价指标均高于对比方法，本实施例所提出方法对视频质量评估的结果与人眼主观感受的一致性更强，测试结果证明了本发明的有效性。
表1
Figure 546753DEST_PATH_IMAGE062
综上所述，本发明所提出的基于运动估计的视频质量评估方法能够获得与人眼主观感受一致性更强的结果，在同样的数据集上，本发明比常用的SSIM、GMSD以及VMAF性能均更高。
以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。

Claims (9)

1.一种基于运动估计的全参考视频质量评估方法，其特征在于，包括以下步骤：
步骤1. 空间失真特征提取；
步骤1.1 采用Prewitt算子计算原始视频和失真视频中每一帧的梯度幅值图；
步骤1.2 基于梯度幅值图，计算原始视频和失真视频的梯度相似度偏差值作为失真视频的空间失真特征
Figure 487911DEST_PATH_IMAGE001
；
步骤1.3对空间失真特征
Figure 936210DEST_PATH_IMAGE001
进行时间池化处理，得到空间失真分数
Figure 122472DEST_PATH_IMAGE002
；
步骤1.4 计算前后帧空间失真特征的梯度
Figure 48840DEST_PATH_IMAGE003
，对空间失真特征的梯度
Figure 269737DEST_PATH_IMAGE003
进行时间池化处理，得到空间失真分数
Figure 623358DEST_PATH_IMAGE004
；
步骤1.5 对空间失真分数
Figure 296916DEST_PATH_IMAGE002
与空间失真分数
Figure 26974DEST_PATH_IMAGE004
进行融合，得到失真视频的空间失真分数值
Figure 102378DEST_PATH_IMAGE005
；
步骤2. 时间失真特征提取；
步骤2.1 使用ARPS块运动估计算法，计算得到原始视频与失真视频中每一帧的运动矢量幅值图；
步骤2.2 基于运动矢量幅值图，计算原始视频与失真视频的局部均值和标准差，得到均值向量和标准差向量；再计算原始视频与失真视频均值向量的变异系数差值
Figure 361321DEST_PATH_IMAGE006
和标准差向量的变异系数差值
Figure 522175DEST_PATH_IMAGE007
；
步骤2.3计算当前帧的运行矢量与邻近帧运动矢量的变异系数差值
Figure 790345DEST_PATH_IMAGE008
；
步骤2.4将变异系数差值
Figure 720255DEST_PATH_IMAGE006
、变异系数差值
Figure 681258DEST_PATH_IMAGE007
与变异系数差值
Figure 188462DEST_PATH_IMAGE008
进行融合，得到失真视频的时间失真特征
Figure 870111DEST_PATH_IMAGE009
；
步骤3. 时空失真特征融合；
根据空间失真特征
Figure 44740DEST_PATH_IMAGE001
与时间失真特征
Figure 777642DEST_PATH_IMAGE009
，计算失真视频的时空失真特征
Figure 37722DEST_PATH_IMAGE010
，并基于时空失真特征
Figure 523061DEST_PATH_IMAGE010
计算失真视频的时空失真分数值
Figure 552197DEST_PATH_IMAGE011
；
步骤4. 将空间失真分数
Figure 730368DEST_PATH_IMAGE005
与时空失真分数
Figure 946586DEST_PATH_IMAGE011
融合，得到失真视频的失真分数
Figure 501195DEST_PATH_IMAGE012
。
2.按权利要求1所述基于运动估计的全参考视频质量评估方法，其特征在于，所述步骤1.2中，空间失真特征
Figure 119259DEST_PATH_IMAGE001
具体为：
Figure 468331DEST_PATH_IMAGE013
其中，
Figure 437424DEST_PATH_IMAGE014
表示原始视频与失真视频第
Figure 264566DEST_PATH_IMAGE015
帧的梯度相似度偏差值，
Figure 268294DEST_PATH_IMAGE016
表示原始视频第
Figure 788268DEST_PATH_IMAGE015
帧的梯度幅值图，
Figure 244658DEST_PATH_IMAGE017
表示失真视频第
Figure 734545DEST_PATH_IMAGE015
帧的梯度幅值图，
Figure 202566DEST_PATH_IMAGE018
表示像素的空间坐标，
Figure 18076DEST_PATH_IMAGE019
表示标准差，
Figure 834197DEST_PATH_IMAGE020
为预设常数。
3.按权利要求1所述基于运动估计的全参考视频质量评估方法，其特征在于，所述步骤1.3与步骤1.4中，时间池化处理具体为：将特征值按由大到小排序，取前30%的特征值做平均，将平均值作为时间池化的空间失真分数。
4.按权利要求1所述基于运动估计的全参考视频质量评估方法，其特征在于，所述步骤1.5中，失真视频的空间失真分数值具体为
Figure 393355DEST_PATH_IMAGE005
：
Figure 981462DEST_PATH_IMAGE021
。
5.按权利要求1所述基于运动估计的全参考视频质量评估方法，其特征在于，所述步骤2.2中，原始视频与失真视频均值向量的变异系数差值
Figure 702293DEST_PATH_IMAGE022
为：
Figure 8641DEST_PATH_IMAGE023
其中，
Figure 840331DEST_PATH_IMAGE024
为原始视频第
Figure 548524DEST_PATH_IMAGE015
帧的运动均值向量，
Figure 440256DEST_PATH_IMAGE025
为失真视频第
Figure 233900DEST_PATH_IMAGE015
帧的运动均值向量；
原始视频与失真视频标准差向量的变异系数差值
Figure 134860DEST_PATH_IMAGE007
为：
Figure 431980DEST_PATH_IMAGE026
其中，
Figure 760193DEST_PATH_IMAGE027
为原始视频第
Figure 634608DEST_PATH_IMAGE015
帧的运动均值向量，
Figure 214625DEST_PATH_IMAGE028
为失真视频第
Figure 756465DEST_PATH_IMAGE015
帧的运动均值向量。
6.按权利要求1所述基于运动估计的全参考视频质量评估方法，其特征在于，所述步骤2.3中，当前帧的运行矢量与邻近帧运动矢量的变异系数
Figure 130946DEST_PATH_IMAGE008
为：
Figure 758236DEST_PATH_IMAGE029
其中，
Figure 879295DEST_PATH_IMAGE030
表示原始视频第
Figure 275641DEST_PATH_IMAGE015
帧第m个局部块及其相邻帧相同位置块的运动矢量组成的向量：
Figure 821023DEST_PATH_IMAGE031
，
Figure 935609DEST_PATH_IMAGE032
表示原始视频第
Figure 326271DEST_PATH_IMAGE015
帧的运动矢量幅值图的第m个局部块；
Figure 842703DEST_PATH_IMAGE033
表示失真视频第
Figure 558986DEST_PATH_IMAGE015
帧第第m个局部块及其相邻帧相同位置块的运动矢量组成的向量：
Figure 160868DEST_PATH_IMAGE034
，
Figure 620800DEST_PATH_IMAGE035
表示失真视频第
Figure 991738DEST_PATH_IMAGE015
帧的运动矢量幅值图的第m个局部块。
7.按权利要求1所述基于运动估计的全参考视频质量评估方法，其特征在于，所述步骤2.4中，失真视频的时间失真特征具体为
Figure 878923DEST_PATH_IMAGE009
：
Figure 702522DEST_PATH_IMAGE036
其中，
Figure 966145DEST_PATH_IMAGE037
表示失真视频第
Figure 191590DEST_PATH_IMAGE015
帧的时间失真特征。
8.按权利要求1所述基于运动估计的全参考视频质量评估方法，其特征在于，所述步骤3中，失真视频的时空失真特征
Figure 108730DEST_PATH_IMAGE010
具体为：
Figure 560571DEST_PATH_IMAGE038
，
Figure 486939DEST_PATH_IMAGE039
表示失真视频第
Figure 439327DEST_PATH_IMAGE015
帧的时空失真特征；失真视频的时空失真分数值
Figure 58527DEST_PATH_IMAGE011
具体为：
Figure 732085DEST_PATH_IMAGE040
，
Figure 462143DEST_PATH_IMAGE041
为失真视频的总帧数。
9.按权利要求1所述基于运动估计的全参考视频质量评估方法，其特征在于，所述步骤4中，失真视频的失真分数
Figure 6388DEST_PATH_IMAGE012
具体为：
Figure 796490DEST_PATH_IMAGE042
，
Figure 957344DEST_PATH_IMAGE043
为预设次幂系数、
Figure 225514DEST_PATH_IMAGE044
。
CN202210249222.1A 2022-03-11 2022-03-11 一种基于运动估计的全参考视频质量评估方法 Active CN114332088B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210249222.1A CN114332088B (zh) 2022-03-11 2022-03-11 一种基于运动估计的全参考视频质量评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210249222.1A CN114332088B (zh) 2022-03-11 2022-03-11 一种基于运动估计的全参考视频质量评估方法

Publications (2)

Publication Number Publication Date
CN114332088A true CN114332088A (zh) 2022-04-12
CN114332088B CN114332088B (zh) 2022-06-03

Family

ID=81033433

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210249222.1A Active CN114332088B (zh) 2022-03-11 2022-03-11 一种基于运动估计的全参考视频质量评估方法

Country Status (1)

Country Link
CN (1) CN114332088B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114630111A (zh) * 2022-05-13 2022-06-14 电子科技大学 一种基于编码信息的无参考压缩视频质量评估方法
CN115174919A (zh) * 2022-09-05 2022-10-11 腾讯科技（深圳）有限公司 一种视频处理方法、装置、设备及介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102984541A (zh) * 2012-12-07 2013-03-20 浙江大学 一种基于像素域失真度估计的视频质量评价方法
WO2014094313A1 (en) * 2012-12-21 2014-06-26 Thomson Licensing Video quality model, method for training a video quality model, and method for determining video quality using a video quality model
CN104185022A (zh) * 2013-09-18 2014-12-03 电子科技大学 基于视觉信息失真分解的全参考视频质量评估方法
CN106028026A (zh) * 2016-05-27 2016-10-12 宁波大学 一种基于时空域结构的高效视频质量客观评价方法
US20160358321A1 (en) * 2015-06-05 2016-12-08 Sony Corporation Full reference image quality assessment based on convolutional neural network
CN106375754A (zh) * 2015-07-22 2017-02-01 中国人民解放军理工大学 基于视觉刺激衰减特性的无参考视频质量评估方法
CN106412571A (zh) * 2016-10-12 2017-02-15 天津大学 一种基于梯度相似性标准差的视频质量评价方法
CN108513132A (zh) * 2017-02-24 2018-09-07 深圳市中兴微电子技术有限公司 一种视频质量评价方法及装置
CN110401832A (zh) * 2019-07-19 2019-11-01 南京航空航天大学 一种基于时空管道建模的全景视频客观质量评估方法
CN110838120A (zh) * 2019-11-18 2020-02-25 方玉明 一种基于时空信息的非对称失真三维视频的加权质量评价方法
CN113298779A (zh) * 2021-05-24 2021-08-24 广西大学 基于逆向重建网格的视频重定向质量客观评价方法
CN113327234A (zh) * 2021-05-31 2021-08-31 广西大学 基于空时显著性分类和融合的视频重定向质量评价方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102984541A (zh) * 2012-12-07 2013-03-20 浙江大学 一种基于像素域失真度估计的视频质量评价方法
WO2014094313A1 (en) * 2012-12-21 2014-06-26 Thomson Licensing Video quality model, method for training a video quality model, and method for determining video quality using a video quality model
CN104185022A (zh) * 2013-09-18 2014-12-03 电子科技大学 基于视觉信息失真分解的全参考视频质量评估方法
US20160358321A1 (en) * 2015-06-05 2016-12-08 Sony Corporation Full reference image quality assessment based on convolutional neural network
CN106375754A (zh) * 2015-07-22 2017-02-01 中国人民解放军理工大学 基于视觉刺激衰减特性的无参考视频质量评估方法
CN106028026A (zh) * 2016-05-27 2016-10-12 宁波大学 一种基于时空域结构的高效视频质量客观评价方法
CN106412571A (zh) * 2016-10-12 2017-02-15 天津大学 一种基于梯度相似性标准差的视频质量评价方法
CN108513132A (zh) * 2017-02-24 2018-09-07 深圳市中兴微电子技术有限公司 一种视频质量评价方法及装置
CN110401832A (zh) * 2019-07-19 2019-11-01 南京航空航天大学 一种基于时空管道建模的全景视频客观质量评估方法
CN110838120A (zh) * 2019-11-18 2020-02-25 方玉明 一种基于时空信息的非对称失真三维视频的加权质量评价方法
CN113298779A (zh) * 2021-05-24 2021-08-24 广西大学 基于逆向重建网格的视频重定向质量客观评价方法
CN113327234A (zh) * 2021-05-31 2021-08-31 广西大学 基于空时显著性分类和融合的视频重定向质量评价方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
MUNAN XU等: "《C3DVQA: FULL-REFERENCE VIDEO QUALITY ASSESSMENT WITH 3D CONVOLUTIONAL NEURAL NETWORK》", 《ARXIV》 *
QINGBO WU等: "《No reference image quality assessment metric via multi-domain structural information and piecewise regression》", 《JOURNAL OF VISUAL COMMUNICATION AND IMAGE REPRESENTATION》 *
吴泽民 等: "《融合空时感知特性的无参考视频质量评估算法》", 《电子学报》 *
王大闹: "《基于视觉特性的全参考视频质量评价方法研究》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114630111A (zh) * 2022-05-13 2022-06-14 电子科技大学 一种基于编码信息的无参考压缩视频质量评估方法
CN114630111B (zh) * 2022-05-13 2022-10-14 电子科技大学 一种基于编码信息的无参考压缩视频质量评估方法
CN115174919A (zh) * 2022-09-05 2022-10-11 腾讯科技（深圳）有限公司 一种视频处理方法、装置、设备及介质

Also Published As

Publication number Publication date
CN114332088B (zh) 2022-06-03

Similar Documents

Publication Publication Date Title
CN114332088B (zh) 一种基于运动估计的全参考视频质量评估方法
Shao et al. Full-reference quality assessment of stereoscopic images by learning binocular receptive field properties
Xu et al. No-reference video quality assessment via feature learning
Shao et al. Learning receptive fields and quality lookups for blind quality assessment of stereoscopic images
Yang et al. Predicting stereoscopic image quality via stacked auto-encoders based on stereopsis formation
Wang et al. Novel spatio-temporal structural information based video quality metric
CN109345502B (zh) 一种基于视差图立体结构信息提取的立体图像质量评价方法
CN106875389B (zh) 基于运动显著性的立体视频质量评价方法
CN109831664B (zh) 基于深度学习的快速压缩立体视频质量评价方法
CN107146220B (zh) 一种通用型无参考图像质量评价方法
Ghadiyaram et al. A no-reference video quality predictor for compression and scaling artifacts
CN109429051B (zh) 基于多视图特征学习的无参考立体视频质量客观评价方法
Ling et al. Prediction of the influence of navigation scan-path on perceived quality of free-viewpoint videos
Liu et al. Blind omnidirectional image quality assessment based on structure and natural features
CN106375754B (zh) 基于视觉刺激衰减特性的无参考视频质量评估方法
WO2018153161A1 (zh) 一种视频质量评价方法及装置、设备、存储介质
Ma et al. Joint binocular energy-contrast perception for quality assessment of stereoscopic images
CN109257592B (zh) 基于深度学习的立体视频质量客观评价方法
Shao et al. Multistage pooling for blind quality prediction of asymmetric multiply-distorted stereoscopic images
Zeng et al. Screen content video quality assessment model using hybrid spatiotemporal features
Mahmood et al. Objective quality assessment of 3D stereoscopic video based on motion vectors and depth map features
Md et al. Multiscale-ssim index based stereoscopic image quality assessment
CN112233089B (zh) 一种无参考立体混合失真图像质量评价方法
Xiao et al. No-reference quality assessment of stereoscopic video based on deep frequency perception
CN110930398B (zh) 一种基于Log-Gabor相似度的全参考视频质量评价方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant