CN114598864A - 一种基于深度学习的全参考超高清视频质量客观评价方法 - Google Patents

一种基于深度学习的全参考超高清视频质量客观评价方法 Download PDF

Info

Publication number
CN114598864A
CN114598864A CN202210239824.9A CN202210239824A CN114598864A CN 114598864 A CN114598864 A CN 114598864A CN 202210239824 A CN202210239824 A CN 202210239824A CN 114598864 A CN114598864 A CN 114598864A
Authority
CN
China
Prior art keywords
video
image
frame
quality
image block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210239824.9A
Other languages
English (en)
Inventor
史萍
费凌云
应泽峰
潘达
耿仪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Communication University of China
Original Assignee
Communication University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Communication University of China filed Critical Communication University of China
Priority to CN202210239824.9A priority Critical patent/CN114598864A/zh
Publication of CN114598864A publication Critical patent/CN114598864A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的全参考超高清视频质量客观评价方法，被测超高清视频及对应的参考视频分别经过抽帧和图像块裁剪操作，得到被测视频图像块序列和对应的参考视频图像块序列。将被测视频图像块和对应的参考视频图像块成对输入到训练好的图像质量评价网络，得到被测视频图像块的质量分数。对图像块的质量分数进行空域池化和时域池化，得到被测视频的客观质量分数。本发明对超高清视频进行抽帧和图像块裁剪处理，有效减少了数据量，提升了算法效率；采用基于ResNet18的特征提取网络，提升了网络的训练效果，使网络能够有效提取图像特征；充分考虑人眼的视觉特点，对图像质量分数进行了空域池化和时域池化。

Description

一种基于深度学习的全参考超高清视频质量客观评价方法
技术领域
本发明属于数字图像及数字视频处理技术领域，尤其涉及一种基于深度学习的全参考超高清视频质量客观评价方法。
背景技术
超高清视频经过采集、压缩、存储、传输、显示等处理环节后会引入不同类型和不同程度的失真，从而导致视频质量的下降。因此，研究高效且准确的视频质量评价方法对于超高清视频业务的质量监控以及对于相关系统或设备的研发都具有重要意义。
视频质量评价又分为主观评价和客观评价两大类型。主观评价是由观察者直接对视频质量进行评分，因此能够真实反映视频图像的感知质量，评价结果可靠。但主观评价需要在特定的实验室环境中进行，而且需要大量观察者进行多次重复实验，耗时耗力，难以满足实际应用场景的需求。客观评价是根据人眼视觉特性建立评价模型，由模型自动完成视频质量评价任务。相较于主观评价，客观评价具有更多的应用场景和更广泛的应用需求。
根据评价时是否使用原始无失真参考视频信息，视频质量客观评价方法可分为全参考、半参考以及无参考三种类型。全参考方法是指评价时可以使用参考视频的全部信息，半参考是指评价时只能使用参考视频的部分信息，而无参考是指评价时不使用参考视频的任何信息。由于全参考方法可以充分利用参考视频的所有信息，因此评价性能要优于其他两类方法，在某些应用场合可以代替主观评价方法来完成视频质量评价任务。
当前已有的全参考视频质量客观评价方法中，基于深度学习的方法对于一般视频的质量评价显示出较好的性能，但如果用这些方法对超高清视频进行质量评价，则难以取得良好效果。主要原因是超高清视频具有高分辨率、高帧率的特点，用已有方法处理超高清视频时，超大数据量会导致质量评价模型的计算效率大幅下降。另外，已有方法大多基于单帧图像的质量评价，在时域融合方面未充分考虑人眼的视觉特性。因此，提出一种高效、准确的全参考超高清视频质量评价方法非常必要。
发明内容
针对现有全参考视频质量评价算法无法很好地适用于高分辨率、高帧率的超高清视频的问题，本发明提出了一种基于深度学习的全参考超高清视频质量客观评价方法，通过对深度学习网络进行训练，使其能够模拟主观评价结果对超高清视频进行质量评价，包括以下步骤：
步骤1，建立图像质量评价数据集。
选取超高清视频质量评价数据库，对数据库中的每个失真视频及其对应的参考视频(即无失真的源视频)进行抽帧和图像块裁剪。将每个失真视频的主观评价MOS值赋予由该视频经抽帧和图像块裁剪得到的图像块，即每个失真视频图像块的MOS值就是该图像块所属的失真视频的MOS值。
每个失真视频图像块及其MOS值以及对应的参考视频图像块一起构成图像质量评价数据集，用于训练基于深度学习的全参考图像质量评价网络。
步骤1.1，选取超高清视频质量评价数据库。数据库应包含无失真的超高清视频作为参考视频，以及由参考视频经压缩、加噪等处理的失真视频。每个失真视频须有主观评价MOS值。参考视频不少于20段，每段时长不少于10秒，帧频fF不低于50赫兹。每个源视频产生不少于5个不同损伤程度的失真视频。视频内容应尽可能包括室内、室外、建筑物、人物、自然景物、体育比赛、文艺表演、大型群众活动等典型场景；
步骤1.2，对每个参考视频及其对应的失真视频进行抽帧，抽帧率fS不低于1:50，得到参考视频及对应失真视频的抽帧图像序列；
步骤1.3，对抽帧图像序列中的每一帧图像进行图像块裁剪，每帧图像裁剪出5个图像块，分别位于帧图像的中心，以及与中心图像块相邻的左上、左下、右上、右下四个区域。每个图像块的大小为帧图像的1/16，即图像块在水平和垂直方向的像素数均为帧图像的1/4；
步骤1.4，将每个失真视频的主观评价MOS值赋予由该视频经抽帧和图像块裁剪得到的图像块，即每个失真视频图像块的MOS值就是该图像块所属的失真视频的MOS值。每个失真视频图像块及其MOS值以及对应的参考视频图像块一起构成图像质量评价数据集，用于训练基于深度学习的图像质量评价网络。
步骤2，训练基于深度学习的图像质量评价网络。
用图像质量评价数据集中的失真视频图像块及其MOS值以及对应的参考视频图像块作为训练数据，对基于深度学习的图像质量评价网络进行训练，训练步骤如下：
步骤2.1，搭建基于ResNet18的图像质量评价网络，该网络由特征提取模块和质量回归模块组成。特征提取模块由两个独立的ResNet18网络和一个特征合并层(Concat层)构成。每个ResNet18网络的输入为一个R、G、B三通道的彩色图像，输出为对应的特征向量。特征合并层将两个ResNet18网络输出的特征向量合并为一个特征向量。质量回归模块由两个全连接层级联而成，输入为特征向量，输出为对应的质量分数；
步骤2.2，将图像质量评价数据集中的失真视频图像块和对应的参考视频图像块成对输入到图像质量评价网络，将对应的主观评价MOS值作为标签，使用Adam更新策略和L1损失函数对网络进行训练。
步骤3，对被测超高清视频进行全参考视频质量评价。
对被测视频及其参考视频进行抽帧和图像块裁剪，将裁剪得到的被测视频图像块及对应的参考视频图像块成对输入到训练好的图像质量评价网络，得到每一个被测视频图像块的客观质量分数。最后将每个图像块的客观质量分数进行空域池化和时域池化，即得到被测视频的客观质量分数。
步骤3.1，按照步骤1.2对被测超高清视频及其参考视频进行抽帧，得到被测视频及其参考视频的抽帧图像序列，设抽帧图像序列的帧数为N；
步骤3.2，按照步骤1.3对抽帧图像序列中的每一帧图像进行图像块裁剪，得到被测视频图像块序列和对应的参考视频图像块序列；
步骤3.3，将被测视频图像块序列中的图像块和参考视频图像块序列中对应的图像块成对输入到训练好的图像质量评价网络，得到每一个被测视频图像块的质量分数qi(k)，其中i表示被测视频抽帧图像序列的帧序号(i＝1，2，…，N)，k表示一帧图像中的图像块序号，k＝0，1，2，3，4分别表示中心块、左上块、右上块、左下块、右下块；
步骤3.4，将属于同一帧图像的5个图像块的质量分数进行空域池化，即对5个图像块的质量分数进行加权平均，得到该帧图像的质量分数qi。具体计算方法如公式(1)所示；
Figure BDA0003543962960000031
步骤3.5，对每帧图像的质量分数进行时域池化操作，包括前向最小池化和后向平均池化。其中前向最小池化是将当前帧的质量分数设置为当前帧之前L帧(不含当前帧)质量分数的最小值，后向平均池化是将当前帧的质量分数设置为当前帧及当前帧之后L帧的质量分数的平均值。L为池化长度，L的大小由视频的帧频fF和抽帧率fS确定，具体计算方法如公式(2)所示。前向最小池化值
Figure BDA0003543962960000032
和后向平均池化值
Figure BDA0003543962960000033
的计算方法如公式(3)和公式(4)所示。
L＝(1～3)fF·fS (2)
Figure BDA0003543962960000034
Figure BDA0003543962960000035
计算前向最小池化值
Figure BDA0003543962960000036
和后向平均池化值
Figure BDA0003543962960000037
的平均，即得到当前帧的最终质量分数q′i，如公式(5)所示。
Figure BDA0003543962960000038
步骤3.6，在步骤3.5的基础上，对被测视频抽帧图像序列中所有帧的质量分数进行时域全局平均池化，即计算被测视频抽帧图像序列中各帧图像质量分数的平均值，得到被测视频的客观质量分数Q，如公式(6)所示。
Figure BDA0003543962960000041
与现有技术相比，本发明具有以下优点：
(1)本方法采用抽帧和图像块裁剪的操作，在保留超高清视频主要信息的情况下，有效减少了网络处理的数据量，提升了算法效率；
(2)本方法采用ResNet18作为图像质量评价网络的核心模块，有效提升了网络的训练效果，使网络能够有效提取图像的特征；
(3)本方法结合人眼的视觉特性，对图像质量分数进行了空域池化和时域池化操作。实验表明，本方法的性能优于目前已有的大部分全参考视频质量评价方法。
附图说明
图1为本发明具体实施方式的流程图；
图2为超高清视频帧图像的图像块裁剪位置示意图；
图3为本发明基于深度学习的图像质量评价网络结构图。
图4为本发明整体实施流程图。
具体实施方式
实施方式。
实施方式的流程图如图1所示，包括以下步骤：
步骤S10，建立图像质量评价数据集；
步骤S20，训练基于深度学习的图像质量评价网络；
步骤S30，对被测超高清视频进行全参考视频质量评价。
实施方式的建立图像质量评价数据集步骤S10还包括以下步骤：
步骤S100，选取超高清视频质量评价数据库。数据库应包含无失真的超高清视频作为参考视频，以及由参考视频经压缩、加噪等处理的失真视频。每个失真视频须有主观评价MOS值。参考视频不少于20段，每段时长不少于10秒，帧频不低于50赫兹。每个源视频产生不少于5个不同损伤程度的失真视频。视频内容应尽可能包括室内、室外、建筑物、人物、自然景物、体育比赛、文艺表演、大型群众活动等典型场景；
步骤S110，对每个参考视频及其对应的失真视频进行抽帧，抽帧率不低于1:50，得到参考视频及其对应失真视频的抽帧图像序列；
步骤S120，对抽帧图像序列中的每一帧图像进行图像块裁剪，每帧图像裁剪出5个图像块，分别位于帧图像的中心，以及与中心图像块相邻的左上、左下、右上、右下四个区域。每个图像块的大小为帧图像的1/16，即图像块在水平和垂直方向的像素数均为帧图像的1/4；
步骤S130，将每个失真视频的主观评价MOS值赋予由该视频经抽帧和图像块裁剪得到的图像块，即每个失真视频图像块的MOS值就是该图像块所属的失真视频的MOS值。每个失真视频图像块及其MOS值以及对应的参考视频图像块一起构成图像质量评价数据集，用于训练基于深度学习的图像质量评价网络。
实施方式的训练基于深度学习的图像质量评价网络步骤S20还包括以下步骤：
步骤S200，搭建基于ResNet18的图像质量评价网络，该网络由特征提取模块和质量回归模块组成。特征提取模块由两个独立的ResNet18网络和一个特征合并层(Concat层)构成，每个ResNet18网络的输入为一个R、G、B三通道的彩色图像，输出为对应的特征向量。特征合并层将两个ResNet18网络输出的特征向量合并为一个特征向量。质量回归模块由两个全连接层级联而成，输入为特征向量，输出为对应的质量分数；
步骤S210，将图像质量评价数据集中的失真视频图像块和对应的参考视频图像块成对输入到图像质量评价网络，将对应的主观评价MOS值作为标签，使用Adam更新策略和L1损失函数对网络进行训练。
实施方式的对被测超高清视频进行全参考视频质量评价步骤S30还包括以下步骤：
步骤S300，按照步骤S110对被测超高清视频及其参考视频进行抽帧，得到被测视频及其参考视频的抽帧图像序列，设抽帧图像序列的帧数为N；
步骤S310，按照步骤S120对抽帧图像序列中的每一帧图像进行图像块裁剪，得到被测视频图像块序列和对应的参考视频图像块序列；
步骤S320，将被测视频图像块序列中的图像块和参考视频图像块序列中对应的图像块成对输入到训练好的图像质量评价网络，得到每一个被测视频图像块的质量分数qi(k)，其中i表示被测视频抽帧图像序列的帧序号(i＝1，2，…，N)，k表示一帧图像中的图像块序号，k＝0，1，2，3，4分别表示中心块、左上块、右上块、左下块、右下块；
步骤S330，将属于同一帧图像的5个图像块的质量分数进行空域池化，即对5个图像块的质量分数进行加权平均，得到该帧图像的质量分数qi，具体计算方法见公式(1)；
步骤S340，对每帧图像的质量分数进行局部时域池化操作，即进行前向最小池化和后向平均池化。其中前向最小池化是将当前帧的质量分数设置为当前帧之前L帧(不含当前帧)质量分数的最小值，后向平均池化是将当前帧的质量分数设置为当前帧及当前帧之后L帧质量分数的平均值。L为池化长度，L的大小由视频的帧频fF和抽帧率fS确定，具体计算方法如公式(2)所示。前向最小池化值
Figure BDA0003543962960000061
和后向平均池化值
Figure BDA0003543962960000062
的计算方法如公式(3)和公式(4)所示。计算前向最小池化值
Figure BDA0003543962960000063
和后向平均池化值
Figure BDA0003543962960000064
的平均，即得到当前帧的最终质量分数q′i，如公式(5)所示；
步骤S350，在步骤S340的基础上，对被测视频抽帧图像序列中所有帧的质量分数进行时域全局平均池化，即计算被测视频抽帧图像序列中各帧图像质量分数的平均值，得到被测视频的客观质量分数Q，如公式(6)所示。
下面给出应用本发明的实验结果。
本实验使用的被测视频由250个带有主观评价MOS值的4K超高清失真视频组成，每个视频时长10秒，帧频50赫兹。这250个失真视频由50个无失真的4K超高清源视频经过不同程度的H.264或HEVC压缩编解码而得(每个源视频经过5种不同程度的H.264或HEVC压缩编解码，得到5个失真视频)。视频场景内容涵盖了室内、室外、建筑物、人物、自然景物、体育比赛、文艺表演、大型群众活动等场景。
本实验按照8:2比例将250个被测视频分为训练集和测试集，训练集包含200个被测视频(对应40个源视频)，测试集包含50个被测视频(对应10个源视频)。用训练集对本方法的网络模型进行训练，用测试集对训练好的网络模型进行测试。视频抽帧率fS为1:10，时域局部池化长度L＝12。使用斯皮尔曼等级相关系数(SRCC)、皮尔逊线性相关系数(PLCC)以及均方根误差(RMSE)这三个通用评价指标来衡量本方法的性能。表1给出了实验结果。作为对比，表1也同时给出了其他几种常用的全参考图像质量评价方法的测试结果。
由表1可知，本方法的客观评价结果与主观评价结果的相关性系数为SRCC＝0.9442，PLCC＝0.9466，优于目前常用的PSNR、SSIM、VMAF、VIF等方法；RMSE为1.4525，除了略高于FSIM外，也优于其他几种方法。实验结果表明了本方法对于超高清视频质量客观评价的有效性。
表1本方法与其他几种常用方法的性能比较
Figure BDA0003543962960000065
Figure BDA0003543962960000071

Claims (4)

1.一种基于深度学习的全参考超高清视频质量客观评价方法，其特征在于：该方法包括以下步骤：
步骤1，建立图像质量评价数据集；
选取超高清视频质量评价数据库，对超高清视频质量评价数据库中的每个失真视频及其对应的参考视频即无失真的源视频进行抽帧和图像块裁剪；将每个失真视频的主观评价MOS值赋予由该失真视频经抽帧和图像块裁剪得到的图像块，即每个失真视频图像块的MOS值就是该图像块所属的失真视频的MOS值；每个失真视频图像块及其MOS值以及与之对应的参考视频图像块一起构成图像质量评价数据集，用于训练基于深度学习的全参考图像质量评价网络；
步骤2，训练基于深度学习的图像质量评价网络；
用图像质量评价数据集中的失真视频图像块及其MOS值以及与之对应的参考视频图像块作为训练数据，对基于深度学习的图像质量评价网络进行训练；
步骤3，对被测超高清视频进行全参考视频质量评价；
对被测视频及其参考视频进行抽帧和图像块裁剪，将裁剪得到的被测视频图像块及对应的参考视频图像块成对输入到训练好的图像质量评价网络，得到每一个被测视频图像块的客观质量分数；最后将每个图像块的客观质量分数进行空域池化和时域池化，即得到被测视频的客观质量分数。
2.根据权利要求1所述的一种基于深度学习的全参考超高清视频质量评价方法，其特征在于：建立图像质量评价数据集，步骤如下：
步骤1.1，选取超高清视频质量评价数据库；数据库应包含无失真的超高清视频作为参考视频，以及由参考视频经压缩、加噪处理的失真视频；每个失真视频须有主观评价MOS值；参考视频不少于20段，每段时长不少于10秒，视频内容应尽可能包括室内、室外、建筑物、人物、自然景物、体育比赛、文艺表演、大型群众活动典型场景；
步骤1.2，对每个参考视频及其对应的失真视频进行抽帧处理，抽帧率不低于1:50，得到参考视频及其对应失真视频的抽帧图像序列；
步骤1.3，对抽帧图像序列中的每一帧图像进行图像块裁剪，每帧图像裁剪出5个图像块，分别位于帧图像的中心，以及与中心图像块相邻的左上、左下、右上、右下四个区域，每个图像块的大小为帧图像的1/16，即图像块在水平和垂直方向的像素数均为帧图像的1/4；
步骤1.4，将每个失真视频的主观评价MOS值赋予由该失真视频经抽帧和图像块裁剪得到的图像块，即每个失真视频图像块的MOS值就是该图像块所属的失真视频的MOS值；每个失真视频图像块及其MOS值以及与之对应的参考视频图像块一起构成图像质量评价数据集，用于训练基于深度学习的图像质量评价网络。
3.根据权利要求1所述的一种基于深度学习的全参考超高清视频质量评价方法，其特征在于：训练基于深度学习的图像质量评价网络，步骤如下：
步骤2.1，搭建基于ResNet18的图像质量评价网络，该ResNet18的图像质量评价网络由特征提取模块和质量回归模块组成；特征提取模块由两个独立的ResNet18网络和一个Concat层构成，每个ResNet18网络的输入为一个R、G、B三通道的彩色图像，输出为对应的特征向量；Concat层将两个ResNet18网络输出的特征向量合并为一个特征向量；质量回归模块由两个全连接层级联而成，输入为特征向量，输出为对应的质量分数；
步骤2.2，将图像质量评价数据集中的失真视频图像块和对应的参考视频图像块成对输入到图像质量评价网络，将对应的主观评价MOS值作为标签，使用Adam更新策略和L1损失函数对网络进行训练。
4.根据权利要求1所述的一种基于深度学习的全参考超高清视频质量评价方法，其特征在于：对被测超高清视频进行全参考视频质量评价，步骤如下：
步骤3.1，按照步骤1.2对被测超高清视频及其参考视频进行抽帧，得到被测视频及其参考视频的抽帧图像序列；
步骤3.2，按照步骤1.3对抽帧图像序列中的每一帧图像进行图像块裁剪，得到被测视频图像块序列和对应的参考视频图像块序列；
步骤3.3，将被测视频图像块序列中的图像块和对应的参考视频图像块序列中的图像块成对输入到训练好的图像质量评价网络，得到每一个被测视频图像块的质量分数；
步骤3.4，将属于同一帧图像的5个图像块的质量分数进行空域池化，即对5个图像块的质量分数进行加权平均，得到该帧图像的质量分数qi；具体计算方法如公式(1)所示；
Figure FDA0003543962950000021
其中i表示被测视频抽帧图像序列的帧序号，k表示一帧图像中的图像块序号，k＝0，1，2，3，4分别表示中心块、左上块、右上块、左下块、右下块；
步骤3.5，对每帧图像的质量分数进行时域池化操作，包括前向最小池化和后向平均池化；其中前向最小池化是将当前帧的质量分数设置为当前帧之前L帧质量分数的最小值，后向平均池化是将当前帧的质量分数设置为当前帧及当前帧之后L帧的质量分数的平均值；L为池化长度，L的大小由视频的帧频fF和抽帧率fS确定，具体计算方法如公式(2)所示；前向最小池化值
Figure FDA0003543962950000022
和后向平均池化值
Figure FDA0003543962950000023
的计算方法如公式(3)和公式(4)所示，其中，N为被测视频抽帧图像序列的总帧数；
L＝(1～3)fF·fS (2)
Figure FDA0003543962950000031
Figure FDA0003543962950000032
计算前向最小池化值
Figure FDA0003543962950000033
和后向平均池化值
Figure FDA0003543962950000034
的平均，即得到当前帧的最终质量分数q′i，如公式(5)所示；
Figure FDA0003543962950000035
步骤3.6，在步骤3.5的基础上，对各帧图像的质量分数进行时域全局平均池化，即计算被测视频抽帧图像序列中各帧图像质量分数的平均值，该平均值即为被测视频的客观质量分数，如公式(6)所示；
Figure FDA0003543962950000036
CN202210239824.9A 2022-03-12 2022-03-12 一种基于深度学习的全参考超高清视频质量客观评价方法 Pending CN114598864A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210239824.9A CN114598864A (zh) 2022-03-12 2022-03-12 一种基于深度学习的全参考超高清视频质量客观评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210239824.9A CN114598864A (zh) 2022-03-12 2022-03-12 一种基于深度学习的全参考超高清视频质量客观评价方法

Publications (1)

Publication Number Publication Date
CN114598864A true CN114598864A (zh) 2022-06-07

Family

ID=81818827

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210239824.9A Pending CN114598864A (zh) 2022-03-12 2022-03-12 一种基于深度学习的全参考超高清视频质量客观评价方法

Country Status (1)

Country Link
CN (1) CN114598864A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023036045A1 (zh) * 2021-09-09 2023-03-16 中兴通讯股份有限公司 模型训练方法、视频质量评估方法、装置、设备及介质
CN117041531A (zh) * 2023-09-04 2023-11-10 无锡维凯科技有限公司 一种基于图像质量评估的手机摄像头聚焦检测方法和系统
CN117152092A (zh) * 2023-09-01 2023-12-01 国家广播电视总局广播电视规划院 全参考图像评价方法、装置、电子设备和计算机存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023036045A1 (zh) * 2021-09-09 2023-03-16 中兴通讯股份有限公司 模型训练方法、视频质量评估方法、装置、设备及介质
CN117152092A (zh) * 2023-09-01 2023-12-01 国家广播电视总局广播电视规划院 全参考图像评价方法、装置、电子设备和计算机存储介质
CN117152092B (zh) * 2023-09-01 2024-05-28 国家广播电视总局广播电视规划院 全参考图像评价方法、装置、电子设备和计算机存储介质
CN117041531A (zh) * 2023-09-04 2023-11-10 无锡维凯科技有限公司 一种基于图像质量评估的手机摄像头聚焦检测方法和系统
CN117041531B (zh) * 2023-09-04 2024-03-15 无锡维凯科技有限公司 一种基于图像质量评估的手机摄像头聚焦检测方法和系统

Similar Documents

Publication Publication Date Title
CN114598864A (zh) 一种基于深度学习的全参考超高清视频质量客观评价方法
CN107483920B (zh) 一种基于多层级质量因子的全景视频评估方法及系统
Jin et al. Statistical study on perceived JPEG image quality via MCL-JCI dataset construction and analysis
CN108428227B (zh) 基于全卷积神经网络的无参考图像质量评价方法
CN104902267B (zh) 一种基于梯度信息的无参考图像质量评价方法
CN103945214B (zh) 终端侧时间域视频质量评价方法及装置
JP6067737B2 (ja) ビデオ品質測定のための方法、装置、コンピュータプログラム、及び記憶媒体
CN100559880C (zh) 一种基于自适应st区的高清视频图像质量评价方法及装置
Ahn et al. Deep blind video quality assessment based on temporal human perception
Ma et al. Reduced-reference video quality assessment of compressed video sequences
CN112085102A (zh) 基于三维时空特征分解的无参考视频质量评价方法
CN106791822B (zh) 一种基于单双目特征学习的无参考立体图像质量评价方法
CN109859166A (zh) 一种基于多列卷积神经网络的无参3d图像质量评估方法
CN105357519A (zh) 基于自相似度特征的无参考立体图像质量客观评价方法
Li et al. UGC-VIDEO: perceptual quality assessment of user-generated videos
CN110717892B (zh) 一种色调映射图像质量评价方法
CN109741315B (zh) 一种基于深度强化学习的无参考图像质量客观评价方法
CN107465914B (zh) 基于局部纹理特征和全局亮度特征的视频质量评价方法
Mozhaeva et al. Analysis of current video databases for quality assessment
CN114915777A (zh) 一种基于深度强化学习的无参考超高清视频质量客观评价方法
Li et al. Gradient-weighted structural similarity for image quality assessments
CN116524387A (zh) 一种基于深度学习网络的超高清视频压缩损伤等级评估方法
Huang et al. Perceptual evaluation of pre-processing for video transcoding
Qi et al. Non-Reference Image Quality Assessment Based on Super-Pixel Segmentation and Information Entropy
CN114630111B (zh) 一种基于编码信息的无参考压缩视频质量评估方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination