CN113313682A - 基于时空多尺度分析的无参考视频质量评价方法 - Google Patents

Abstract

本发明提出了一种基于时空多尺度分析的无参考视频质量评价方法，实现步骤为：获取训练样本集和测试样本集；构建基于时空多尺度分析的无参考视频质量评价模型；对无参考视频质量评价模型进行迭代训练；获取无参考视频的质量评价结果。本发明在对无参考视频质量评价模型进行训练和获取质量评价结果的过程中，时空多尺度模块通过下采样得到不同尺度的帧序列局部时空失真特征，时空注意力分析模块对得到的时空失真特征的显著性进行分析，进而获取更为准确待测视频的全局质量表示，避免了现有技术中因为缺失帧序列的失真信息导致视频质量评价准确度较低的技术问题，有效地提高了复杂的无参考多种帧率视频质量评价准确度。

Description

基于时空多尺度分析的无参考视频质量评价方法

技术领域

本发明属于视频处理技术领域，涉及一种视频质量评价方法，具体涉及一种基于时空多尺度分析的无参考视频质量评价方法，可用于对视频质量的改善进行指导。

背景技术

近几年，随着视频技术的飞速发展，数字视频已越来越多地进入人们的工作和日常生活中。通常，视频需经过采集、压缩、传输和解压缩等处理阶段，而在这些处理阶段中，视频往往会产生一些失真现象，这些失真都会造成视频质量的降低。因此，寻找一个准确有效的视频质量评价方法，以指导改善视频质量变得尤为重要。

视频质量评价方法根据对原始视频信息的依赖程度可分为三种：全参考视频质量评价方法、部分参考视频质量评价方法和无参考视频质量评价方法。全参考视频质量评价方法是指把原始参考视频与失真视频在每一个对应帧中的每一个对应像素之间进行比较。部分参考视频质量评价方法则是针对一个视频传输系统，在发送端提取原始视频的一些统计特征，将其通过辅助信道传送到该系统的接收端，并与接收端得到的失真视频的对应特征进行比较，以获得相应的视频质量评价分数。无参考视频质量评价方法则不需要原始视频的任何先验信息，通常使用参考视频或者相应特征的估计值，直接对失真视频进行质量评价，这种方法体现了人类的智能。

无参考视频质量评价方法由于具有灵活性高、实时性好、成本低且不需要任何原始视频信息等优点，成为了视频质量评价领域的研究热点，也是目前发展空间最大、最具实际应用价值的评价方法。传统的无参考视频质量评价方法在面对传统的标准24帧/秒或30帧/秒的视频时有着较好的评价效果，但因为其并未考虑帧速率对人类视频质量感知的影响，使得视频质量评价模型在面对多种帧率视频尤其是高帧率视频的时候，评价效果大打折扣。

为了避免忽略时域失真特征，导致传统的无参考视频质量评价方法无法很好地面对多种帧率视频，基于时空特征信息的无参考视频质量评价方法应运而生，例如，申请公布号为CN112784698A，名称为“一种基于深层次时空信息的无参考视频质量评价方法”的专利申请，该发明利用Resnet-50预训练的深度神经网络，提取顶层的语义层特征后对特征图进行均值聚合与标准差聚合，然后分别从两个方面对时间记忆效应进行建模，在特征整合方面，采用GRU网络对长期依赖关系进行建模，在质量聚合方面，提出主观启发的时间池化模型并将其嵌入到网络中。但是其存在的缺陷在于，该发明仅提取了一个尺度的时空失真特征，获取的失真信息并不足够丰富，导致对于复杂的多种帧率视频的评价准确度仍有所欠佳。

发明内容

本发明的目的在于克服上述现有技术存在的缺陷，提出一种基于时空多尺度分析的无参考视频质量评价方法，用于解决现有技术中存在的失真信息不够丰富导致视频质量评价准确度较低的技术问题。

为实现上述目的，本发明采取的技术方案包括如下步骤：

(1)获取训练样本集X_train和测试样本集X_test：

获取自然视频公知数据集中的V个失真视频的帧序列F＝{f^v|1≤v≤V}，并随机选取F中半数以上的帧序列及其对应的真实质量分数组成训练样本集X_train＝(F_train；Y_train)，将剩余的帧序列及其对应的真实质量分数组合成测试样本集X_test＝(F_test；Y_test)，其中，f^v表示数据集中的第v个帧序列，F_train表示训练帧序列集合，

表示第v₁个训练帧序列，Y_train表示

对应的真实质量分数集合，

表示

对应的真实质量分数，F_test表示测试帧序列集合，

表示第v₂个测试帧序列，Y_test表示

对应的真实质量分数集合，

表示

对应的真实质量分数，V≥150，

V₂＝V-V₁；

(2)构建基于时空多尺度分析的无参考视频质量评价模型H：

构建包括顺次连接的局部失真特征编码模块H_enc、时空多尺度模块H_mul和时空注意力分析模块H_pool的无参考视频质量评价模型H，其中，局部失真特征编码模块H_enc采用去除最后一个全连接层的VGG-16网络结构；时空多尺度模块H_mul包括并行排布的两个平均池化层及一个由多个平均池化层组成的下采样模块；时空注意力分析模块H_pool包括顺次连接的注意力分析器、归一化层和全连接层，注意力分析器包括多个全连接层；

(3)对无参考视频质量评价模型H进行迭代训练：

(3a)设迭代次数为t，最大迭代次数为T，T≥50，第t次迭代的无参考视频质量评价模型为H^t，并令t＝1，H^t＝H；

(3b)将训练样本集X_train作为无参考视频质量评价模型H^t的输入，局部失真特征编码模块

对F_train中的每个帧序列

逐个进行空间失真特征提取，得到空间失真特征

(3c)时空多尺度模块

中的两个下采样层及下采样模块分别对

提取的

进行下采样，得到每个帧序列在不同时空尺度上的局部失真特征表示组合成的局部失真信息

其中，

表示第v₁个帧序列的第i个图像帧的第j个局部失真特征，

表示第v₁个帧序列包含的图像帧个数，N表示从每个图像帧中提取的局部失真特征个数；

(3d)时空注意力分析模块

中的注意力分析器对

所采集的

进行显著性评估得到注意力权重

并通过归一化层对

进行归一化,得到最终注意力权重

利用

对

进行加权得到全局失真特征

最后利用全连接层对

进行回归得到

的预测质量分数

则F_train的预测质量分数为

其中，

表示第v₁个帧序列的第i个图像帧的第j个局部失真特征对应的注意力权重，

表示第v₁个帧序列的第i个图像帧的第j个局部失真特征对应的归一化后的注意力权重；

(3e)采用最小绝对误差LAE的公式，通过

和Y_train计算时空注意力分析模块

的损失值L_t，并采用反向传播方法，通过损失值L_t计算

的权值参数梯度dω_t，然后采用随机梯度下降法，通过dω_t对

的权值参数ω_t进行更新；

(3f)判断t≥T是否成立，若是，得到训练好的无参考视频质量评价模型H′，否则，令t＝t+1，并执行步骤(3b)；

(4)获取无参考视频的质量评价结果：

将测试样本集X_test作为无参考视频质量评价模型H′的输入进行前向传播，得到X_test的预测质量分数集合

其中，

表示第v₂个帧序列的预测质量分数。

本发明与现有技术相比较，具有以下优点：

本发明在对无参考视频质量评价模型进行训练和获取质量评价结果的过程中，时空多尺度模块中的多个分支对提取的帧序列的空间失真特征进行下采样，得到不同尺度的帧序列局部时空失真特征，时空注意力分析模块中的多层感知器对得到的时空失真特征的显著性进行分析，从而得到局部时空失真特征所对应的注意力权重，然后对局部时空失真特征进行加权，获取更为准确待测视频的全局质量表示，避免了现有技术中因为缺失帧序列的失真信息导致视频质量评价准确度较低的技术问题，有效地提高了复杂的无参考多种帧率视频质量评价准确度。

附图说明

图1是本发明的实现流程图。

具体实施方式

以下结合附图和具体实施例，对本发明作进一步详细描述。

参照图1，本发明包括如下步骤：

步骤1)获取训练样本集X_train和测试样本集X_test：

获取自然视频公知数据集中的V个失真视频的帧序列F＝{f^v|1≤v≤V}，并随机选取F中半数以上的帧序列及其对应的真实质量分数组成训练样本集X_train＝(F_train；Y_train)，将剩余的帧序列及其对应的真实质量分数组合成测试样本集X_test＝(F_test；Y_test)，其中，f^v表示数据集中的第v个帧序列，F_train表示训练帧序列集合，

表示第v₁个训练帧序列，Y_train表示

对应的真实质量分数集合，

表示

对应的真实质量分数，F_test表示测试帧序列集合，

表示第v₂个测试帧序列，Y_test表示

对应的真实质量分数集合，

表示

对应的真实质量分数，本实例中，V＝150，V₁＝120，V₂＝30。

步骤2)构建基于时空多尺度分析的无参考视频质量评价模型H：

构建包括顺次连接的局部失真特征编码模块H_enc、时空多尺度模块H_mul和时空注意力分析模块H_pool的无参考视频质量评价模型H，其中，局部失真特征编码模块H_enc采用去除最后一个全连接层的VGG-16网络结构；时空多尺度模块H_mul包括并行排布的两个平均池化层及一个由多个平均池化层组成的下采样模块；时空注意力分析模块H_pool包括顺次连接的注意力分析器、归一化层和全连接层，注意力分析器包括多个全连接层。

局部失真特征编码模块H_enc包括5个卷积模块和2个全连接层，其具体结构为：第一卷积模块→第二卷积模块→第三卷积模块→第四卷积模块→第五卷积模块→第一全连接层→第二全连接层。

第一卷积模块和第二卷积模块均由2个卷积层和1个最大池化层组成，具体结构为：第一卷积层→第二卷积层→第一最大池化层；卷积层的卷积核大小均为3×3，步长均为1，第一卷积模块的2个卷积层的卷积核数量均为64，第二卷积模块的2个卷积层的卷积核数量均为128。

第三、第四和第五卷积模块均由3个卷积层和1个最大池化层组成，所述卷积模块的具体结构为：第一卷积层→第二卷积层→第三卷积层→第一最大池化层；卷积层的卷积核大小均为3×3，步长均为1，第三卷积模块的3个卷积层的卷积核数量均设置为256，第四、第五卷积模块的3个卷积层的卷积核数量均设置为512。

时空多尺度模块H_mul所包含的下采样模块由2个平均池化层组成。

时空注意力分析模块H_pool所包含的注意力分析器包括2个全连接层。

步骤3)对无参考视频质量评价模型H进行迭代训练：

步骤3a)设迭代次数为t，最大迭代次数为T，第t次迭代的无参考视频质量评价模型为H^t，本实例中，T＝50，并令t＝1，H^t＝H。

步骤3b)将训练样本集X_train作为无参考视频质量评价模型H^t的输入，局部失真特征编码模块

对F_train中的每个帧序列

逐个

进行空间失真特征提取，得到局部空间失真特征

步骤3c)时空多尺度模块H_mul中的两个下采样层及下采样模块分别对

提取的

进行下采样：第一个下采样层中，通过尺度为4的空间平均池化对

进行空间下采样；第二个下采样层中，通过尺度为4的时间平均池化对

进行时间下采样；采样模块中，通过尺度分别为2的时间平均池化和间平均池化，对

依次进行时间下采样和空间平均池化，从而得到三个尺度的局部时空失真特征矩阵，重新定义这三个局部时空失真特征矩阵的大小使其尺寸统一，并用concat方法将这三个矩阵进行拼接，得到每个帧序列在不同时空尺度上的局部失真特征表示组合成的局部失真信息

其中，

表示第v₁个帧序列的第i个图像帧的第j个局部失真特征，

表示第v₁个帧序列包含的图像帧个数，N表示从每个图像帧中提取的局部失真特征个数。

利用时空多尺度模块

对提取的帧序列的空间失真特征进行下采样，以提取帧序列在不同时空尺度上的局部时空失真特征，丰富帧序列的失真信息，获得了比原始特征图更全面的质量表达，有效地提高了质量评价准确度。

步骤3d)时空注意力分析模块

中的注意力分析器对

所采集的

进行显著性评估得到注意力权重

并通过归一化层对

进行归一化，将其映射到相同的[0,1]范围内，以消除量纲对数据分析的影响,得到最终注意力权重

利用

对

进行加权得到全局失真特征

最后利用全连接层对

进行回归得到

的预测质量分数

则F_train的预测质量分数为

其中，

表示第v₁个帧序列的第i个图像帧的第j个局部失真特征对应的注意力权重，

表示第v₁个帧序列的第i个图像帧的第j个局部失真特征对应的归一化后的注意力权重，其中：

W₁和W₂分别表示注意力分析器中两个全连接层的权重，ReLU(·)表示激活函数，e表示自然常数，∑表示求和操作；

表示第v₁个帧序列的全局失真特征。

时空注意力分析模块

不是平等对待所有局部失真特征，而是使用多层感知器分析局部失真特征的显著性，从而得到局部失真特征在各时空域的注意力权重，因此可以更好地应对帧内和帧间的失真不均匀的视频，得到更为准确待测视频的全局质量表示。

步骤3e)采用最小绝对误差LAE的公式，通过

和Y_train计算时空注意力分析模块

的损失值L_t，并采用反向传播方法，通过损失值L_t计算

的权值参数梯度dω_t，然后采用随机梯度下降法，通过dω_t对

的权值参数ω_t进行更新，计算公式为：

ω^*＝ω_t-αdω_t

其中，||·||₁表示1范数操作，dω_t表示

的权值参数梯度，

表示求偏导数操作，ω^*表示更新后的权值参数，α表示学习率，α∈[0,1]。

步骤3f)判断t≥50是否成立，若是，得到训练好的无参考视频质量评价模型H′，否则，令t＝t+1，并执行步骤3b)。

步骤4)获取无参考视频的质量评价结果：

将测试样本集X_test作为无参考视频质量评价模型H′的输入进行前向传播，得到X_test的预测质量分数集合

其中，

表示第v₂个帧序列的预测质量分数。

Claims (4)

1.一种基于时空多尺度分析的无参考视频质量评价方法，其特征在于，包括如下步骤：

(1)获取训练样本集X_train和测试样本集X_test：

获取自然视频公知数据集中的V个失真视频的帧序列F＝{f^v|1≤v≤V}，并随机选取F中半数以上的帧序列及其对应的真实质量分数组成训练样本集X_train＝(F_train；Y_train)，将剩余的帧序列及其对应的真实质量分数组合成测试样本集X_test＝(F_test；Y_test)，其中，f^v表示数据集中的第v个帧序列，F_train表示训练帧序列集合，

表示第v₁个训练帧序列，Y_train表示

对应的真实质量分数集合，

表示

对应的真实质量分数，F_test表示测试帧序列集合，

表示第v₂个测试帧序列，Y_test表示

对应的真实质量分数集合，

表示

对应的真实质量分数，V≥150，

V₂＝V-V₁；

(2)构建基于时空多尺度分析的无参考视频质量评价模型H：

构建包括顺次连接的局部失真特征编码模块H_enc、时空多尺度模块H_mul和时空注意力分析模块H_pool的无参考视频质量评价模型H，其中，局部失真特征编码模块H_enc采用去除最后一个全连接层的VGG-16网络结构；时空多尺度模块H_mul包括并行排布的两个平均池化层及一个由多个平均池化层组成的下采样模块；时空注意力分析模块H_pool包括顺次连接的注意力分析器、归一化层和全连接层，注意力分析器包括多个全连接层；

(3)对无参考视频质量评价模型H进行迭代训练：

(3a)设迭代次数为t，最大迭代次数为T，T≥50，第t次迭代的无参考视频质量评价模型为H^t，并令t＝1，H^t＝H；

(3b)将训练样本集X_train作为无参考视频质量评价模型H^t的输入，局部失真特征编码模块

对F_train中的每个帧序列

逐个进行空间失真特征提取，得到空间失真特征

(3c)时空多尺度模块

中的两个下采样层及下采样模块分别对

提取的

进行下采样，得到每个帧序列在不同时空尺度上的局部失真特征表示组合成的局部失真信息

其中，

表示第v₁个帧序列的第i个图像帧的第j个局部失真特征，

表示第v₁个帧序列包含的图像帧个数，N表示从每个图像帧中提取的局部失真特征个数；

(3d)时空注意力分析模块

中的注意力分析器对

所采集的局部失真信息

进行显著性评估得到注意力权重

并通过归一化层对

进行归一化,得到最终注意力权重

利用

对

进行加权得到全局失真特征

最后利用全连接层对

进行回归得到

的预测质量分数

则F_train的预测质量分数为

其中，

表示第v₁个帧序列的第i个图像帧的第j个局部失真特征对应的注意力权重，

表示第v₁个帧序列的第i个图像帧的第j个局部失真特征对应的归一化后的注意力权重；

(3e)采用最小绝对误差LAE的公式，通过

和Y_train计算时空注意力分析模块

的损失值L_t，并采用反向传播方法，通过损失值L_t计算

的权值参数梯度dω_t，然后采用随机梯度下降法，通过dω_t对

的权值参数ω_t进行更新；

(3f)判断t≥T是否成立，若是，得到训练好的无参考视频质量评价模型H′，否则，令t＝t+1，并执行步骤(3b)；

(4)获取无参考视频的质量评价结果：

将测试样本集X_test作为无参考视频质量评价模型H′的输入进行前向传播，得到X_test的预测质量分数集合

其中，

表示第v₂个帧序列的预测质量分数。

2.根据权利要求1所述的基于时空多尺度分析的无参考视频质量评价方法，其特征在于，步骤(2)中所述的无参考视频质量评价模型H，其中：

局部失真特征编码模块H_enc包括5个卷积模块和2个全连接层，其具体结构为：第一卷积模块→第二卷积模块→第三卷积模块→第四卷积模块→第五卷积模块→第一全连接层→第二全连接层；

第一卷积模块和第二卷积模块均由2个卷积层和1个最大池化层组成，具体结构为：第一卷积层→第二卷积层→第一最大池化层；卷积层的卷积核大小均为3×3，步长均为1，第一卷积模块的2个卷积层的卷积核数量均为64，第二卷积模块的2个卷积层的卷积核数量均为128；

第三、第四和第五卷积模块均由3个卷积层和1个最大池化层组成，所述卷积模块的具体结构为：第一卷积层→第二卷积层→第三卷积层→第一最大池化层；卷积层的卷积核大小均为3×3，步长均为1，第三卷积模块的3个卷积层的卷积核数量均设置为256，第四、第五卷积模块的3个卷积层的卷积核数量均设置为512；

时空多尺度模块H_mul所包含的下采样模块由2个平均池化层组成；

时空注意力分析模块H_pool所包含的注意力分析器包括2个全连接层。

3.根据权利要求1所述的基于时空多尺度分析的无参考视频质量评价方法，其特征在于：步骤(3d)中所述的时空注意力分析模块

中的注意力分析器对

所采集的

进行显著性评估得到注意力权重

并通过归一化层对

进行归一化,得到最终注意力权重

利用

对

进行加权得到全局失真特征

其中：

W₁和W₂分别表示注意力分析器中两个全连接层的权重，ReLU(·)表示激活函数，e表示自然常数，∑表示求和操作；

表示第v₁个帧序列的全局失真特征。

4.根据权利要求1所述的基于三维时空特征分解的无参考视频质量评价方法，其特征在于：步骤(3e)中所述的计算无参考视频质量评价模型H^t中的时空注意力分析模块

的损失值L_t、通过损失值L_t计算

的权值参数梯度dω_t、通过dω_t对

的权值参数ω_t进行更新，计算公式为：

ω^*＝ω_t-αdω_t

其中，||·||₁表示1范数操作，dω_t表示

的权值参数梯度，

表示求偏导数操作，ω^*表示更新后的权值参数，α表示学习率。

Images