CN112866683B - 基于视频前处理及转码的质量评估方法 - Google Patents

Abstract

本发明公开了一种基于视频前处理及转码的质量评估方法，包括：对于原始视频以及视频前处理及转码后视频的单个视频帧，分别提取自然统计特征与图像梯度方向的统计特征，分别计算两类特征的偏差程度再采用加权的方式，得到单个视频帧的质量评估得分；将所有视频帧的质量评估得分进行时域池化，得到视频的质量评估得分。该方法不仅能有效衡量失真情况，而且质量提升情况也能有效评估；此外，还满足实时性要求。

Description

基于视频前处理及转码的质量评估方法

技术领域

本发明涉及图像视频质量评价技术领域，尤其涉及一种基于视频前处理及转码的质量评估方法。

背景技术

近些年来，由于网络服务的快速发展和智能设备的显著增长，流媒体应用在无线网络流量中所占的比例越来越大，而作为流媒体服务提供方，通常会对原始视频进行前处理(视频增强)，以期为用户提供更好的观看质量，此外，为了降低视频的存储，传输成本，通常会对视频进行转码处理，降低源视频分辨率，码率或帧率，往往会导致用户端难以观看到高质量的视频，从而削弱用户体验感(Quality of Experience，QoE)。

衡量用户体验的方法叫做质量评价(Quality Assessment，QA)，目前存在两种方法可以衡量用户体验感受。第一种为主观质量评价，是通过主观实验获取被试者观看图像/视频的主观感受，给出一个具体的质量分数。但是由于主观实验需要消耗大量人力物力，在实时应用中是无法实现的。所以在实际应用中一般采用第二种方法，即客观质量评价，其通过分析图像或者视频的内容，利用参数或者基于学习的模型来自动预测当前图像或者视频的质量。

针对流媒体视频，一些计算复杂度较高的客观算法虽然预测较准确，但是无法满足实时性要求，而一些较为简单的算法虽然能够快速计算，但与人的主观感受偏差较大。所以对流媒体视频而言，传统的PSNR，SSIM等算法已经无法满足要求而依据流媒体特性改进过后的VMAF虽然在一定程度上反映了视频的主观质量，却还无法达到高度一致的效果。因此就有必要设计能够实时且精准预测流媒体视频用户体验的准则，从而才能进一步指导编码优化及视频处理过程。

发明内容

本发明的目的是提供一种基于视频前处理及转码的质量评估方法，可以实时且精准预测流媒体视频的质量评分。

本发明的目的是通过以下技术方案实现的：

一种基于视频前处理及转码的质量评估方法，包括：

对于原始视频以及视频前处理及转码后视频的单个视频帧，分别提取自然统计特征与图像梯度方向的统计特征，分别计算两类特征的偏差程度再采用加权的方式，得到单个视频帧的质量评估得分；

将所有视频帧的质量评估得分进行时域池化，得到视频的质量评估得分。

由上述本发明提供的技术方案可以看出，不仅能有效衡量失真情况，而且质量提升情况也能有效评估；此外，还满足实时性要求。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种基于视频前处理及转码的质量评估方法模型图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

考虑到目前存在问题：1)如今的流媒体视频在终端观看时通常都是定资源的(传输码率一定)，而目前的视频增强质量评价仅比较原视频和增强后视频的质量差异。显然，增强后的视频传输码率偏大，而终端实际观看时是定资源的，没有终端定资源的视频增强质量评价数据集可以直接使用。2)传统的质量评估算法(例如PSNR,SSIM,FSIM，VMAF)通过比较原视频和失真视频的特征差异，得到两者的相似性作为失真图像的质量分数；然而，其对码率相近的视频不够敏感，无法匹配终端观看时实际存在的主观质量变化，所以传统的质量评估算法无法直接使用。本发明实施例提供一种基于视频前处理及转码的质量评估方法，如图1所示，其包括：

一、单帧处理模型。

如图1的(a)部分所示，对于原始视频以及视频前处理及转码后视频的单个视频帧，分别提取自然统计特征与图像梯度方向的统计特征，分别计算两类特征的偏差程度再采用加权的方式，得到单个视频帧的质量评估得分。

1、自然统计特征及其偏差程度。

本发明实施例中，自然统计特征主要包括：图像的亮度信息、对比度信息和结构性信息。此处的结构性是本领域的专有名词，例如，可以是纹理信息。

此外，提取自然统计特征之前，对单个视频帧进行降采样处理(Down Sampling)。

本发明实施例中，自然统计特征的偏差程度表现为增强前后的特征乘积除以增强前后的特征平方和，单个自然统计特征的偏差程度计算公式为：

其中，μ_k为原始视频中单个视频帧k的某一种自然统计特征的平均值，μ_j为视频前处理及转码后单个视频帧j的某一种自然统计特征的平均值，σ_k、σ_j分别为视频帧k、视频帧j的方差，σ_kj为相应的协方差；c₁与c₂均为常数。所有种类(例如，前文介绍的三种)自然统计特征都带入上述各自计算后再连乘，得到自然统计特征的偏差程度SSIM。

本领域技术人员可以理解，增强前后视频的帧数是相同的，视频帧k与视频帧j相互对应的两个视频帧。

2、图像梯度方向的统计特征及其偏差程度。

本发明实施例中，提取梯度方向间统计特征，代表图像边缘的统计特性。

首先，对单个视频帧进行水平和垂直两个方向的边缘检测，可以使用3阶Sobel算子如下：

其中，左侧为水平横向算子，右侧为垂直纵向算子。

之后，再计算梯度幅值：

其中，G_x(x,y)、G_y(x,y)、G(x,y)分别表示位于像素点(x,y)的水平方向梯度、垂直方向梯度和像素点(x,y)的梯度幅值；汇总所有像素点的梯度幅值，得到单个视频帧图像梯度方向的统计特征。

对于原始视频与视频前处理及转码后视频的单个视频帧都通过以上处理，得到图像梯度方向的统计特征分别记为G_k、G_j。

为了比较处理前后视频帧梯度图差异，使用两种计算差异的方法：

以及：

其中，G_k为原始视频中单个视频帧的图像梯度方向的统计特征，G_j为视频前处理及转码后单个视频帧的图像梯度方向的统计特征；C为设定的常数参数，避免除零。

之后，对F₁与F₂进行加权平均，得到的结果F作为图像梯度方向的统计特征的偏差程度。

当G_i与G_j相差越大时，特征F₁将持续变小；当G_j相比G_i越大时，特征F₂将持续变大。公式F₁与F₂可以达成一种折中，能有效判别梯度图特征的轻度差异和重度差异，图1仅以F₂为例进行说明。

3、单个视频帧的质量评估得分。

如图1的(a)部分右侧所示，将两类偏差程度(即前文计算得到的SSIM、F)进行加权再求和，得到质量评估得分，表示为：

q＝αSSIM+(1-α)F

其中，α为权值。

二、视频处理模型。

如图1的(b)部分所示，将所有视频帧的质量评估得分进行时域池化，得到视频的质量评估得分。

在针对视频的质量评估中，必须将视频每帧图像的预测得分结合起来，即时域池化。

本发明实施例中，考虑到人眼在判断视频质量时存在视觉迟滞效应，通过计算每帧图像距离观看时点的时间(视觉迟滞时间)长短作为每帧图像的权重系数，进行加权累加后得到视频质量分数。

人眼在i时刻所感知的质量与该i时刻前τ时间内的质量存在相关性，这种相关性只与τ时间有关，即：

f(i-τ,i,q_i-τ,q_i)→f(τ,q_i-τ,q_i)

每一时刻对应一个视频帧，将q_i表示第i个视频帧的质量评估得分，则第i时刻的视觉印象分q′_i计算如下：

其中，q_i-τ表示第i-τ个视频帧的质量评估得分；

由于不同的视频长度并不一致，为消除这种影响，对视觉印象分q′_i进行修正，得到修正后的视觉印象分q″_i：

其中，f(.)表示最小池化操作(Min Pooling)，也即取前τ帧q值的最小值，g(.)是SoftMinWeightedSoftMinWeightedAverage Pooling(柔性最小值加权平均池化操作)，为后τ帧q值的加权平均；q_i+τ表示第i+τ个视频帧的质量评估得分；γ为设定的权值；f,g体现视觉迟滞效应的权重：

f→min(q_i-τ,q_i)

其中，e表示自然常数；

最终通过平均池化操作(Average Pooling)，计算视频的质量评估得分Q：

其中，N为视频帧总数。

本发明实施例上述方案，不仅能有效衡量失真情况，而且质量提升情况也能有效评估；此外，还满足实时性要求(满足处理速度为60帧每秒的工业界需求)。

为了说明本实施例上述方案的效果，在公共数据库上与现有方案进行比较实验。实验结果，如表格1～表2所示。

表1在数据库1中的实验结果

表2在数据库2中的实验结果

参与对比实验的现有方案中：

1)基于结构和相位一致性的方案，来自文献(L.Zhang,L.Zhang,X.Mou,andD.Zhang,“Fsim:A feature similarityindex for image quality assessment,”IEEEtransactions on ImageProcessing,vol.20,no.8,pp.2378–2386,2011)

2)视觉信息保真度的方案，来自文献(H.R.Sheikh and A.C.Bovik,“Imageinformation and visual quality,”in 2004IEEE International Conference onAcoustics,Speech,and SignalProcessing,vol.3.IEEE,2004,pp.iii–709.)

3)视频多方法评估融合的方案，来自文献(VMAF-Video Multi-MethodAssessment Fusion)。

表1～表2中相关系数越高越好，均方根误差越低越好。通过以上比较结果可见，本发明的方案在公共数据库上取得目前最好的结果。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (6)

1.一种基于视频前处理及转码的质量评估方法，其特征在于，包括：

对于原始视频以及视频前处理及转码后视频的单个视频帧，均分别提取自然统计特征与图像梯度方向的统计特征，分别计算两类特征的偏差程度再采用加权的方式，得到单个视频帧的质量评估得分；

将所有视频帧的质量评估得分进行时域池化，得到视频的质量评估得分，包括：

人眼在i时刻所感知的质量与该i时刻前τ时间内的质量存在相关性，这种相关性只与τ时间有关，每一时刻对应一个视频帧，将q_i表示第i个视频帧的质量评估得分，则第i时刻的视觉印象分q′_i计算如下：

其中，q_i-τ表示第i-τ个视频帧的质量评估得分；

对视觉印象分q′_i进行修正，得到修正后的视觉印象分q″_i：

其中，f(.)表示最小池化操作，g(.)是表示柔性最小值加权平均池化操作，q_i+τ表示第i+τ个视频帧的质量评估得分；γ为设定的权值；

从而计算视频的质量评估得分Q：

其中，N为视频帧总数。

2.根据权利要求1所述的一种基于视频前处理及转码的质量评估方法，其特征在于，自然统计特征包括：图像的亮度信息、对比度信息和结构性信息。

3.根据权利要求1或2所述的一种基于视频前处理及转码的质量评估方法，其特征在于，提取自然统计特征之前，对单个视频帧进行降采样处理。

4.根据权利要求1或2所述的一种基于视频前处理及转码的质量评估方法，其特征在于，单个自然统计特征的偏差程度计算方式为：

其中，μ_k为原始视频中单个视频帧k的某一种自然统计特征的平均值，μ_j为视频前处理及转码后单个视频帧j的某一种自然统计特征的平均值，σ_k、σ_j分别为视频帧k、视频帧j的方差，σ_kj为相应的协方差；c₁与c₂均为常数；所有种类的自然统计特征都通过上述偏差程度计算方式各自计算偏差程度后再连乘，得到自然统计特征的偏差程度。

5.根据权利要求1所述的一种基于视频前处理及转码的质量评估方法，其特征在于，提取图像梯度方向的统计特征的方式包括：

对单个视频帧进行水平和垂直两个方向的边缘检测，再计算梯度幅值：

其中，G_x(x，y)、G_y(x，y)、G(x，y)分别表示位于像素点(x，y)的水平方向梯度、垂直方向梯度和像素点(x，y)的梯度幅值；

汇总所有像素点的梯度幅值，得到单个视频帧图像梯度方向的统计特征。

6.根据权利要求1或5所述的一种基于视频前处理及转码的质量评估方法，其特征在于，图像梯度方向的统计特征的偏差程度计算方式为：

首先，计算：

对F₁与F₂进行加权平均，得到的结果F作为图像梯度方向的统计特征的偏差程度；

其中，G_k为原始视频中单个视频帧的图像梯度方向的统计特征，G_j为视频前处理及转码后单个视频帧的图像梯度方向的统计特征；C为设定的常数参数。

Images