CN111711812B - 基于帧间交叉信息的无参考立体视频质量评价方法 - Google Patents

Abstract

本发明涉及一种基于帧间交叉信息的无参考立体视频质量评价方法,包括：给定一个立体视频对中的左视图L和右视图R，逐帧计算双目求和图和差分图；在空域内，利用Log‑Gabor滤波器进行特征提取，从生成的双目求和图和双目差分图提取幅度特征；得到每一帧画面内每个坐标点的局部空间幅度信息特征和局部相位特征；获得最终的幅度和相位特征；对帧间交叉图I_C进行局部空间幅度信息特征提取和局部相位特征提取；在时间域上，提取光流特征，对视频质量进行分析；所提取的各项特征，采用SVR进行训练，对立体视频质量分数进行预测。

Description

基于帧间交叉信息的无参考立体视频质量评价方法

技术领域

本发明属视频处理领域，涉及立体视频质量评价方法。

背景技术

随着3D视频技术的飞速发展，在不久的将来，人们对3D内容的需求会越来越大。立体视频以其逼 真的立体视觉和极好的沉浸体验而具有广阔的应用前景。因此，主观或客观视觉质量模型的开发成为目前 的研究热点[1]。然而，除了在转换过程中不可避免的失真外，在评估3D视频质量方面还存在一些具体的 挑战。其原因主要如下:与图像相比，视频中其中包含的信息量较大，内容较为复杂，对其质量的预测更加 困难。

关于视频质量评价的研究大致可以分为主观质量评价和客观质量评价两大类[2]。主观质量评价是利用 足够多的观测者根据观看体验，来评价视频的失真程度并给出主观分数。然后对这些分数进行平均，得到 一个平均意见分数(MOS)，它可以代表被测试视频的真实观看体验。事实上，这种主观评价是视频感知质 量的最佳指标。客观质量评价是利用计算机视觉模拟人类视觉系统(HVS)，自动测量图像或视频的质量是 否符合人类视觉感知[3]。与主观评价相比，其在实际中因具有不受相关因素干扰且不需要大量主观实验，操作简单等优势，得到更广泛的应用。

根据对原始图像或视频的需求，现有的目标方法一般分为三种类型，即全参考(Full-Reference,FR)、半 参考(Reduced-Reference,RR)和无参考(No-Reference,NR)。FR算法需要原始信号和失真信号来预测质量下 降程度，而RR算法则只应用了参考立体视频对的部分信息。NR方法是在不提供原始信号信息的情况下， 对失真的立体视频进行质量检测。然而，考虑到参考视频在大多数实际应用中不可用，只有无参考方法才 有可能满足实际需求。

[1]T.Kim,J.Kang,S.Lee,andA.C.Bovik,“Multimodal interactive continuousscoring ofsubjective 3D video qualityofexperience,”IEEETransactionsonMultimedia.,vol.16,no.2,pp.387-402,2014.

[2]Q.Huynh Thu,M.N.Garcia,F.Speranza,P.Corriveau,and A.Raake,“Studyof rating scales for subjective quality assessmentofhigh-definitionvideo,”IEEE Transactions onBroadcasting,vol.57,no.1,pp.1-14, 2011.

[3]J.Yang,H.Wang,W.Lu,B.Li,A.Badii,and Q.Meng,“A no-reference opticalflow-based quality evaluatorforstereoscopicvideos incurveletdomain,”Information Sciences.,vol.414,pp.133-146,2017.

发明内容

本发明提供一种无参考立体视频质量评价方法。本发明利用双目特征激发模型来测量失真的程度，从 而得到改进的无参考立体视频质量评价框架模型，该方法利用视频帧间交叉信息有效地反映了视频失真度 与MOS之间的关系，可以对视频的质量进行快速、高效的评估。技术方案如下：

一种基于帧间交叉信息的无参考立体视频质量评价方法,包括以下几个步骤：

第一步：给定一个立体视频对中的左视图L和右视图R，逐帧计算双目求和图和差分图。

第二步：在空域内，利用Log-Gabor滤波器进行特征提取，从生成的双目求和图和双目差分图提取幅 度特征；

第三步：通过下式，求解每一帧画面内每个坐标点的局部空间幅度信息特征：

其中，(k1,k2)表示空间域内的坐标，j＝{1,...,J}和l＝{1,...L}分别表示尺度和方向， R_j,l(k₁,k₂)和Im_j,l(k₁,k₂)分别表示构成Log-Gabor的实部和虚部；

第四步：在空域内，从所生成的双目求和图和双目差分图提取相位特征，采用下式去提取位于坐标点 (k1,k2)的局部相位特征：

第五步：在空间域提取完幅度和相位信息后，再采用局部二值化(LBP)算子对所提取的局部空间幅度 信息特征和局部相位特征进行处理，并将处理后的统计特征值，作为最终的幅度和相位特征；

第六步：根据立体视频对中的左右两路视频，合成帧间交叉图I_C；

第七步：重复第二步步骤，对帧间交叉图I_C进行局部空间幅度信息特征提取；

第八步：重复第三步步骤，对帧间交叉图I_C进行局部相位特征提取；

第九步：在时间域上，提取光流特征，对视频质量进行分析；

第十步：利用步骤五、步骤七、步骤八和步骤九提取的各项特征，采用SVR进行训练，对立体视频 质量分数进行预测。

附图说明

图1基于帧间交叉的无参考立体视频质量评价算法流程图。

图2用于视频质量评价的特征值汇总表图，(a)时间域特征(b)空间-时间域特征(c)空间域特征。

具体实施方式

本发明提出的方法主要包括：根据左右视频对生成求和图和差分图、在空域内提取其幅度特征、在空 域内提取其相位特征、合成帧间交叉图、在空间-时间域内提取帧间交叉图的幅度和相位信息、在时域内提 取光流特征、根据上述特征进行视频质量预测等步骤。对于一个立体视频序列，首先根据左右视频对生成 求和图和差分图；然后利用log-gabor滤波器提取其幅度信息和相位信息；然后采用LBP方法对上述两个 特征信息进行二值化编码处理；之后，再根据左右路视频合成帧间交叉图，重复上述提取幅度信息和相位信息的步骤；接下来，对左右视图提取光流特征；最后把上述所有特征，利用SVR进行训练，实现对立 体视频质量的预测。具体步骤如下：

第一步：根据立体视频对的左右两路视频生成双目总和图、差异图。

根据立体编码理论，将双目信号编码为两个不相关的双目求和信号和差分信号，再对求和通道和差分 通道进行增益控制，可以有效的优化其灵敏度。给定一个立体视频对中的左视图L和右视图R，可以按照 下式，逐帧计算双目求和图和差分图。

I_Difference＝|I_Li-I_Ri|

其中，i是立体视频序列中的帧数，表示当前进行的是第几帧的计算。

第二步：在空域内，从上述生成的双目求和图和双目差分图提取幅度特征。

因为人眼对事物的感知具有方向性和频率选择性，因此通过多尺度和多向滤波响应的统计可以模拟人 眼感受域中对各种尺度和方向性敏感性。因为Log-Gabor滤波器可以避免直流干扰和带宽限制，我们利用 它们进行特征提取。本发明中，Log-Gabor滤波器中所用的核函数可以由下式定义

其中，w₀表示中心频率，θ_l＝lπ/L,l＝{0,1,...,L-1}是方向角，σ_θ和σ_γ分别控制滤波器的角带宽 和径向带宽。

接下来，通过下式，求解每一帧画面内每个坐标点的局部空间幅度信息特征。

其中，(k1,k2)表示空间域内的坐标，j＝{1,...,J}和l＝{1,...L}分别表示尺度和方向， R_j,l(k₁,k₂)和Im_j,l(k₁,k₂)分别表示构成Log-Gabor的实部和虚部。

第三步：在空域内，从上述生成的双目求和图和双目差分图提取相位特征。

由于人眼对图像的相位信息更加敏感，所以每一帧的相位信息也被Log-Gabor滤波器提取为空间信息。

我们采用下式去提取位于坐标点(k1,k2)的局部相位信息。

在空间域提取完幅度和相位信息后，再采用局部二值化(LBP)算子对上述两个信息进行处理，并将处 理后的统计特征值，作为最终的幅度和相位特征。

第四步：根据立体视频对中的左右两路视频，合成帧间交叉图

在对视频质量进行评估时，除了可以从空域和时间域对视频进行特征提取之外，还可以从空间-时间域 (Spatio-temporal Domain)提取有效信息。因此，基于空间-时间域的分析，帧间交叉图可以由下式定义。

它表示：在右(左)视频序列的第i+n帧和左(右)视频序列的第i帧之间存在串扰，n是常数。

第五步：重复第二步步骤，对帧间交叉图I_C进行幅度特征提取。

第六步：重复第三步步骤，对帧间交叉图I_C进行相位特征提取。

第七步：在时间域上，提取光流(optical flow)特征，对视频质量进行分析。

立体视频质量评价的一个重要组成部分是在时间域上对失真进行分析，以往的大部分方法都是将运动 幅度作为时间特征直接测量。本发明中，为了将光的运动与帧的运动联系起来，采用光流度量来获取t时 刻和t+△t时刻两帧之间的运动信息。首先，采用HornSchunck算法获得在时间域上的运动向量，其约束 方程为下式所示：

I_xv_x+I_yv_y+I_t＝0

其中I(x,y,t)表示t时刻在坐标点x,y)处的强度。光流在非失真的自然图像中是平滑的，但在失真时失 去了其平滑特性。特别是失真的程度会影响光流的大小和方向。为了描述视频失真的程度，首先将光流分 成几个部分，并记做ξ_i，之后，对其做统计。光流分量样本的统计方法如下：

其中，假设所有的光流样本分量ξ_i具有相同的方向，且都是N维的。最后，提取的光流特征通过计算 每一帧的统计量进行平均值得到。

第八步：根据上述提取的特征，对立体视频质量的分数进行预测

因为上述步骤分别从空间域、空间-时间域、时间域对视频进行特征提取，在本步骤中，也分别将空间 域、空间-时间域、时间域的特征，利用SVR进行训练，分别得到视频在空间域上的分数Q_SD，在空间-时 间域上的分数Q_C，在时间域上的分数Q_T。最后通过三个参数μ＝0.4和η＝0.4和γ＝0.2整合，得到最终 分数公式如下Q＝0.4·Q_SD+0.4·Q_C+0.2·Q_T。

Claims (1)

1.一种基于帧间交叉信息的无参考立体视频质量评价方法,包括以下几个步骤：

第一步：给定一个立体视频对中的左视图L和右视图R，逐帧计算双目求和图I_Summation和差分图I_Difference：

I_Difference＝|I_Li-I_Ri|

其中，i是立体视频序列中的帧数；

第二步：在空域内，利用Log-Gabor滤波器进行特征提取，从生成的双目求和图和双目差分图提取幅度特征；

第三步：通过下式，求解每一帧画面内每个坐标点的局部空间幅度信息特征：

其中，(k1,k2)表示空间域内的坐标，j＝{1,...,J}和l＝{1,...L}分别表示尺度和方向，R_j,l(k₁,k₂)和Im_j,l(k₁,k₂)分别表示构成Log-Gabor的实部和虚部；

第四步：在空域内，从所生成的双目求和图和双目差分图提取相位特征，采用下式去提取位于坐标点(k1,k2)的局部相位特征：

第五步：在空间域提取完幅度和相位信息后，再采用局部二值化LBP算子对所提取的局部空间幅度信息特征和局部相位特征进行处理，并将处理后的统计特征值，作为最终的幅度和相位特征；

第六步：根据立体视频对中的左右两路视频，合成帧间交叉图I_C：

表示：在右/ 左视频序列的第i+n帧和左/ 右视频序列的第i帧之间存在串扰，n是常数；

第七步：重复第二步步骤，对帧间交叉图I_C进行局部空间幅度信息特征提取；

第八步：重复第三步步骤，对帧间交叉图I_C进行局部相位特征提取；

第九步：在时间域上，提取光流特征，对视频质量进行分析；

第十步：利用步骤五、步骤七、步骤八和步骤九提取的各项特征，采用SVR进行训练，对立体视频质量分数进行预测。

Images