CN110933402B - 基于运动纹理特征的无参考立体视频质量评价方法 - Google Patents

Abstract

本发明涉及一种基于运动纹理特征的无参考立体视频质量评价方法，包括下列步骤：提取左右立体视频对的关键帧序列；将提取出的关键帧序列进行求和以及差分处理，从而进行立体视觉编码，得到两个两个视图的累加图和差分图；利用三正交平面的局部二值化模型去提取求和图和差分图的纹理特征和运动信息；采用主成分分析法(PCA)来减少第三步得到的统计特征的冗余特征，对其进行降维；将求和图和差分图在每个平面已去除冗余特征的直方图串联起来，形成一个时空结合的综合特征，即立体视频序列的综合纹理信息特征；分别评估立体视频求和图和差分图的质量。

Description

基于运动纹理特征的无参考立体视频质量评价方法

技术领域

本发明属视频处理领域，涉及立体视频质量评价方法。

背景技术

近年来，随着立体成像技术的发展和成熟，立体成像技术研究领域十分活跃[1]。随着三维处理、通信和显示技术的广泛应用，观众对图像或视频的质量提出了更高的要求。但是在发送、传输、接收和处理的过程中，立体视频不可避免的会带来不同程度的失真[2]。为了获得满意的视觉效果，对数字立体图像或视频质量的评价显得尤为重要。

目前，质量评价可分为主观评价和客观评价两类[3]。主观方法指参与者根据自身对图像或视频质量的直观感受对其打分，并作为图像或视频质量的评价标准。虽然该方法是完全真正的质量视觉感知，被认为是最有效的方法，但除了组织实验参与者外，其实施成本也很高高，需要大量的实验和数据处理时间。客观质量评价是利用计算机视觉模拟人类视觉系统(HVS)，自动测量图像或视频的质量是否符合人类视觉感知。与主观评价相比，其在实际中因具有不受相关因素干扰且不需要大量主观实验，操作简单等优势，得到更广泛的应用。

根据对原始图像或视频的需求，现有的目标方法一般分为三种类型，即全参考(Full-Reference,FR)、半参考(Reduced-Reference,RR)和无参考(No-Reference,NR)。FR算法需要原始信号和失真信号来预测质量下降程度，而RR算法则只应用了参考立体视频对的部分信息。NR方法是在不提供原始信号信息的情况下，对失真的立体视频进行质量检测[4]。然而，考虑到参考视频在大多数实际应用中不可用，只有无参考方法才有可能满足实际需求。因此，本发明的工作重点是更具吸引力和挑战性的无参考方法，并为立体视频质量评价领域提出一个新的通用无参考框架。

参考文献：

[1]L.Liu,T.Wang,and H.Huang,”Pre-attention and Spatial DependencyDriven No-Reference Image Quality Assessment,”IEEE Transactions onMultimedia.,vol.21,no.9,pp.2305-2318,2019.

[2]Y.Zhang,X.Gao,L.He,W.Lu,and R.He,”Objective Video QualityAssessment Combining Transfer Learning With CNN,”IEEE Transactions on NeuralNetworks and Learning Systems.,pp:1-15,2019

[3]J.Gu,G.Meng,and J.Redi,S.Xiang,and C.Pan,”Blind Image QualityAssessment via Vector Regression and Object Oriented Pooling,”IEEETransactions on Multimedia.,vol.20,no.5,pp.1140-1153,2018

[4]Q.Yan,D.Gong,and Y.Zhang,”Two-Stream Convolutional Networks forBlind Image Quality Assessment,”IEEE Transactions on Image Processing.,vol.28,no.5,pp.2200-2211,2019.

发明内容

本发明的目的是提供一种可以对视频质量进行快速、高效评估的无参考立体视频质量评价(No-reference StereoscopicVideos QualityAssessment,NR-SVQA)方法。本发明的实质性特点是根据人类视觉感知系统(HVS)的运动掩蔽现象，采用了提取运动强度最小的连续序列作为关键帧序列的方法对立体视频的失真进行评估。技术方案如下：

一种基于运动纹理特征的无参考立体视频质量评价方法，包括下列步骤：

第一步：提取左右立体视频对的关键帧序列；

第二步：将提取出的关键帧序列进行求和以及差分处理，从而进行立体视觉编码，得到

两个视图的求加图和差分图；

第三步：利用三正交平面的局部二值化模型去提取求和图和差分图的纹理特征和运动信息，对XY平面统计得到静态纹理特征，对XT和YT平面得到动态纹理信息。

第四步：采用主成分分析法(PCA)来减少第三步得到的统计特征的冗余特征，对其进行

降维；

第五步：将求和图和差分图在每个平面，即XY,XT,YT面中已去除冗余特征的直方图串联起来，形成一个时空结合的综合特征，即立体视频序列的综合纹理信息特征：

第六步：分别将求和图和差分图的综合的纹理特征和对应的MOS值输入至两个支撑向量机(SVM)中，分别评估立体视频求和图和差分图的质量，并得到分数Q_S和Q_d；

第七步：最后通过两个参数α＝0.6和β＝0.4整合，得到最终分数：Q＝0.6·Q_S+0.4·Q_d。

步骤三对于一个平面的处理步骤如下：

1).根据中心像素点值(gc)及其邻域8个像素点值(gi)的大小关系，对其邻域的8个点赋值(0或1)，将其组成8位二进制码；

2).将8位二进制码转换成十进制，该值作为中心像素点的新值；

3).对每个像素点都进行处理，得到一幅新的图形；

4).对第3步得到的新的图形进行直方图统计，并将其作为纹理特征。

附图说明

图1基于运动纹理特征的无参考立体视频质量评价算法流程图

图2 LBP-TOP算子模型及三个平面上的LBP直方图

具体实施方式

本发明提出的无参考立体视频质量评价框架，包括对视频序列提取关键帧、将关键帧处理为求和图和差分图、对处理后的关键帧提取纹理特征、将特征利用SVM进行训练、预测分数等步骤。首先将输入的立体视频中的左右视频对按照运动强度最小的连续序列作为关键帧序列的原理提取关键帧；接下来，将左右路视频的的关键帧分别两两对应做差和求和，将对关键帧进行处理；然后，对处理后的关键帧(做差图和求和图)进行纹理特征提取；接着把提取的特征作为输入，放至SVM中训练；最后对一个输入的立体视频可以预测出其做差图和求和图的分数，再将两个分数进行融合得到最终视频质量分数。下面结合实施例进行说明。

第一步：提取左右立体视频对的关键帧序列。

我们首先用公式D_i(x,y)

D_i(x,y)＝|I_i(x,y)-I_i-1(x,y)|

计算左路视频帧序列中第i和i-1帧间差异，并绘制成帧间差异图。为了便于计算差异面积，应用下述公式：

对帧间差异图进行二值化处理。其中白色区域就表示相邻两帧之间存在差异，黑色区域表示两帧之间相似。之后采用下述公式：

计算白色区域的面积。在进行上述计算时，先将一段视频的帧间差分序列分成几个互不重叠的组，每个组由11个大小为L×W的帧间差分图组成。S(·)表示白色区域的位置(x,y)。S_k是第k组序列的白色区域总差值。

通过比较各组的白色区域，选取面积最小的序列，即运动强度最小的序列作为关键帧序列。

第二步：从右路视频中提取出与左路视频关键帧序列位置一致的序列，并将该组序列对作为立体视频质量特点的表征。

第三步：将上述提取出的关键帧序列按照下述求和以及差分通道理论进行立体视觉编码。

I_s(x,y)＝[I_l(x,y)+I_r(x,y)]/2

I_d(x,y)＝|I_l(x,y)-I_r(x,y)|

其中I_s和I_d分别是两个视图的累加图和差分图。

第四步：利用三正交平面(XY,XT,YT面)的局部二值化(Local Binary Pattern-Three Orthogonal Plane,LBP-TOP)模型去提取求和图和查分图的纹理特征和运动信息。其具体步骤是：

对其中一个平面，先根据LBP-TOP编码规则，根据中心像素点值(g_c)及其邻域8个像素点值(g_i)的差别，对其进行二值化处理，并编码。然后通过下式：

将编码后的二进制转化成十进制，其中u(·)表示阶跃函数。然后通过下式：

绘制出其对应的直方图。其中L,W表示一幅图像的大小为L×W。I(·)表示判断函数，即：

因为本次LBP-TOP计算涉及三个平面，用R_X,R_Y,R_T分别表示三个平面上采用的窗的半径，R_X＝R_Y＝R_T＝1，P_XY,P_XT,P_YT分别表示每个平面上的邻域像素点个数，P_XY＝P_XT＝P_YT＝8。因此，每个平面上采用上述LBP-TOP方法提取出的纹理特征可以表示为：

其中，其中，j为1，2和3对应于XY，XT，YT平面，f_j(x,y,t)表示像素点(x,y,t)对应的LBP值，即上述将二进制转换成十进制的公式。可将提取出的纹理特征分别表示为LBP-TOP_8,8,8,1,1,1。其中XY平面上表示静态纹理特征，XT和YT平面上表示的动态纹理特征。

第五步：利用LBP-TOP算法从关键帧序列的求和图和差分图中提取静态和动态纹理特征后，为了在提高算法运行效率的同时不影响最终的视频质量评价结果，采用主成分分析法(PCA)来减少统计特征的冗余特征。

第六步：将求和图和差分图在每个平面中(XY,XT,YT面)已去除冗余特征的直方图串联起来，形成一个时空结合的综合特征，即立体视频序列的综合纹理信息特征。

第七步：最后分别将求和图和差分图的综合的纹理特征和对应的MOS值输入至两个支撑向量机(SVM)中，分别评估立体视频求和图和查分图的质量，并得到分数Q_S和Q_d。最后通过两个参数α＝0.6和β＝0.4整合，得到最终分数公式如下：

Q＝0.6·Q_S+0.4·Q_d。

Claims (2)

1.一种基于运动纹理特征的无参考立体视频质量评价方法，包括下列步骤：

第一步：提取左右立体视频对的关键帧序列，方法如下：

(1)对于左右立体视频中的一路视频帧序列，计算i和i-1帧间差异，并绘制成帧间差异图，对帧间差异图进行二值化处理，其中白色区域就表示相邻两帧之间存在差异，黑色区域表示两帧之间相似；

(2)计算白色区域的面积，方法如下：先将一段视频的帧间差分序列分成几个互不重叠的组，每个组由多个帧间差分图组成，通过比较各组的白色区域，选取面积最小的序列，即运动强度最小的序列作为关键帧序列；

第二步：将提取出的关键帧序列进行求和以及差分处理，从而进行立体视觉编码，得到两个视图的求加图和差分图；

第三步：利用三正交平面的局部二值化模型去提取求和图和差分图的纹理特征和运动信息，对XY平面统计得到静态纹理特征，对XT和YT平面得到动态纹理信息；

第四步：采用主成分分析法PCA来减少第三步得到的统计特征的冗余特征，对其进行降维；

第五步：将求和图和差分图在每个平面，即XY,XT,YT面中已去除冗余特征的直方图串联起来，形成一个时空结合的综合特征，即立体视频序列的综合纹理信息特征：

第六步：分别将求和图和差分图的综合的纹理特征和对应的MOS值输入至两个支撑向量机SVM中，分别评估立体视频求和图和差分图的质量，并得到分数Q_S和Q_d；

第七步：最后通过两个参数α＝0.6和β＝0.4整合，得到最终分数：Q＝0.6·Q_S+0.4·Q_d。

2.根据权利要求1所述的质量评价方法，其特征在于，步骤三对于一个平面的处理步骤如下：

1).根据中心像素点值gc及其邻域8个像素点值gi的大小关系，对其邻域的8个点赋值0或1，将其组成8位二进制码；

2).将8位二进制码转换成十进制，该值作为中心像素点的新值；

3).对每个像素点都进行处理，得到一幅新的图形；

4).对第3步得到的新的图形进行直方图统计，并将其作为纹理特征。

Images