CN109429051B - 基于多视图特征学习的无参考立体视频质量客观评价方法 - Google Patents

Abstract

本发明公开了一种基于多视图特征学习的无参考立体视频质量客观评价方法：对图像序列进行曲波变换，提取系数作为纹理特征；将八个相邻像素点与中心像素点比较；产生十种输出模式；计算每种模式出现频率，取平均值作为空域纹理特征；降维处理，得到空域特征；获得相邻图像运动强度特征，求平均值作为时域特征；立体感知域视图进行DCT变换，DCT系数建模，提取形状参数，求平均值作为立体感知域特征；进行SVM训练；利用评价模型分别预测，得到客观质量分数；加权得到最终质量分数。本发明结合空域、时域和立体感特征对于立体视频质量的影响，进行立体视频质量评价，提高立体视频客观质量评价的准确性。

Description

基于多视图特征学习的无参考立体视频质量客观评价方法

技术领域

本发明涉及视频处理领域，更具体的说，是涉及一种基于多视图特征学习的无参考立体视频质量客观评价方法。

背景技术

由于3D能够带给观众立体感和更真实的观看体验，因此三维视频技术已经受到工业产品生产商和电子产品消费者的广泛关注。然而，视频的采集、编码压缩、传输、处理以及显示过程中的任何一个环节都有可能引起视频的失真，导致视频质量下降，因此视频质量评价的研究对推动图像和视频处理技术的发展具有重要意义。

立体视频质量评价方法分为主观质量评价和客观质量评价两种方法。主观质量评价方法是通过一组受测试者按照相应的实验标准观看一系列的视频序列，并判断相应的感知质量的过程；客观评价方法是通过计算模型来评价视频质量，并且使评价结果尽可能与主观结果相一致的方法。与客观质量评价方法相比，主观评价方法过程繁琐，耗时较长，花费较大，很难在实时性要求较高的系统中得到应用，因此研究者开始广泛致力于客观质量评价方法的研究。如今的立体视频客观质量评价方法大多是有参考的，需要原始视频信息，然而在实际应用中，原始视频很难获取，因此探索无参考的立体视频质量客观评价方法显得尤为重要。

发明内容

本发明的目的是为了克服现有技术中的不足，提供一种基于多视图特征学习的无参考立体视频质量客观评价方法，结合空域特征、时域特征和立体感特征对于立体视频质量的影响，进行立体视频质量评价，提高立体视频客观质量评价的准确性。

本发明的目的是通过以下技术方案实现的。

本发明的基于多视图特征学习的无参考立体视频质量客观评价方法，每个失真立体视频对由左视点视频和右视点视频组成，包括以下步骤：

第一步：对组成左视点视频和右视点视频的图像序列分别进行曲波变换，提取每幅图像的曲波变换系数作为纹理特征；

第二步：对于每个曲波变换系数子带，任选一点作为中心像素点，将八个相邻像素点的曲波系数与中心像素点的曲波系数进行比较，大于中心像素点的相邻像素点的位置标记为1，否则为0；3×3邻域内的八个相邻像素点经比较产生八位二进制数，即得到该窗口中心像素点的LBP值，总共产生十种不同的输出模式(0～9)；最终在每个曲波变换系数子带中计算每种输出模式的出现频率，并在左视点视频和右视点视频的所有帧上取平均值，将其作为立体视频质量评价的空域纹理特征；

第三步：用主成分分析法对第二步中的空域纹理特征进行降维处理，得到最终的空域特征；

第四步：利用新三步搜索法获得相邻两帧图像之间运动矢量，并提取图像的运动强度特征，最终对视频所有图像序列的运动强度特征求平均值作为最终的时域特征；

第五步：对左视点视频和右视点视频做差运算，得到立体视频的立体感知域视图，在其每个子图像块上进行DCT变换，然后在整幅图像上对所有DCT变换系数进行分布统计，利用广义高斯概率分布对立体感知域视图的DCT变换系数进行建模，并提取形状参数作为DCT变换系数分布的特征，最终在视频所有图像序列上求形状参数平均值作为衡量立体感失真程度的特征，即立体感知域特征；

第六步：在已知主观分数值的立体视频库训练集上进行SVM训练，得到一个与所得特征相对应的评价模型；对待测试视频进行第一步到第五步的处理，提取对应的空域特征、时域特征和立体感知域特征，之后利用评价模型分别进行预测，分别得到空域、时域和立体感知域视图的客观质量分数；

第七步：将第六步得到的空域、时域和立体感知域视图的客观质量分数进行加权得到立体视频的最终质量分数。

第一步中所述曲波变换系数的计算方法如下：

其中，k₁和k₂分别表示空间域的横、纵坐标，j和l分别表示尺度和方向参数，尺度为默认尺度j＝log₂(min(M，N))-3，M和N分别表示输入图像的长度和宽度，f[m,n]表示二维图像矩阵，并且0≤m＜M，0≤n＜N，

表示第l个方向、第j个尺度、空间位置为k₁和k₂的椭圆形曲波。

第二步中所述中心像素点的LBP值的确定过程为：

对于给定的一像素点c，此处的LBP编码通过下式比较此像素点的值和周围八个邻近像素点的值得到，

其中，P是相邻像素的数目(P＝8)，R是邻域半径,g是某一像素点的值，c是中心像素点，p是相邻像素点，g_c是中心像素点的值，g_p是相邻像素点的值，s(x)是阈值函数，

上述传统的LBP描述特征能力有限，因此采用改进的具备旋转不变性的LBP描述算子：

第二步中所述每种输出模式的出现频率按以下方法进行计算：

每种输出模式的出现次数：

其中，K是LBP模式的最大值，f(a,b)是阈值函数，

每种输出模式的出现频率：

第二步中所述最终空域纹理特征表示为：

其中，S_l为左视点空域纹理特征值，S_r为右视点空域纹理特征值，n为视频的总帧数。

第三步中空域特征表示为：

第四步中所述相邻两帧图像之间运动矢量：

MO(x,y)＝[MO_hor(x,y),MO_ver(x,y)]

其中，MO_hor(x,y)为水平方向运动矢量，MO_ver(x,y)为垂直方向运动矢量

根据两帧图像之间的运动矢量，计算运动矢量的运动幅度：

并求得一幅图像的平均运动幅度，作为该幅图像的运动强度特征：

其中，L表示运动矢量MO(x,y)的数量。

第五步中所述立体感知域视图表示为：

I_d(i,j,t)＝|I_l(i,j,t)-I_r(i,j,t)|

其中，I_l是左视点视频的图像序列，I_r是右视点视频的图像序列，

所述广义高斯概率分布函数为：

其中，μ是均值，γ是形状参数，α是归一化参数，β是尺寸参数。

步骤七中所述立体视频的最终质量分数：

其中，Q_s、Q_t、Q_d分别表示空域、时域和立体感知域视图的客观质量分数，

为归一化后的运动强度特征。

与现有技术相比，本发明的技术方案所带来的有益效果是：

本发明本发明综合考虑时域特性、空域特性和立体感知域特性，将基于曲波变换和LBP的空域纹理特征、基于新三步搜索法的时域特征和基于DCT变换的立体感知域特征应用于视频质量客观评价方法之中，对提取的三部分特征分别进行训练并得出三部分的质量分数，最终对三部分的分数进行加权作为立体视频的最终质量分数，得到的立体视频质量客观评价结果与主观结果具有很高的一致性，从而对立体视频质量做出更加全面、准确的客观评价，极大的提高了立体视频客观质量评价的性能。

附图说明

图1是本发明的流程框图；

图2是本发明中3×3窗口的旋转不变LBP示意图；

图3是本发明中DCT系数统计分布的γ参数分布示意图。

具体实施方式

下面结合附图对本发明作进一步的描述。

本发明的基于多视图特征学习的无参考立体视频质量客观评价方法，利用LBP算子提取失真对空域特性影响的特征，利用新三步搜索法提取失真对视频时域特性影响的特征，利用DCT变换提取视频的立体感特征，并以支持向量机(SVM)作为工具，对提取的三部分特征分别进行训练并得出三部分的质量分数；最终对三部分的分数进行加权作为立体视频的最终质量分数，从而对立体视频质量做出更加全面、准确的客观评价。

如图1至图3所示，本发明的基于多视图特征学习的无参考立体视频质量客观评价方法，每个失真立体视频对由左视点视频和右视点视频组成，设失真视频对为(t_l,t_r)，具体包括以下步骤：

第一步：对组成左视点视频和右视点视频的图像序列I_l和I_r分别进行曲波变换，提取每幅图像的曲波变换系数作为纹理特征。

曲波变换是一种多尺度几何变换算法，曲波变换系数的计算方法如下：

其中，k₁和k₂分别表示空间域的横、纵坐标，j和l分别表示尺度和方向参数，这里所用尺度为默认尺度j＝log₂(min(M，N))-3，M和N分别表示输入图像的长度和宽度，f[m,n]表示二维图像矩阵，并且0≤m＜M，0≤n＜N，

表示第l个方向、第j个尺度、空间位置为k₁和k₂的椭圆形曲波。

第二步：对于每个曲波变换系数子带，任选一点作为中心像素点，将八个相邻像素点的曲波系数与中心像素点的曲波系数进行比较，大于中心像素点的相邻像素点(周围值大于中心值)的位置标记为1，否则为0。这样，3×3邻域内的八个相邻像素点经比较产生八位二进制数，即得到该窗口中心像素点的LBP值。

对于给定的一像素点c，此处的LBP编码通过下式(2)比较此像素点的值和周围八个邻近像素点的值得到，

其中，P是相邻像素的数目(P＝8)，R是邻域半径,g是某一像素点的值，c是中心像素点，p是相邻像素点，g_c是中心像素点的值，g_p是相邻像素点的值，s(x)是阈值函数，

但是上述传统的LBP描述特征能力有限，且不具备旋转不变性，因此我们采用改进的具备旋转不变性的LBP描述算子：

根据上述定义，对于3×3的窗格，总共可产生十种不同的旋转不变的输出模式(0～9)。

接下来在每个曲波变换系数子带中计算每种输出模式的出现次数：

其中，K是LBP模式的最大值，f(a,b)是阈值函数，

每种输出模式的出现频率：

计算出每种输出模式的出现频率后，并在左视点视频和右视点视频的所有帧上取平均值，将其作为立体视频质量评价的空域纹理特征。

其中，S_l为左视点空域纹理特征值，S_r为右视点空域纹理特征值，n为视频的总帧数。

第三步：由于曲波变换会产生多个维度，每个维度上产生十个空域纹理特征，因此空域和时空交互空间的特征存在大量冗余，占用存储空间较大，后续处理时间较长。因此，我们用主成分分析法(PCA)对上述空域纹理特征进行降维处理，即用较少数量的特征对样本特征进行描述，得到最终的空域特征f_s。

主成分分析的作用就是将多个相关性较强的空域纹理特征X₁,X₂,...X_p重新组合，生成少数积分彼此不相关的特征F₁,F₂,...F_m,并且使他们尽可能多地包含原有变量的信息。将原有变量重新组合成主成分的方法如下

第四步：根据新三步搜索法，每个像素都有一个运动矢量，可以反映相邻帧之间的运动关系。本文将一帧图像分为大小为w×w的子块，利用新三步搜索法获得相邻两帧图像之间运动矢量(相邻帧图像每个子块对应的运动矢量)：

MO(x,y)＝[MO_hor(x,y),MO_ver(x,y)] (11)

其中，MO_hor(x,y)为水平方向运动矢量，MO_ver(x,y)为垂直方向运动矢量。

随后，根据两帧图像之间的运动矢量，计算运动矢量的运动幅度：

并求得一幅图像的平均运动幅度，作为该幅图像的运动强度特征：

其中，L表示运动矢量MO(x,y)的数量。

最终对视频所有图像序列的运动强度特征求平均值作为最终的时域特征，用来估计时域特性失真程度。

第五步：对左视点视频和右视点视频做差运算，得到立体视频的立体感知域视图(差值图像)：

I_d(i,j,t)＝|I_l(i,j,t)-I_r(i,j,t)| (14)

其中，I_l是左视点视频的图像序列，I_r是右视点视频的图像序列。

针对一幅大小为M×N的差值图像，将其分为w×w大小的子图像块，在其每个子图像块上进行DCT变换，然后在整幅图像上对所有DCT变换系数进行分布统计，利用广义高斯概率分布对立体感知域视图的DCT变换系数进行建模，并提取广义高斯概率分布函数的形状参数作为DCT变换系数分布的特征。

广义高斯概率分布函数为：

其中，μ是均值，γ是形状参数，α是 归一化参数，β是尺寸参数。在其他参数不变的条件下，γ值的变化会对应不同的分布曲线。 最终在视频所有图像序列上求形状参数平均值作为衡量立体感失真程度的特征，即立体感 知域特征。

第六步：以上述空域特征、时域特征和立体感知域特征为基础，对视频的所有图像序列求每组特征的平均值。在已知主观分数值的立体视频库训练集上进行SVM训练，得到一个与所得特征相对应的评价模型。对待测试视频进行第一步到第五步的处理，提取对应的空域特征、时域特征和立体感知域特征，之后利用评价模型分别进行预测，分别得到空域、时域和立体感知域视图的客观质量分数。

第七步：根据双目视觉特征，一段视频的运动强度越小，人眼越会关注视频的空域质量；相反，一段视频的运动强度越大，人眼越会关注视频的时域质量。将前面得到的空域、时域和立体感知域视图的客观质量分数进行加权得到立体视频的最终质量分数：

其中，Q_s、Q_t、Q_d分别表示空域、时域和立体感知域视图的客观质量分数，

为归一化后的运动强度特征。

尽管上面结合附图对本发明的功能及工作过程进行了描述，但本发明并不局限于上述的具体功能和工作过程，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可以做出很多形式，这些均属于本发明的保护之内。

Claims (8)

1.基于多视图特征学习的无参考立体视频质量客观评价方法，每个失真立体视频对由左视点视频和右视点视频组成，其特征在于，包括以下步骤：

第一步：对组成左视点视频和右视点视频的图像序列分别进行曲波变换，提取每幅图像的曲波变换系数作为纹理特征；

第二步：对于每个曲波变换系数子带，任选一点作为中心像素点，将八个相邻像素点的曲波系数与中心像素点的曲波系数进行比较，大于中心像素点的相邻像素点的位置标记为1，否则为0；3×3邻域内的八个相邻像素点经比较产生八位二进制数，即得到该窗口中心像素点的LBP值，总共产生十种不同的输出模式：0～9；最终在每个曲波变换系数子带中计算每种输出模式的出现频率，并在左视点视频和右视点视频的所有帧上取平均值，将其作为立体视频质量评价的空域纹理特征；

第三步：用主成分分析法对第二步中的空域纹理特征进行降维处理，得到最终的空域特征；

第四步：利用新三步搜索法获得相邻两帧图像之间运动矢量，并提取图像的运动强度特征，最终对视频所有图像序列的运动强度特征求平均值作为最终的时域特征；

第五步：对左视点视频和右视点视频做差运算，得到立体视频的立体感知域视图，在其每个子图像块上进行DCT变换，然后在整幅图像上对所有DCT变换系数进行分布统计，利用广义高斯概率分布对立体感知域视图的DCT变换系数进行建模，并提取形状参数作为DCT变换系数分布的特征，最终在视频所有图像序列上求形状参数平均值作为衡量立体感失真程度的特征，即立体感知域特征；

第六步：在已知主观分数值的立体视频库训练集上进行SVM训练，得到一个与所得特征相对应的评价模型；对待测试视频进行第一步到第五步的处理，提取对应的空域特征、时域特征和立体感知域特征，之后利用评价模型分别进行预测，分别得到空域、时域和立体感知域视图的客观质量分数；

第七步：将第六步得到的空域、时域和立体感知域视图的客观质量分数进行加权得到立体视频的最终质量分数。

2.根据权利要求1所述的基于多视图特征学习的无参考立体视频质量客观评价方法，其特征在于，第一步中所述曲波变换系数的计算方法如下：

其中，k₁和k₂分别表示空间域的横、纵坐标，j和l分别表示尺度和方向参数，尺度为默认尺度j＝log₂(min(M，N))-3，M和N分别表示输入图像的长度和宽度，f[m,n]表示二维图像矩阵，并且0≤m＜M，0≤n＜N，

表示第l个方向、第j个尺度、空间位置为k₁和k₂的椭圆形曲波。

3.根据权利要求1所述的基于多视图特征学习的无参考立体视频质量客观评价方法，其特征在于，第二步中所述中心像素点的LBP值的确定过程为：

采用改进的具备旋转不变性的LBP描述算子：

其中，P是相邻像素的数目，P＝8，R是邻域半径,g是某一像素点的值，c是中心像素点，p是相邻像素点，g_c是中心像素点的值，g_p是相邻像素点的值，s(x)是阈值函数。

4.根据权利要求1所述的基于多视图特征学习的无参考立体视频质量客观评价方法，其特征在于，第二步中所述每种输出模式的出现频率按以下方法进行计算：

每种输出模式的出现次数：

其中，K是LBP模式的最大值，f(a,b)是阈值函数，

每种输出模式的出现频率：

5.根据权利要求1所述的基于多视图特征学习的无参考立体视频质量客观评价方法，其特征在于，第二步中所述最终空域纹理特征表示为：

其中，S_l为左视点空域纹理特征值，S_r为右视点空域纹理特征值，n₁为视频的总帧数。

6.根据权利要求1所述的基于多视图特征学习的无参考立体视频质量客观评价方法，其特征在于，第四步中所述相邻两帧图像之间运动矢量：

MO(x,y)＝[MO_hor(x,y),MO_ver(x,y)]

其中，MO_hor(x,y)为水平方向运动矢量，MO_ver(x,y)为垂直方向运动矢量根据两帧图像之间的运动矢量，计算运动矢量的运动幅度：

并求得一幅图像的平均运动幅度，作为该幅图像的运动强度特征：

其中，L表示运动矢量MO(x,y)的数量。

7.根据权利要求1所述的基于多视图特征学习的无参考立体视频质量客观评价方法，其特征在于，第五步中所述立体感知域视图表示为：

I_d(i,j,t)＝|I_l(i,j,t)-I_r(i,j,t)|

其中，I_l是左视点视频的图像序列，I_r是右视点视频的图像序列，

所述广义高斯概率分布函数为：

其中，μ是均值，γ是形状参数，α是归一化参数，β是尺寸参数。

8.根据权利要求1所述的基于多视图特征学习的无参考立体视频质量客观评价方法，其特征在于，步骤七中所述立体视频的最终质量分数：

其中，Q_s、Q_t、Q_d分别表示空域、时域和立体感知域视图的客观质量分数，

为归一化后的运动强度特征。

Images