一种基于特征选择的无参考多失真立体图像质量评价方法
技术领域
本发明涉及一种图像质量评价技术,尤其是涉及一种基于特征选择的无参考多失真立体图像质量评价方法。
背景技术
随着图像编码和显示等技术的迅速发展,图像质量评价研究已经成为其中非常重要的环节。图像质量客观评价方法研究的目标是与主观评价结果尽可能保持一致,从而摆脱耗时而枯燥的图像质量主观评价方法,其能够利用计算机自动地评价图像质量。根据对原始图像的参考和依赖程度,图像质量客观评价方法可以分为三大类:全参考(FullReference,FR)图像质量评价方法、部分参考(Reduced Reference,RR)图像质量评价方法和无参考(No Reference,NR)图像质量评价方法。
无参考图像质量评价方法由于无需任何参考图像信息,具有较高的灵活性,因此受到了越来越广泛的关注。目前,已有的无参考图像质量评价方法是通过机器学习来预测评价模型的,但是对于多失真图像质量评价问题,现有的针对单失真的预测评价模型并不能直接应用,这是因为:1)多失真图像同时包含多种失真类型,而现有的特征描述在表征不同失真类型上的能力有所差别;2)多失真图像的失真信息是无法事先获取的,而单个的质量预测模型并不能有效地表征多失真信息,因此,如何构造能反映不同失真类型的特征选择方法,如何对不同失真类型建立质量预测模型,都是在无参考多失真图像质量评价研究中需要重点解决的技术问题。
发明内容
本发明所要解决的技术问题是提供一种基于特征选择的无参考多失真立体图像质量评价方法,其考虑了不同特征对不同失真类型的影响,不仅极大地降低了特征维数,而且有效地提高了客观评价结果与主观感知之间的相关性。
本发明解决上述技术问题所采用的技术方案为:一种基于特征选择的无参考多失真立体图像质量评价方法,其特征在于包括训练阶段和测试阶段两个过程;
所述的训练阶段过程的具体步骤如下:
①_1、选取N幅原始的无失真立体图像;然后对每幅原始的无失真立体图像分别进行L个不同失真强度的JPEG失真、L个不同失真强度的高斯模糊失真和L个不同失真强度的高斯白噪声失真,得到每幅原始的无失真立体图像对应的L个失真强度的JPEG失真立体图像、L个失真强度的高斯模糊失真立体图像、L个失真强度的高斯白噪声失真立体图像;并对每幅原始的无失真立体图像同时进行L个不同失真强度的JPEG失真、L个不同失真强度的高斯模糊失真和L个不同失真强度的高斯白噪声失真,得到每幅原始的无失真立体图像对应的L×L×L个失真强度的多失真立体图像;接着将所有原始的无失真立体图像各自对应的L个失真强度的JPEG失真立体图像构成JPEG失真训练图像集,记为并将所有原始的无失真立体图像各自对应的L个失真强度的高斯模糊失真立体图像构成高斯模糊失真训练图像集,记为将所有原始的无失真立体图像各自对应的L个失真强度的高斯白噪声失真立体图像构成高斯白噪声失真训练图像集,记为将所有原始的无失真立体图像各自对应的L×L×L个失真强度的多失真立体图像构成多失真训练图像集,记为其中,N>1,L>1,1≤u≤N,1≤v≤L,1≤v'≤L×L×L,表示第u幅原始的无失真立体图像对应的第v个失真强度的JPEG失真立体图像,表示第u幅原始的无失真立体图像对应的第v个失真强度的高斯模糊失真立体图像,表示第u幅原始的无失真立体图像对应的第v个失真强度的高斯白噪声失真立体图像,表示第u幅原始的无失真立体图像对应的第v'个失真强度的多失真立体图像;
①_2、获取中的每幅失真立体图像的左视点图像和右视点图像各自的图像特征矢量,将中的第k幅失真立体图像的左视点图像和右视点图像各自的图像特征矢量对应记为和其中,1≤k≤N×L,和的维数均为128×1;
同样,获取中的每幅失真立体图像的左视点图像和右视点图像各自的图像特征矢量,将中的第k幅失真立体图像的左视点图像和右视点图像各自的图像特征矢量对应记为和其中,和的维数均为128×1;
获取中的每幅失真立体图像的左视点图像和右视点图像各自的图像特征矢量,将中的第k幅失真立体图像的左视点图像和右视点图像各自的图像特征矢量对应记为和其中,和的维数均为128×1;
获取中的每幅多失真立体图像的左视点图像和右视点图像各自的图像特征矢量,将中的第k'幅多失真立体图像的左视点图像和右视点图像各自的图像特征矢量对应记为和其中,1≤k'≤N×L×L×L,和的维数均为128×1;
①_3、获取针对JPEG失真的特征选择函数,记为g1();然后获取中的每幅失真立体图像的经特征选择后的图像特征矢量,将中的第k幅失真立体图像的经特征选择后的图像特征矢量记为其中,的维数为30×1;
获取针对高斯模糊失真的特征选择函数,记为g2();然后获取中的每幅失真立体图像的经特征选择后的图像特征矢量,将中的第k幅失真立体图像的经特征选择后的图像特征矢量记为其中,的维数为30×1;
获取针对高斯白噪声失真的特征选择函数,记为g3();然后获取中的每幅失真立体图像的经特征选择后的图像特征矢量,将中的第k幅失真立体图像的经特征选择后的图像特征矢量记为其中,的维数为30×1;
①_4、将中的所有失真立体图像的经特征选择后的图像特征矢量和平均主观评分差值构成第一样本集合,记为然后采用支持向量回归模型作为机器学习的方法,对进行训练,使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小,构造得到第一质量预测函数,记为f1();其中,表示中的第k幅失真立体图像的平均主观评分差值;
同样,将中的所有失真立体图像的经特征选择后的图像特征矢量和平均主观评分差值构成第二样本集合,记为然后采用支持向量回归模型作为机器学习的方法,对进行训练,使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小,构造得到第二质量预测函数,记为f2();其中,表示中的第k幅失真立体图像的平均主观评分差值;
同样,将中的所有失真立体图像的经特征选择后的图像特征矢量和平均主观评分差值构成第三样本集合,记为然后采用支持向量回归模型作为机器学习的方法,对进行训练,使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小,构造得到第三质量预测函数,记为f3();其中,表示中的第k幅失真立体图像的平均主观评分差值;
所述的测试阶段过程的具体步骤如下:
②_1、对于任意一幅测试用的多失真立体图像Stest,将Stest的左视点图像记为Ltest,将Stest的右视点图像记为Rtest;
②_2、按照步骤①_2的过程,以相同的操作获取Ltest和Rtest各自的图像特征矢量,对应记为和其中,和的维数均为128×1;
②_3、根据在训练阶段获取的针对JPEG失真的特征选择函数g1(),获取Stest的第一经特征选择后的图像特征矢量,记为其中,的维数为30×1;
同样,根据在训练阶段获取的针对高斯模糊失真的特征选择函数g2(),获取Stest的第二经特征选择后的图像特征矢量,记为其中,的维数为30×1;
根据在训练阶段获取的针对高斯白噪声失真的特征选择函数g3(),获取Stest的第三经特征选择后的图像特征矢量,记为其中,的维数为30×1;
②_4、根据在训练阶段构造得到的第一质量预测函数f1(),计算Stest的针对JPEG失真的质量预测值,记为Q1,同样,根据在训练阶段构造得到的第二质量预测函数f2(),计算Stest的针对高斯模糊失真的质量预测值,记为Q2,根据在训练阶段构造得到的第三质量预测函数f3(),计算Stest的针对高斯白噪声失真的质量预测值,记为Q3,然后加权Q1、Q2和Q3得到Stest的图像质量客观评价预测值,记为Q,Q=ω1×Q1+ω2×Q2+ω3×Q3;其中,ω1、ω2和ω3均为加权参数,ω1+ω2+ω3=1。
所述的步骤①_2中的的获取过程为:采用4个尺度和4个方向的Gabor滤波器、局部二值模式方法、BRISQUE方法及梯度幅值的自然场景统计方法分别对中的第k幅失真立体图像的左视点图像进行处理,对应得到中的第k幅失真立体图像的左视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量,其中,信息熵和标准差特征矢量的维数为32×1,第一图像特征矢量的维数为36×1,第二图像特征矢量的维数为18×1,第三图像特征矢量的维数为42×1;然后将中的第k幅失真立体图像的左视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量按序组合成维数为128×1的矢量,将该矢量作为中的第k幅失真立体图像的左视点图像的图像特征矢量
所述的步骤①_2中的的获取过程为:采用4个尺度和4个方向的Gabor滤波器、局部二值模式方法、BRISQUE方法及梯度幅值的自然场景统计方法分别对中的第k幅失真立体图像的右视点图像进行处理,对应得到中的第k幅失真立体图像的右视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量,其中,信息熵和标准差特征矢量的维数为32×1,第一图像特征矢量的维数为36×1,第二图像特征矢量的维数为18×1,第三图像特征矢量的维数为42×1;然后将中的第k幅失真立体图像的右视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量按序组合成维数为128×1的矢量,将该矢量作为中的第k幅失真立体图像的右视点图像的图像特征矢量
所述的步骤①_2中的的获取过程为:采用4个尺度和4个方向的Gabor滤波器、局部二值模式方法、BRISQUE方法及梯度幅值的自然场景统计方法分别对中的第k幅失真立体图像的左视点图像进行处理,对应得到中的第k幅失真立体图像的左视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量,其中,信息熵和标准差特征矢量的维数为32×1,第一图像特征矢量的维数为36×1,第二图像特征矢量的维数为18×1,第三图像特征矢量的维数为42×1;然后将中的第k幅失真立体图像的左视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量按序组合成维数为128×1的矢量,将该矢量作为中的第k幅失真立体图像的左视点图像的图像特征矢量
所述的步骤①_2中的的获取过程为:采用4个尺度和4个方向的Gabor滤波器、局部二值模式方法、BRISQUE方法及梯度幅值的自然场景统计方法分别对中的第k幅失真立体图像的右视点图像进行处理,对应得到中的第k幅失真立体图像的右视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量,其中,信息熵和标准差特征矢量的维数为32×1,第一图像特征矢量的维数为36×1,第二图像特征矢量的维数为18×1,第三图像特征矢量的维数为42×1;然后将中的第k幅失真立体图像的右视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量按序组合成维数为128×1的矢量,将该矢量作为中的第k幅失真立体图像的右视点图像的图像特征矢量
所述的步骤①_2中的的获取过程为:采用4个尺度和4个方向的Gabor滤波器、局部二值模式方法、BRISQUE方法及梯度幅值的自然场景统计方法分别对中的第k幅失真立体图像的左视点图像进行处理,对应得到中的第k幅失真立体图像的左视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量,其中,信息熵和标准差特征矢量的维数为32×1,第一图像特征矢量的维数为36×1,第二图像特征矢量的维数为18×1,第三图像特征矢量的维数为42×1;然后将中的第k幅失真立体图像的左视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量按序组合成维数为128×1的矢量,将该矢量作为中的第k幅失真立体图像的左视点图像的图像特征矢量
所述的步骤①_2中的的获取过程为:采用4个尺度和4个方向的Gabor滤波器、局部二值模式方法、BRISQUE方法及梯度幅值的自然场景统计方法分别对中的第k幅失真立体图像的右视点图像进行处理,对应得到中的第k幅失真立体图像的右视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量,其中,信息熵和标准差特征矢量的维数为32×1,第一图像特征矢量的维数为36×1,第二图像特征矢量的维数为18×1,第三图像特征矢量的维数为42×1;然后将中的第k幅失真立体图像的右视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量按序组合成维数为128×1的矢量,将该矢量作为中的第k幅失真立体图像的右视点图像的图像特征矢量
所述的步骤①_2中的的获取过程为:采用4个尺度和4个方向的Gabor滤波器、局部二值模式方法、BRISQUE方法及梯度幅值的自然场景统计方法分别对中的第k'幅多失真立体图像的左视点图像进行处理,对应得到中的第k'幅多失真立体图像的左视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量,其中,信息熵和标准差特征矢量的维数为32×1,第一图像特征矢量的维数为36×1,第二图像特征矢量的维数为18×1,第三图像特征矢量的维数为42×1;然后将中的第k'幅多失真立体图像的左视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量按序组合成维数为128×1的矢量,将该矢量作为中的第k'幅多失真立体图像的左视点图像的图像特征矢量
所述的步骤①_2中的的获取过程为:采用4个尺度和4个方向的Gabor滤波器、局部二值模式方法、BRISQUE方法及梯度幅值的自然场景统计方法分别对中的第k'幅多失真立体图像的右视点图像进行处理,对应得到中的第k'幅多失真立体图像的右视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量,其中,信息熵和标准差特征矢量的维数为32×1,第一图像特征矢量的维数为36×1,第二图像特征矢量的维数为18×1,第三图像特征矢量的维数为42×1;然后将中的第k'幅多失真立体图像的右视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量按序组合成维数为128×1的矢量,将该矢量作为中的第k'幅多失真立体图像的右视点图像的图像特征矢量
所述的步骤①_3中针对JPEG失真的特征选择函数g1()的获取过程为:
①_3a1、将中的所有失真立体图像的左视点图像的图像特征矢量构成维数为128×M的矩阵,该矩阵中的第k列为然后将该矩阵转置后并重新表示为[yL(1)(1),yL(1)(2),…,yL(1)(128)];其中,M=N×L,yL(1)(1),yL(1)(2),…,yL(1)(128)对应为[yL(1)(1),yL(1)(2),…,yL(1)(128)]中的第1个列向量、第2个列向量、……、第128个列向量,yL(1)(1)、yL(1)(2)和yL(1)(128)的维数均为M×1;
同样,将中的所有多失真立体图像的左视点图像的图像特征矢量构成维数为128×M'的矩阵,该矩阵中的第k'列为然后将该矩阵转置后并重新表示为[yL(4)(1),yL(4)(2),…,yL(4)(128)];其中,M'=N×L×L×L,yL(4)(1),yL(4)(2),…,yL(4)(128)对应为[yL(4)(1),yL(4)(2),…,yL(4)(128)]中的第1个列向量、第2个列向量、……、第128个列向量,yL(4)(1)、yL(4)(2)和yL(4)(128)的维数均为M'×1;
①_3a2、将[yL(1)(1),yL(1)(2),…,yL(1)(128)]中当前待处理的第i个列向量yL(1)(i)定义为当前第一列向量,将[yL(4)(1),yL(4)(2),…,yL(4)(128)]中当前待处理的第i个列向量yL(4)(i)定义为当前第二列向量;其中,i的初始值为1,1≤i≤128;
①_3a3、计算yL(1)(i)的直方图分布,记为{HL(1),(i)(j)|1≤j≤10};计算yL(4)(i)的直方图分布,记为{HL(4),(i)(j)|1≤j≤10};其中,HL(1),(i)(j)表示{HL(1),(i)(j)|1≤j≤10}中的第j个直方图节点的出现概率,HL(4),(i)(j)表示{HL(4),(i)(j)|1≤j≤10}中的第j个直方图节点的出现概率;
①_3a4、计算{HL(1),(i)(j)|1≤j≤10}与{HL(4),(i)(j)|1≤j≤10}之间的Kullback-Leibler距离,记为dL(1)(i),其中,log()表示以10为底的对数函数;
①_3a5、令i=i+1;然后将[yL(1)(1),yL(1)(2),…,yL(1)(128)]中下一个待处理的第i个列向量yL(1)(i)作为当前第一列向量,将[yL(4)(1),yL(4)(2),…,yL(4)(128)]中下一个待处理的第i个列向量yL(4)(i)作为当前第二列向量;再返回步骤①_3a3继续执行,直至[yL(1)(1),yL(1)(2),…,yL(1)(128)]和[yL(4)(1),yL(4)(2),…,yL(4)(128)]中的所有列向量处理完毕为止,共得到128个Kullback-Leibler距离;其中,i=i+1中的“=”为赋值符号;
①_3a6、按从小到大的顺序排列128个Kullback-Leibler距离;然后将[yL(1)(1),yL (1)(2),…,yL(1)(128)]中与前15个Kullback-Leibler距离各自对应的列向量的位置作为中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置;
①_3a7、按照步骤①_3a1至步骤①_3a5的过程,以相同的方式对中的所有失真立体图像的右视点图像的图像特征矢量和中的所有多失真立体图像的右视点图像的图像特征矢量进行处理,最终得到对应的128个Kullback-Leibler距离,第i个Kullback-Leibler距离为dR (1)(i);接着从这128个Kullback-Leibler距离中剔除与中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置相应的15个Kullback-Leibler距离;然后按从小到大的顺序排列剩余的113个Kullback-Leibler距离,并将中的所有失真立体图像的右视点图像的图像特征矢量构成的维数为128×M的矩阵经转置后的重新表示[yR(1)(1),yR(1)(2),…,yR(1)(128)]中与前15个Kullback-Leibler距离各自对应的列向量的位置作为中的每幅失真立体图像的右视点图像的图像特征矢量中应选择的图像特征的位置;其中,yR(1)(1),yR(1)(2),…,yR(1)(128)对应为[yR(1)(1),yR(1)(2),…,yR(1)(128)]中的第1个列向量、第2个列向量、……、第128个列向量,yR(1)(1)、yR(1)(2)和yR(1)(128)的维数均为M×1;
①_3a8、根据中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置与中的每幅失真立体图像的右视点图像的图像特征矢量中应选择的图像特征的位置,获得针对JPEG失真的特征选择函数g1(),使g1()的输入为中的每幅失真立体图像的左视点图像的图像特征矢量和中的每幅失真立体图像的右视点图像的图像特征矢量,g1()的输出为由根据中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置而选择的图像特征与根据中的每幅失真立体图像的右视点图像的图像特征矢量中应选择的图像特征的位置而选择的图像特征构成的图像特征矢量;
所述的步骤①_3中针对高斯模糊失真的特征选择函数g2()的获取过程为:
①_3b1、将中的所有失真立体图像的左视点图像的图像特征矢量构成维数为128×M的矩阵,该矩阵中的第k列为然后将该矩阵转置后并重新表示为[yL(2)(1),yL(2)(2),…,yL(2)(128)];其中,M=N×L,yL(2)(1),yL(2)(2),…,yL(2)(128)对应为[yL(2)(1),yL(2)(2),…,yL(2)(128)]中的第1个列向量、第2个列向量、……、第128个列向量,yL(2)(1)、yL(2)(2)和yL(2)(128)的维数均为M×1;
同样,将中的所有多失真立体图像的左视点图像的图像特征矢量构成维数为128×M'的矩阵,该矩阵中的第k'列为然后将该矩阵转置后并重新表示为[yL(4)(1),yL(4)(2),…,yL(4)(128)];其中,M'=N×L×L×L,yL(4)(1),yL(4)(2),…,yL(4)(128)对应为[yL(4)(1),yL(4)(2),…,yL(4)(128)]中的第1个列向量、第2个列向量、……、第128个列向量,yL(4)(1)、yL(4)(2)和yL(4)(128)的维数均为M'×1;
①_3b2、将[yL(2)(1),yL(2(2),…yL(2)(128)]中当前待处理的第i个列向量yL(2)(i)定义为当前第一列向量,将[yL(4)(1),yL(4)(2),…,yL(4)(128)]中当前待处理的第i个列向量yL(4)(i)定义为当前第二列向量;其中,i的初始值为1,1≤i≤128;
①_3b3、计算yL(2)(i)的直方图分布,记为{HL(2),(i)(j)|1≤j≤10};计算yL(4)(i)的直方图分布,记为{HL(4),(i)(j)|1≤j≤10};其中,HL(2),(i)(j)表示{HL(2),(i)(j)|1≤j≤10}中的第j个直方图节点的出现概率,HL(4),(i)(j)表示{HL(4),(i)(j)|1≤j≤10}中的第j个直方图节点的出现概率;
①_3b4、计算{HL(2),(i)(j)|1≤j≤10}与{HL(4),(i)(j)|1≤j≤10}之间的Kullback-Leibler距离,记为dL(2)(i),其中,log()表示以10为底的对数函数;
①_3b5、令i=i+1;然后将[yL(2)(1),yL(2(2),…yL(2)(128)]中下一个待处理的第i个列向量yL(2)(i)作为当前第一列向量,将[yL(4)(1),yL(4)(2),…,yL(4)(128)]中下一个待处理的第i个列向量yL(4)(i)作为当前第二列向量;再返回步骤①_3b3继续执行,直至[yL(2)(1),yL(2(2),…yL(2)(128)]和[yL(4)(1),yL(4)(2),…,yL(4)(128)]中的所有列向量处理完毕为止,共得到128个Kullback-Leibler距离;其中,i=i+1中的“=”为赋值符号;
①_3b6、按从小到大的顺序排列128个Kullback-Leibler距离;然后将[yL(2)(1),yL (2(2),…yL(2)(128)]中与前15个Kullback-Leibler距离各自对应的列向量的位置作为中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置;
①_3b7、按照步骤①_3b1至步骤①_3b5的过程,以相同的方式对中的所有失真立体图像的右视点图像的图像特征矢量和中的所有多失真立体图像的右视点图像的图像特征矢量进行处理,最终得到对应的128个Kullback-Leibler距离,第i个Kullback-Leibler距离为dR (2)(i);接着从这128个Kullback-Leibler距离中剔除与中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置相应的15个Kullback-Leibler距离;然后按从小到大的顺序排列剩余的113个Kullback-Leibler距离,并将中的所有失真立体图像的右视点图像的图像特征矢量构成的维数为128×M的矩阵经转置后的重新表示[yR(2)(1),yR(2)(2),…,yR(2)(128)]中与前15个Kullback-Leibler距离各自对应的列向量的位置作为中的每幅失真立体图像的右视点图像的图像特征矢量中应选择的图像特征的位置;其中,yR(2)(1),yR(2)(2),…,yR(2)(128)对应为[yR(2)(1),yR(2)(2),…,yR(2)(128)]中的第1个列向量、第2个列向量、……、第128个列向量,yR(2)(1)、yR(2)(2)和yR(2)(128)的维数均为M×1;
①_3b8、根据中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置与中的每幅失真立体图像的右视点图像的图像特征矢量中应选择的图像特征的位置,获得针对高斯模糊失真的特征选择函数g2(),使g2()的输入为中的每幅失真立体图像的左视点图像的图像特征矢量和中的每幅失真立体图像的右视点图像的图像特征矢量,g2()的输出为由根据中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置而选择的图像特征与根据中的每幅失真立体图像的右视点图像的图像特征矢量中应选择的图像特征的位置而选择的图像特征构成的图像特征矢量;
所述的步骤①_3中针对高斯白噪声失真的特征选择函数g3()的获取过程为:
①_3c1、将中的所有失真立体图像的左视点图像的图像特征矢量构成维数为128×M的矩阵,该矩阵中的第k列为然后将该矩阵转置后并重新表示为[yL(3)(1),yL(3)(2),…,yL(3)(128)];其中,M=N×L,yL(3)(1),yL(3)(2),…,yL(3)(128)对应为[yL(3)(1),yL(3)(2),…,yL(3)(128)]中的第1个列向量、第2个列向量、……、第128个列向量,yL(3)(1)、yL(3)(2)和yL(3)(128)的维数均为M×1;
同样,将中的所有多失真立体图像的左视点图像的图像特征矢量构成维数为128×M'的矩阵,该矩阵中的第k'列为然后将该矩阵转置后并重新表示为[yL(4)(1),yL(4)(2),…,yL(4)(128)];其中,M'=N×L×L×L,yL(4)(1),yL(4)(2),…,yL(4)(128)对应为[yL(4)(1),yL(4)(2),…,yL(4)(128)]中的第1个列向量、第2个列向量、……、第128个列向量,yL(4)(1)、yL(4)(2)和yL(4)(128)的维数均为M'×1;
①_3c2、将[yL(3)(1),yL(3)(2),…,yL(3)(128)]中当前待处理的第i个列向量yL(3)(i)定义为当前第一列向量,将[yL(4)(1),yL(4)(2),…,yL(4)(128)]中当前待处理的第i个列向量
yL(4)(i)定义为当前第二列向量;其中,i的初始值为1,1≤i≤128;
①_3c3、计算yL(3)(i)的直方图分布,记为{HL(3),(i)(j)|1≤j≤10};计算yL(4)(i)的直方图分布,记为{HL(4),(i)(j)|1≤j≤10};其中,HL(3),(i)(j)表示{HL(3),(i)(j)|1≤j≤10}中的第j个直方图节点的出现概率,HL(4),(i)(j)表示{HL(4),(i)(j)|1≤j≤10}中的第j个直方图节点的出现概率;
①_3c4、计算{HL(3),(i)(j)|1≤j≤10}与{HL(4),(i)(j)|1≤j≤10}之间的Kullback-Leibler距离,记为dL(3)(i),其中,log()表示以10为底的对数函数;
①_3c5、令i=i+1;然后将[yL(3)(1),yL(3)(2),…,yL(3)(128)]中下一个待处理的第i个列向量yL(3)(i)作为当前第一列向量,将[yL(4)(1),yL(4)(2),…,yL(4)(128)]中下一个待处理的第i个列向量yL(4)(i)作为当前第二列向量;再返回步骤①_3b3继续执行,直至[yL(3)(1),yL(3)(2),…,yL(3)(128)]和[yL(4)(1),yL(4)(2),…,yL(4)(128)]中的所有列向量处理完毕为止,共得到128个Kullback-Leibler距离;其中,i=i+1中的“=”为赋值符号;
①_3c6、按从小到大的顺序排列128个Kullback-Leibler距离;然后将[yL(3)(1),yL (3)(2),…,yL(3)(128)]中与前15个Kullback-Leibler距离各自对应的列向量的位置作为中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置;
①_3c7、按照步骤①_3c1至步骤①_3c5的过程,以相同的方式对中的所有失真立体图像的右视点图像的图像特征矢量和中的所有多失真立体图像的右视点图像的图像特征矢量进行处理,最终得到对应的128个Kullback-Leibler距离,第i个Kullback-Leibler距离为dR (3)(i);接着从这128个Kullback-Leibler距离中剔除与中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置相应的15个Kullback-Leibler距离;然后按从小到大的顺序排列剩余的113个Kullback-Leibler距离,并将中的所有失真立体图像的右视点图像的图像特征矢量构成的维数为128×M的矩阵经转置后的重新表示[yR(3)(1),yR(3)(2),…,yR(3)(128)]中与前15个Kullback-Leibler距离各自对应的列向量的位置作为中的每幅失真立体图像的右视点图像的图像特征矢量中应选择的图像特征的位置;其中,yR(3)(1),yR(3)(2),…,yR(3)(128)对应为[yR(3)(1),yR(3)(2),…,yR(3)(128)]中的第1个列向量、第2个列向量、……、第128个列向量,yR(3)(1)、yR(3)(2)和yR(3)(128)的维数均为M×1;
①_3c8、根据中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置与中的每幅失真立体图像的右视点图像的图像特征矢量中应选择的图像特征的位置,获得针对高斯白噪声失真的特征选择函数g3(),使g3()的输入为中的每幅失真立体图像的左视点图像的图像特征矢量和中的每幅失真立体图像的右视点图像的图像特征矢量,g3()的输出为由根据中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置而选择的图像特征与根据中的每幅失真立体图像的右视点图像的图像特征矢量中应选择的图像特征的位置而选择的图像特征构成的图像特征矢量。
所述的步骤②_4中取ω1=0.2、ω2=0.3和ω3=0.5。
与现有技术相比,本发明的优点在于:
1)本发明方法在训练阶段,分别构造针对JPEG失真、高斯模糊失真和高斯白噪声失真的特征选择函数,并采用机器学习方法分别获得针对JPEG失真的第一质量预测函数、针对高斯模糊失真的第二质量预测函数和针对高斯白噪声失真的第三质量预测函数,这样考虑了不同特征对不同失真类型的影响,极大地降低了特征维数,使得本发明方法适用于实际的应用场合。
2)本发明方法在测试阶段,根据在训练阶段构造得到的针对JPEG失真、高斯模糊失真和高斯白噪声失真的特征选择函数及针对JPEG失真的第一质量预测函数、针对高斯模糊失真的第二质量预测函数和针对高斯白噪声失真的第三质量预测函数,只需要通过简单的预测就能得到针对不同失真类型的质量预测值,并通过结合得到最终的图像质量客观评价预测值,使得最终计算得到的图像质量客观评价预测值与主观评价值保持了较好的一致性。
附图说明
图1为本发明方法的总体实现框图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种基于特征选择的无参考多失真立体图像质量评价方法,其总体实现框图如图1所示,其包括训练阶段和测试阶段两个过程;所述的训练阶段过程的具体步骤如下:
①_1、选取N幅原始的无失真立体图像;然后对每幅原始的无失真立体图像分别进行L个不同失真强度的JPEG失真、L个不同失真强度的高斯模糊失真和L个不同失真强度的高斯白噪声失真,得到每幅原始的无失真立体图像对应的L个失真强度的JPEG失真立体图像、L个失真强度的高斯模糊失真立体图像、L个失真强度的高斯白噪声失真立体图像;并对每幅原始的无失真立体图像同时进行L个不同失真强度的JPEG失真、L个不同失真强度的高斯模糊失真和L个不同失真强度的高斯白噪声失真,得到每幅原始的无失真立体图像对应的L×L×L个失真强度的多失真立体图像;接着将所有原始的无失真立体图像各自对应的L个失真强度的JPEG失真立体图像构成JPEG失真训练图像集,记为并将所有原始的无失真立体图像各自对应的L个失真强度的高斯模糊失真立体图像构成高斯模糊失真训练图像集,记为将所有原始的无失真立体图像各自对应的L个失真强度的高斯白噪声失真立体图像构成高斯白噪声失真训练图像集,记为将所有原始的无失真立体图像各自对应的L×L×L个失真强度的多失真立体图像构成多失真训练图像集,记为其中,N>1,在本实施例中取N=10,L>1,在本实施例中取L=3,1≤u≤N,1≤v≤L,1≤v'≤L×L×L,表示第u幅原始的无失真立体图像对应的第v个失真强度的JPEG失真立体图像,表示第u幅原始的无失真立体图像对应的第v个失真强度的高斯模糊失真立体图像,表示第u幅原始的无失真立体图像对应的第v个失真强度的高斯白噪声失真立体图像,表示第u幅原始的无失真立体图像对应的第v'个失真强度的多失真立体图像,符号“{}”为集合表示符号。
在具体实施时,取N=10幅原始的无失真立体图像,对每幅原始的无失真立体图像分别加3个不同失真强度的JPEG失真、3个不同失真强度的高斯模糊失真和3个不同失真强度的高斯白噪声失真,这样得到由30幅JPEG失真立体图像构成的JPEG失真训练图像集、由30幅高斯模糊失真立体图像构成的高斯模糊失真训练图像集、由30幅高斯白噪声失真立体图像构成的高斯白噪声失真训练图像集;对每幅原始的无失真立体图像同时加3个不同失真强度的JPEG失真、3个不同失真强度的高斯模糊失真和3个不同失真强度的高斯白噪声失真,这样得到由270幅多失真立体图像构成的多失真训练图像集,每幅多失真立体图像有三种失真分别为JPEG失真、高斯模糊失真和高斯白噪声失真。
①_2、获取中的每幅失真立体图像的左视点图像和右视点图像各自的图像特征矢量,将中的第k幅失真立体图像的左视点图像和右视点图像各自的图像特征矢量对应记为和其中,1≤k≤N×L,和的维数均为128×1。
同样,获取中的每幅失真立体图像的左视点图像和右视点图像各自的图像特征矢量,将中的第k幅失真立体图像的左视点图像和右视点图像各自的图像特征矢量对应记为和其中,和的维数均为128×1。
获取中的每幅失真立体图像的左视点图像和右视点图像各自的图像特征矢量,将中的第k幅失真立体图像的左视点图像和右视点图像各自的图像特征矢量对应记为和其中,和的维数均为128×1。
获取中的每幅多失真立体图像的左视点图像和右视点图像各自的图像特征矢量,将中的第k'幅多失真立体图像的左视点图像和右视点图像各自的图像特征矢量对应记为和其中,1≤k'≤N×L×L×L,和的维数均为128×1。
①_3、获取针对JPEG失真的特征选择函数,记为g1();然后获取中的每幅失真立体图像的经特征选择后的图像特征矢量,将中的第k幅失真立体图像的经特征选择后的图像特征矢量记为其中,的维数为30×1。
获取针对高斯模糊失真的特征选择函数,记为g2();然后获取中的每幅失真立体图像的经特征选择后的图像特征矢量,将中的第k幅失真立体图像的经特征选择后的图像特征矢量记为其中,的维数为30×1。
获取针对高斯白噪声失真的特征选择函数,记为g3();然后获取中的每幅失真立体图像的经特征选择后的图像特征矢量,将中的第k幅失真立体图像的经特征选择后的图像特征矢量记为其中,的维数为30×1。
①_4、将中的所有失真立体图像的经特征选择后的图像特征矢量和平均主观评分差值构成第一样本集合,记为然后采用公知的支持向量回归模型作为机器学习的方法,对进行训练,使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小,构造得到第一质量预测函数,记为f1();其中,表示中的第k幅失真立体图像的平均主观评分差值。
同样,将中的所有失真立体图像的经特征选择后的图像特征矢量和平均主观评分差值构成第二样本集合,记为然后采用公知的支持向量回归模型作为机器学习的方法,对进行训练,使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小,构造得到第二质量预测函数,记为f2();其中,表示中的第k幅失真立体图像的平均主观评分差值。
同样,将中的所有失真立体图像的经特征选择后的图像特征矢量和平均主观评分差值构成第三样本集合,记为然后采用公知的支持向量回归模型作为机器学习的方法,对进行训练,使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小,构造得到第三质量预测函数,记为f3();其中,表示中的第k幅失真立体图像的平均主观评分差值。
所述的测试阶段过程的具体步骤如下:
②_1、对于任意一幅测试用的多失真立体图像Stest,将Stest的左视点图像记为Ltest,将Stest的右视点图像记为Rtest。
②_2、按照步骤①_2的过程,以相同的操作获取Ltest和Rtest各自的图像特征矢量,对应记为和其中,和的维数均为128×1。
②_3、根据在训练阶段获取的针对JPEG失真的特征选择函数g1(),获取Stest的第一经特征选择后的图像特征矢量,记为其中,的维数为30×1。
同样,根据在训练阶段获取的针对高斯模糊失真的特征选择函数g2(),获取Stest的第二经特征选择后的图像特征矢量,记为其中,的维数为30×1。
根据在训练阶段获取的针对高斯白噪声失真的特征选择函数g3(),获取Stest的第三经特征选择后的图像特征矢量,记为其中,的维数为30×1。
②_4、根据在训练阶段构造得到的第一质量预测函数f1(),计算Stest的针对JPEG失真的质量预测值,记为Q1,同样,根据在训练阶段构造得到的第二质量预测函数f2(),计算Stest的针对高斯模糊失真的质量预测值,记为Q2,根据在训练阶段构造得到的第三质量预测函数f3(),计算Stest的针对高斯白噪声失真的质量预测值,记为Q3,然后加权Q1、Q2和Q3得到Stest的图像质量客观评价预测值,记为Q,Q=ω1×Q1+ω2×Q2+ω3×Q3;其中,ω1、ω2和ω3均为加权参数,ω1+ω2+ω3=1,在本实施例中取ω1=0.2、ω2=0.3和ω3=0.5。
在本实施例中,步骤①_2中的的获取过程为:采用4个尺度和4个方向的Gabor滤波器、局部二值模式(Local Binary Pattern,LBP)方法、BRISQUE(Blind/ReferencelessImage Spatial QUality Evaluator)方法及梯度幅值(Gradient magnitude,GM)的自然场景统计(NSS)方法分别对中的第k幅失真立体图像的左视点图像进行处理,对应得到中的第k幅失真立体图像的左视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量,其中,信息熵和标准差特征矢量的维数为32×1,第一图像特征矢量的维数为36×1,第二图像特征矢量的维数为18×1,第三图像特征矢量的维数为42×1;然后将中的第k幅失真立体图像的左视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量按序组合成维数为128×1的矢量,将该矢量作为中的第k幅失真立体图像的左视点图像的图像特征矢量
在本实施例中,步骤①_2中的的获取过程为:采用4个尺度和4个方向的Gabor滤波器、局部二值模式(Local Binary Pattern,LBP)方法、BRISQUE(Blind/ReferencelessImage Spatial QUality Evaluator)方法及梯度幅值(Gradient magnitude,GM)的自然场景统计(NSS)方法分别对中的第k幅失真立体图像的右视点图像进行处理,对应得到中的第k幅失真立体图像的右视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量,其中,信息熵和标准差特征矢量的维数为32×1,第一图像特征矢量的维数为36×1,第二图像特征矢量的维数为18×1,第三图像特征矢量的维数为42×1;然后将中的第k幅失真立体图像的右视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量按序组合成维数为128×1的矢量,将该矢量作为中的第k幅失真立体图像的右视点图像的图像特征矢量
在本实施例中,步骤①_2中的的获取过程为:采用4个尺度和4个方向的Gabor滤波器、局部二值模式(Local Binary Pattern,LBP)方法、BRISQUE(Blind/ReferencelessImage Spatial QUality Evaluator)方法及梯度幅值(Gradient magnitude,GM)的自然场景统计(NSS)方法分别对中的第k幅失真立体图像的左视点图像进行处理,对应得到中的第k幅失真立体图像的左视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量,其中,信息熵和标准差特征矢量的维数为32×1,第一图像特征矢量的维数为36×1,第二图像特征矢量的维数为18×1,第三图像特征矢量的维数为42×1;然后将中的第k幅失真立体图像的左视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量按序组合成维数为128×1的矢量,将该矢量作为中的第k幅失真立体图像的左视点图像的图像特征矢量
在本实施例中,步骤①_2中的的获取过程为:采用4个尺度和4个方向的Gabor滤波器、局部二值模式(Local Binary Pattern,LBP)方法、BRISQUE(Blind/ReferencelessImage Spatial QUality Evaluator)方法及梯度幅值(Gradient magnitude,GM)的自然场景统计(NSS)方法分别对中的第k幅失真立体图像的右视点图像进行处理,对应得到中的第k幅失真立体图像的右视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量,其中,信息熵和标准差特征矢量的维数为32×1,第一图像特征矢量的维数为36×1,第二图像特征矢量的维数为18×1,第三图像特征矢量的维数为42×1;然后将中的第k幅失真立体图像的右视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量按序组合成维数为128×1的矢量,将该矢量作为中的第k幅失真立体图像的右视点图像的图像特征矢量
在本实施例中,步骤①_2中的的获取过程为:采用4个尺度和4个方向的Gabor滤波器、局部二值模式(Local Binary Pattern,LBP)方法、BRISQUE(Blind/ReferencelessImage Spatial QUality Evaluator)方法及梯度幅值(Gradient magnitude,GM)的自然场景统计(NSS)方法分别对中的第k幅失真立体图像的左视点图像进行处理,对应得到中的第k幅失真立体图像的左视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量,其中,信息熵和标准差特征矢量的维数为32×1,第一图像特征矢量的维数为36×1,第二图像特征矢量的维数为18×1,第三图像特征矢量的维数为42×1;然后将中的第k幅失真立体图像的左视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量按序组合成维数为128×1的矢量,将该矢量作为中的第k幅失真立体图像的左视点图像的图像特征矢量
在本实施例中,步骤①_2中的的获取过程为:采用4个尺度和4个方向的Gabor滤波器、局部二值模式(Local Binary Pattern,LBP)方法、BRISQUE(Blind/ReferencelessImage Spatial QUality Evaluator)方法及梯度幅值(Gradient magnitude,GM)的自然场景统计(NSS)方法分别对中的第k幅失真立体图像的右视点图像进行处理,对应得到中的第k幅失真立体图像的右视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量,其中,信息熵和标准差特征矢量的维数为32×1,第一图像特征矢量的维数为36×1,第二图像特征矢量的维数为18×1,第三图像特征矢量的维数为42×1;然后将中的第k幅失真立体图像的右视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量按序组合成维数为128×1的矢量,将该矢量作为中的第k幅失真立体图像的右视点图像的图像特征矢量
在本实施例中,步骤①_2中的的获取过程为:采用4个尺度和4个方向的Gabor滤波器、局部二值模式(Local Binary Pattern,LBP)方法、BRISQUE(Blind/ReferencelessImage Spatial QUality Evaluator)方法及梯度幅值(Gradient magnitude,GM)的自然场景统计(NSS)方法分别对中的第k'幅多失真立体图像的左视点图像进行处理,对应得到中的第k'幅多失真立体图像的左视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量,其中,信息熵和标准差特征矢量的维数为32×1,第一图像特征矢量的维数为36×1,第二图像特征矢量的维数为18×1,第三图像特征矢量的维数为42×1;然后将中的第k'幅多失真立体图像的左视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量按序组合成维数为128×1的矢量,将该矢量作为中的第k'幅多失真立体图像的左视点图像的图像特征矢量
在本实施例中,步骤①_2中的的获取过程为:采用4个尺度和4个方向的Gabor滤波器、局部二值模式(Local Binary Pattern,LBP)方法、BRISQUE(Blind/ReferencelessImage Spatial QUality Evaluator)方法及梯度幅值(Gradient magnitude,GM)的自然场景统计(NSS)方法分别对中的第k'幅多失真立体图像的右视点图像进行处理,对应得到中的第k'幅多失真立体图像的右视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量,其中,信息熵和标准差特征矢量的维数为32×1,第一图像特征矢量的维数为36×1,第二图像特征矢量的维数为18×1,第三图像特征矢量的维数为42×1;然后将中的第k'幅多失真立体图像的右视点图像的信息熵和标准差特征矢量、第一图像特征矢量、第二图像特征矢量及第三图像特征矢量按序组合成维数为128×1的矢量,将该矢量作为中的第k'幅多失真立体图像的右视点图像的图像特征矢量
在此具体实施例中,步骤①_3中针对JPEG失真的特征选择函数g1()的获取过程为:
①_3a1、将中的所有失真立体图像的左视点图像的图像特征矢量构成维数为128×M的矩阵,该矩阵中的第k列为然后将该矩阵转置后并重新表示为[yL(1)(1),yL(1)(2),…,yL(1)(128)];其中,M=N×L,yL(1)(1),yL(1)(2),…,yL(1)(128)对应为[yL(1)(1),yL(1)(2),…,yL(1)(128)]中的第1个列向量、第2个列向量、……、第128个列向量,yL(1)(1)、yL(1)(2)和yL(1)(128)的维数均为M×1。
同样,将中的所有多失真立体图像的左视点图像的图像特征矢量构成维数为128×M'的矩阵,该矩阵中的第k'列为然后将该矩阵转置后并重新表示为[yL(4)(1),yL(4)(2),…,yL(4)(128)];其中,M'=N×L×L×L,yL(4)(1),yL(4)(2),…,yL(4)(128)对应为[yL(4)(1),yL(4)(2),…,yL(4)(128)]中的第1个列向量、第2个列向量、……、第128个列向量,yL(4)(1)、yL(4)(2)和yL(4)(128)的维数均为M'×1。
①_3a2、将[yL(1)(1),yL(1)(2),…,yL(1)(128)]中当前待处理的第i个列向量yL(1)(i)定义为当前第一列向量,将[yL(4)(1),yL(4)(2),…,yL(4)(128)]中当前待处理的第i个列向量yL(4)(i)定义为当前第二列向量;其中,i的初始值为1,1≤i≤128。
①_3a3、计算yL(1)(i)的直方图分布,记为{HL(1),(i)(j)|1≤j≤10};计算yL(4)(i)的直方图分布,记为{HL(4),(i)(j)|1≤j≤10};其中,HL(1),(i)(j)表示{HL(1),(i)(j)|1≤j≤10}中的第j个直方图节点的出现概率,HL(4),(i)(j)表示{HL(4),(i)(j)|1≤j≤10}中的第j个直方图节点的出现概率。
①_3a4、计算{HL(1),(i)(j)|1≤j≤10}与{HL(4),(i)(j)|1≤j≤10}之间的Kullback-Leibler(K-L)距离,记为dL(1)(i),其中,log()表示以10为底的对数函数。
①_3a5、令i=i+1;然后将[yL(1)(1),yL(1)(2),…,yL(1)(128)]中下一个待处理的第i个列向量yL(1)(i)作为当前第一列向量,将[yL(4)(1),yL(4)(2),…,yL(4)(128)]中下一个待处理的第i个列向量yL(4)(i)作为当前第二列向量;再返回步骤①_3a3继续执行,直至[yL(1)(1),yL(1)(2),…,yL(1)(128)]和[yL(4)(1),yL(4)(2),…,yL(4)(128)]中的所有列向量处理完毕为止,共得到128个Kullback-Leibler距离;其中,i=i+1中的“=”为赋值符号。
①_3a6、按从小到大的顺序排列128个Kullback-Leibler距离;然后将[yL(1)(1),yL (1)(2),…,yL(1)(128)]中与前15个Kullback-Leibler距离各自对应的列向量的位置作为中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置;如:假设[yL(1)(1),yL(1)(2),…,yL(1)(128)]中与前15个Kullback-Leibler距离各自对应的列向量分别为第1个、第4个、第15个、……、第110个、第126个,则[yL(1)(1),yL(1)(2),…,yL(1)(128)]中与前15个Kullback-Leibler距离各自对应的列向量的位置分别为1、4、15、……、110、126,中的每幅失真立体图像的左视点图像的图像特征矢量中应选择第第1个、第4个、第15个、……、第110个、第126个图像特征。
①_3a7、按照步骤①_3a1至步骤①_3a5的过程,以相同的方式对中的所有失真立体图像的右视点图像的图像特征矢量和中的所有多失真立体图像的右视点图像的图像特征矢量进行处理,最终得到对应的128个Kullback-Leibler距离,第i个Kullback-Leibler距离为dR (1)(i);接着从这128个Kullback-Leibler距离中剔除与中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置相应的15个Kullback-Leibler距离;然后按从小到大的顺序排列剩余的113个Kullback-Leibler距离,并将中的所有失真立体图像的右视点图像的图像特征矢量构成的维数为128×M的矩阵经转置后的重新表示[yR(1)(1),yR(1)(2),…,yR(1)(128)]中与前15个Kullback-Leibler距离各自对应的列向量的位置作为中的每幅失真立体图像的右视点图像的图像特征矢量中应选择的图像特征的位置;其中,yR(1)(1),yR(1)(2),…,yR(1)(128)对应为[yR(1)(1),yR(1)(2),…,yR(1)(128)]中的第1个列向量、第2个列向量、……、第128个列向量,yR(1)(1)、yR(1)(2)和yR(1)(128)的维数均为M×1;中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置与中的每幅失真立体图像的右视点图像的图像特征矢量中应选择的图像特征的位置不重叠。
①_3a8、根据中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置与中的每幅失真立体图像的右视点图像的图像特征矢量中应选择的图像特征的位置,获得针对JPEG失真的特征选择函数g1(),使g1()的输入为中的每幅失真立体图像的左视点图像的图像特征矢量和中的每幅失真立体图像的右视点图像的图像特征矢量,g1()的输出为由根据中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置而选择的图像特征与根据中的每幅失真立体图像的右视点图像的图像特征矢量中应选择的图像特征的位置而选择的图像特征构成的图像特征矢量。
在此具体实施例中,步骤①_3中针对高斯模糊失真的特征选择函数g2()的获取过程为:
①_3b1、将中的所有失真立体图像的左视点图像的图像特征矢量构成维数为128×M的矩阵,该矩阵中的第k列为然后将该矩阵转置后并重新表示为[yL(2)(1),yL(2)(2),…,yL(2)(128)];其中,M=N×L,yL(2)(1),yL(2)(2),…,yL(2)(128)对应为[yL(2)(1),yL(2)(2),…,yL(2)(128)]中的第1个列向量、第2个列向量、……、第128个列向量,yL(2)(1)、yL(2)(2)和yL(2)(128)的维数均为M×1。
同样,将中的所有多失真立体图像的左视点图像的图像特征矢量构成维数为128×M'的矩阵,该矩阵中的第k'列为然后将该矩阵转置后并重新表示为[yL(4)(1),yL(4)(2),…,yL(4)(128)];其中,M'=N×L×L×L,yL(4)(1),yL(4)(2),…,yL(4)(128)对应为[yL(4)(1),yL(4)(2),…,yL(4)(128)]中的第1个列向量、第2个列向量、……、第128个列向量,yL(4)(1)、yL(4)(2)和yL(4)(128)的维数均为M'×1。
①_3b2、将[yL(2)(1),yL(2(2),…yL(2)(128)]中当前待处理的第i个列向量yL(2)(i)定义为当前第一列向量,将[yL(4)(1),yL(4)(2),…,yL(4)(128)]中当前待处理的第i个列向量yL(4)(i)定义为当前第二列向量;其中,i的初始值为1,1≤i≤128。
①_3b3、计算yL(2)(i)的直方图分布,记为{HL(2),(i)(j)|1≤j≤10};计算yL(4)(i)的直方图分布,记为{HL(4),(i)(j)|1≤j≤10};其中,HL(2),(i)(j)表示{HL(2),(i)(j)|1≤j≤10}中的第j个直方图节点的出现概率,HL(4),(i)(j)表示{HL(4),(i)(j)|1≤j≤10}中的第j个直方图节点的出现概率。
①_3b4、计算{HL(2),(i)(j)|1≤j≤10}与{HL(4),(i)(j)|1≤j≤10}之间的Kullback-Leibler(K-L)距离,记为dL(2)(i),其中,log()表示以10为底的对数函数。
①_3b5、令i=i+1;然后将[yL(2)(1),yL(2(2),…yL(2)(128)]中下一个待处理的第i个列向量yL(2)(i)作为当前第一列向量,将[yL(4)(1),yL(4)(2),…,yL(4)(128)]中下一个待处理的第i个列向量yL(4)(i)作为当前第二列向量;再返回步骤①_3b3继续执行,直至[yL(2)(1),yL(2(2),…yL(2)(128)]和[yL(4)(1),yL(4)(2),…,yL(4)(128)]中的所有列向量处理完毕为止,共得到128个Kullback-Leibler距离;其中,i=i+1中的“=”为赋值符号。
①_3b6、按从小到大的顺序排列128个Kullback-Leibler距离;然后将[yL(2)(1),yL (2(2),…yL(2)(128)]中与前15个Kullback-Leibler距离各自对应的列向量的位置作为中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置。
①_3b7、按照步骤①_3b1至步骤①_3b5的过程,以相同的方式对中的所有失真立体图像的右视点图像的图像特征矢量和中的所有多失真立体图像的右视点图像的图像特征矢量进行处理,最终得到对应的128个Kullback-Leibler距离,第i个Kullback-Leibler距离为dR (2)(i);接着从这128个Kullback-Leibler距离中剔除与中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置相应的15个Kullback-Leibler距离;然后按从小到大的顺序排列剩余的113个Kullback-Leibler距离,并将中的所有失真立体图像的右视点图像的图像特征矢量构成的维数为128×M的矩阵经转置后的重新表示[yR(2)(1),yR(2)(2),…,yR(2)(128)]中与前15个Kullback-Leibler距离各自对应的列向量的位置作为中的每幅失真立体图像的右视点图像的图像特征矢量中应选择的图像特征的位置;其中,yR(2)(1),yR(2)(2),…,yR(2)(128)对应为[yR(2)(1),yR(2)(2),…,yR(2)(128)]中的第1个列向量、第2个列向量、……、第128个列向量,yR(2)(1)、yR(2)(2)和yR(2)(128)的维数均为M×1。
①_3b8、根据中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置与中的每幅失真立体图像的右视点图像的图像特征矢量中应选择的图像特征的位置,获得针对高斯模糊失真的特征选择函数g2(),使g2()的输入为中的每幅失真立体图像的左视点图像的图像特征矢量和中的每幅失真立体图像的右视点图像的图像特征矢量,g2()的输出为由根据中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置而选择的图像特征与根据中的每幅失真立体图像的右视点图像的图像特征矢量中应选择的图像特征的位置而选择的图像特征构成的图像特征矢量。
在此具体实施例中,步骤①_3中针对高斯白噪声失真的特征选择函数g3()的获取过程为:
①_3c1、将中的所有失真立体图像的左视点图像的图像特征矢量构成维数为128×M的矩阵,该矩阵中的第k列为然后将该矩阵转置后并重新表示为[yL(3)(1),yL(3)(2),…,yL(3)(128)];其中,M=N×L,yL(3)(1),yL(3)(2),…,yL(3)(128)对应为[yL(3)(1),yL(3)(2),…,yL(3)(128)]中的第1个列向量、第2个列向量、……、第128个列向量,yL(3)(1)、yL(3)(2)和yL(3)(128)的维数均为M×1。
同样,将中的所有多失真立体图像的左视点图像的图像特征矢量构成维数为128×M'的矩阵,该矩阵中的第k'列为然后将该矩阵转置后并重新表示为[yL(4)(1),yL(4)(2),…,yL(4)(128)];其中,M'=N×L×L×L,yL(4)(1),yL(4)(2),…,yL(4)(128)对应为[yL(4)(1),yL(4)(2),…,yL(4)(128)]中的第1个列向量、第2个列向量、……、第128个列向量,yL(4)(1)、yL(4)(2)和yL(4)(128)的维数均为M'×1。
①_3c2、将[yL(3)(1),yL(3)(2),…,yL(3)(128)]中当前待处理的第i个列向量yL(3)(i)定义为当前第一列向量,将[yL(4)(1),yL(4)(2),…,yL(4)(128)]中当前待处理的第i个列向量
yL(4)(i)定义为当前第二列向量;其中,i的初始值为1,1≤i≤128。
①_3c3、计算yL(3)(i)的直方图分布,记为{HL(3),(i)(j)|1≤j≤10};计算yL(4)(i)的直方图分布,记为{HL(4),(i)(j)|1≤j≤10};其中,HL(3),(i)(j)表示{HL(3),(i)(j)|1≤j≤10}中的第j个直方图节点的出现概率,HL(4),(i)(j)表示{HL(4),(i)(j)|1≤j≤10}中的第j个直方图节点的出现概率。
①_3c4、计算{HL(3),(i)(j)|1≤j≤10}与{HL(4),(i)(j)|1≤j≤10}之间的Kullback-Leibler(K-L)距离,记为dL(3)(i),其中,log()表示以10为底的对数函数。
①_3c5、令i=i+1;然后将[yL(3)(1),yL(3)(2),…,yL(3)(128)]中下一个待处理的第i个列向量yL(3)(i)作为当前第一列向量,将[yL(4)(1),yL(4)(2),…,yL(4)(128)]中下一个待处理的第i个列向量yL(4)(i)作为当前第二列向量;再返回步骤①_3b3继续执行,直至[yL(3)(1),yL(3)(2),…,yL(3)(128)]和[yL(4)(1),yL(4)(2),…,yL(4)(128)]中的所有列向量处理完毕为止,共得到128个Kullback-Leibler距离;其中,i=i+1中的“=”为赋值符号。
①_3c6、按从小到大的顺序排列128个Kullback-Leibler距离;然后将[yL(3)(1),yL (3)(2),…,yL(3)(128)]中与前15个Kullback-Leibler距离各自对应的列向量的位置作为中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置。
①_3c7、按照步骤①_3c1至步骤①_3c5的过程,以相同的方式对中的所有失真立体图像的右视点图像的图像特征矢量和中的所有多失真立体图像的右视点图像的图像特征矢量进行处理,最终得到对应的128个Kullback-Leibler距离,第i个Kullback-Leibler距离为dR (3)(i);接着从这128个Kullback-Leibler距离中剔除与中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置相应的15个Kullback-Leibler距离;然后按从小到大的顺序排列剩余的113个Kullback-Leibler距离,并将中的所有失真立体图像的右视点图像的图像特征矢量构成的维数为128×M的矩阵经转置后的重新表示[yR(3)(1),yR(3)(2),…,yR(3)(128)]中与前15个Kullback-Leibler距离各自对应的列向量的位置作为中的每幅失真立体图像的右视点图像的图像特征矢量中应选择的图像特征的位置;其中,yR(3)(1),yR(3)(2),…,yR(3)(128)对应为[yR(3)(1),yR(3)(2),…,yR(3)(128)]中的第1个列向量、第2个列向量、……、第128个列向量,yR(3)(1)、yR(3)(2)和yR(3)(128)的维数均为M×1。
①_3c8、根据中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置与中的每幅失真立体图像的右视点图像的图像特征矢量中应选择的图像特征的位置,获得针对高斯白噪声失真的特征选择函数g3(),使g3()的输入为中的每幅失真立体图像的左视点图像的图像特征矢量和中的每幅失真立体图像的右视点图像的图像特征矢量,g3()的输出为由根据中的每幅失真立体图像的左视点图像的图像特征矢量中应选择的图像特征的位置而选择的图像特征与根据中的每幅失真立体图像的右视点图像的图像特征矢量中应选择的图像特征的位置而选择的图像特征构成的图像特征矢量。
在此,采用宁波大学多失真立体图像库来分析本实施例得到的多失真立体图像的图像质量客观评价预测值与平均主观评分差值之间的相关性。宁波大学多失真立体图像库由10幅无失真立体图像在多失真类型(JPEG失真、高斯模糊失真和高斯白噪声失真)的不同失真程度下的多失真立体图像构成,该多失真立体图像库中的每幅无失真立体图像同时加入JPEG失真、高斯模糊失真和高斯白噪声失真,每个失真强度均为3,这样可以得到270幅多失真立体图像,并且利用主观质量评价方法分别获取该多失真立体图像集合中的每幅失真立体图像的平均主观评分差值。
这里,利用评估图像质量评价方法的3个常用客观参量作为评价指标,即非线性回归条件下的Pearson相关系数(Pearson linear correlation coefficient,PLCC)、Spearman相关系数(Spearman rank order correlation coefficient,SROCC)、均方误差(root mean squared error,RMSE),PLCC和RMSE反映失真立体图像评价客观模型的准确性,SROCC反映其单调性。将分别采用本发明方法与公知的PSNR全参考质量评价方法和FSIM全参考质量评价方法得到多失真立体图像的图像质量客观评价预测值与平均主观评分差值之间的Pearson相关系数、Spearman相关系数和均方误差进行比较,比较结果如表1所示,从表1中可以看出,采用本发明方法得到的多失真立体图像的图像质量客观评价预测值与平均主观评分差值之间的相关性是很高的,充分表明了本发明方法的客观评价结果与人眼主观感知的结果较为一致,足以说明本发明方法的有效性。
表1采用本发明方法与公知的全参考质量评价方法得到多失真立体图像的图像质量客观评价预测值与平均主观评分差值之间的Pearson相关系数比较、Spearman相关系数和均方误差比较
|
Pearson相关系数 |
Spearman相关系数 |
均方误差 |
PSNR方法 |
0.8477 |
0.8461 |
0.1489 |
FSIM方法 |
0.8032 |
0.7671 |
0.1649 |
本发明方法 |
0.9233 |
0.9154 |
0.1195 |