一种无参考非对称失真立体图像客观质量评价方法
技术领域
本发明涉及一种立体图像客观质量评价方法,尤其是涉及一种无参考非对称失真立体图像客观质量评价方法。
背景技术
进入二十一世纪以来,随着立体图像/视频系统处理技术的日趋成熟,以及计算机网络与通信技术的快速发展,已引起人们对立体图像/视频系统的强烈需求。相比传统单视点图像/视频系统,立体图像/视频系统由于能够提供深度信息来增强视觉的真实感,给用户以身临其境的全新视觉体验而越来越受到人们的欢迎,已被认为是下一代媒体主要发展方向,引发了学术界、产业界的广泛关注。然而,人们为了获得更好的立体临场感和视觉体验,对立体视觉主观感知质量提出了更高的要求。立体视觉主观感知质量是衡量立体图像/视频系统性能优劣的一个重要指标。在立体图像/视频系统中,采集、编码、传输、解码及显示等处理环节都会引入一定失真,这些失真将对立体视觉主观感知质量产生不同程度的影响,因此如何有效地进行无参考质量评价是亟需解决的难点问题。综上,评价立体图像质量,并建立与主观质量评价相一致的客观评价模型显得尤为重要。目前,研究人员提出了不少针对单视点视觉质量的无参考评价方法。然而由于缺乏系统理论深入研究非对称失真立体视觉感知特性,还没有有效地无参考非对称失真立体图像质量评价方法。相比单视点视觉质量无参考评价模型,无参考非对称失真立体图像质量评价模型需要考虑不同失真类型立体掩蔽效应以及与之相关的双目竞争/抑制和双目融合等立体感知因素对视觉质量的影响。因此,不能简单地把现有的单视点视觉质量无参考评价模型直接扩展到无参考非对称失真立体图像质量评价方法中。
发明内容
本发明所要解决的技术问题是提供一种无参考非对称失真立体图像客观质量评价方法,其能够充分考虑到非对称失真的立体视觉特性,能够有效地提高客观评价结果与主观感知的相关性。
本发明解决上述技术问题所采用的技术方案为:一种无参考非对称失真立体图像客观质量评价方法,其特征在于包括以下步骤:
①令Sdis表示待评价的非对称失真的立体图像,将Sdis的左视点图像记为{Ldis(x,y)},将Sdis的右视点图像记为{Rdis(x,y)},其中,1≤x≤W,1≤y≤H,W表示Sdis的宽度,H表示Sdis的高度,Ldis(x,y)表示{Ldis(x,y)}中坐标位置为(x,y)的像素点的像素值,Rdis(x,y)表示{Rdis(x,y)}中坐标位置为(x,y)的像素点的像素值;
②采用伽柏滤波器对{Ldis(x,y)}和{Rdis(x,y)}两幅图像分别进行滤波处理,得到{Ldis(x,y)}和{Rdis(x,y)}各自的伽柏滤波图像,将{Ldis(x,y)}的伽柏滤波图像记为将{Rdis(x,y)}的伽柏滤波图像记为其中,表示中坐标位置为(x,y)的像素点的像素值,表示中坐标位置为(x,y)的像素点的像素值;
③采用高斯滤波器对{Ldis(x,y)}和{Rdis(x,y)}两幅图像分别进行滤波处理,得到{Ldis(x,y)}和{Rdis(x,y)}各自的高斯滤波图像,将{Ldis(x,y)}的高斯滤波图像记为将{Rdis(x,y)}的高斯滤波图像记为其中,表示中坐标位置为(x,y)的像素点的像素值,表示中坐标位置为(x,y)的像素点的像素值;
④采用块匹配方法,计算{Ldis(x,y)}与{Rdis(x,y)}之间的视差图像,记为{ddis(x,y)},其中,ddis(x,y)表示{ddis(x,y)}中坐标位置为(x,y)的像素点的像素值;
⑤根据和和{ddis(x,y)},计算Sdis的左右视点特征融合图像,记为{Fdis(x,y)},将{Fdis(x,y)}中坐标位置为(x,y)的像素点的像素值记为Fdis(x,y), ,其中,表示中坐标位置为(x+ddis(x,y),y)的像素点的像素值,表示中坐标位置为(x+ddis(x,y),y)的像素点的像素值;
⑥采用局部二值化模式操作对{Fdis(x,y)}进行处理,得到{Fdis(x,y)}的局部二值化模式结构特征图像,记为{LBP(x,y)},其中,LBP(x,y)表示{LBP(x,y)}中坐标位置为(x,y)的像素点的像素值;
⑦采用直方图统计方法对{LBP(x,y)}进行统计操作,得到Sdis的直方图统计特征向量,记为{H(m)},其中,{H(m)}的维数为1×m'维,H(m)表示{H(m)}中的第m个元素,1≤m≤m',m'=P+2;
⑧采用n″幅原始的无失真的立体图像,建立其在不同失真类型不同失真程度下的失真立体图像集合,该失真立体图像集合包括多幅非对称失真立体图像;然后利用主观质量评价方法分别评价出该失真立体图像集合中的每幅非对称失真立体图像的主观评分,将该失真立体图像集合中的第j幅非对称失真立体图像的主观评分记为DMOSj;再按照步骤①至步骤⑦的操作,以相同的方式获取该失真立体图像集合中的每幅非对称失真立体图像的直方图统计特征向量,将该失真立体图像集合中的第j幅非对称失真立体图像的直方图统计特征向量记为{Hj(m)};其中,n″>1,1≤j≤N',N'表示该失真立体图像集合中包含的非对称失真立体图像的总幅数,0≤DMOSj≤100;
⑨将该失真立体图像集合中的所有非对称失真立体图像分成两部分,分别构成训练集和测试集;然后利用支持向量回归对训练集中的所有非对称失真立体图像的主观评分和直方图统计特征向量进行训练,使得经过训练得到的回归函数值与主观评分之间的误差最小,拟合得到最优的权值矢量Wopt和最优的偏置项bopt;接着利用Wopt和bopt构造得到支持向量回归训练模型;再根据支持向量回归训练模型,对测试集中的每幅非对称失真立体图像的直方图统计特征向量进行测试,预测得到测试集中的每幅非对称失真立体图像的客观质量评价预测值,将测试集中的第k'幅非对称失真立体图像的客观质量评价预测值记为Qk',Qk'=f(xk'),其中,1≤k'≤t',t'表示测试集中包含的非对称失真立体图像的总幅数,N'表示该失真立体图像集合中包含的非对称失真立体图像的总幅数,f()为函数表示形式,Qk'是xk'的函数,xk'表示测试集中的第k'幅非对称失真立体图像的直方图统计特征向量{Hk′(m)},(Wopt)T为Wopt的转置矢量,为xk'的线性函数。
所述的步骤②中的伽柏滤波器采用log伽柏滤波器;log伽柏滤波器中的中心频率参数w0取值为1,滤波器带宽参数σr取值为0.3,滤波器相角带宽参数σθ取值为0.4。
所述的步骤③中的高斯滤波器采用拉普拉斯算子高斯滤波器;拉普拉斯算子高斯滤波器中的尺度参数σ取值为0.5。
所述的步骤⑥中局部二值化模式操作中的领域参数P取值为8,局部半径参数R取值为1。
与现有技术相比,本发明的优点在于:通过深入挖掘非对称失真的立体视觉感知特性,对待评价的非对称失真立体图像的左视点图像和右视点图像分别实施伽柏滤波器滤波和高斯滤波器滤波,得到各自的伽柏滤波图像和高斯滤波图像;接着深入理解非对称失真立体视觉感知质量的影响机理,通过模拟人眼视觉特性建立有效的非对称失真立体视觉感知特征融合的数学模型,根据数学模型得到待评价的非对称失真立体图像的左右视点特征融合图像;然后对左右视点特征融合图像进行局部二值化模式操作,得到局部二值化模式结构特征图像,采用直方图统计方法得到局部二值化模式结构特征图像的直方图统计特征向量;最后根据直方图统计特征向量,采用支持向量回归预测待评价的非对称失真立体图像的客观质量评价预测值,得到的客观质量评价预测值能够准确地反映人眼视觉主观感知质量,即能够有效地提高客观评价结果与主观感知的相关性。
附图说明
图1为本发明方法的总体实现框图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种无参考非对称失真立体图像客观质量评价方法,其总体实现框图如图1所示,其处理过程为:首先,采用现有的伽柏滤波器和现有的高斯滤波器,分别对待评价的非对称失真的立体图像的左视点图像和右视点图像进行滤波处理,得到待评价的非对称失真的立体图像的左视点图像和右视点图像各自的伽柏滤波图像和高斯滤波图像;其次,根据待评价的非对称失真的立体图像的左视点图像和右视点图像各自的伽柏滤波图像和高斯滤波图像,通过模拟人眼视觉特性建立有效的非对称失真立体视觉感知特征融合的数学模型,根据数学模型获取待评价的非对称失真的立体图像的左右视点特征融合图像;再次,采用局部二值化模式(local binary pattern)操作对待评价的非对称失真的立体图像的左右视点特征融合图像进行处理,得到局部二值化模式结构特征图像;然后采用直方图统计方法对局部二值化模式结构特征图像进行统计操作,得到待评价的非对称失真的立体图像的直方图统计特征向量;最后,根据待评价的非对称失真的立体图像的直方图统计特征向量,采用支持向量回归预测待评价的非对称失真的立体图像的客观质量评价预测值。
本发明的无参考非对称失真立体图像客观质量评价方法,其具体包括以下步骤:
①令Sdis表示待评价的非对称失真的立体图像,将Sdis的左视点图像记为{Ldis(x,y)},将Sdis的右视点图像记为{Rdis(x,y)},其中,1≤x≤W,1≤y≤H,W表示Sdis的宽度,H表示Sdis的高度,Ldis(x,y)表示{Ldis(x,y)}中坐标位置为(x,y)的像素点的像素值,Rdis(x,y)表示{Rdis(x,y)}中坐标位置为(x,y)的像素点的像素值。
②采用现有的伽柏滤波器对{Ldis(x,y)}和{Rdis(x,y)}两幅图像分别进行滤波处理,得到{Ldis(x,y)}和{Rdis(x,y)}各自的伽柏滤波图像,将{Ldis(x,y)}的伽柏滤波图像记为将{Rdis(x,y)}的伽柏滤波图像记为其中,表示中坐标位置为(x,y)的像素点的像素值,表示中坐标位置为(x,y)的像素点的像素值。
在本实施例中,伽柏滤波器采用log伽柏滤波器;利用log伽柏滤波器对{Ldis(x,y)}和{Rdis(x,y)}两幅图像分别进行滤波处理时,log伽柏滤波器中的中心频率参数w0可取值为w0=1,滤波器带宽参数σr可取值为σr=0.3,滤波器相角带宽参数σθ可取值为σθ=0.4。
③采用现有的高斯滤波器对{Ldis(x,y)}和{Rdis(x,y)}两幅图像分别进行滤波处理,得到{Ldis(x,y)}和{Rdis(x,y)}各自的高斯滤波图像,将{Ldis(x,y)}的高斯滤波图像记为将{Rdis(x,y)}的高斯滤波图像记为其中,表示中坐标位置为(x,y)的像素点的像素值,表示中坐标位置为(x,y)的像素点的像素值。
在本实施例中,高斯滤波器采用拉普拉斯算子(laplacian)高斯滤波器;利用拉普拉斯算子高斯滤波器对{Ldis(x,y)}和{Rdis(x,y)}两幅图像分别进行滤波处理时,拉普拉斯算子高斯滤波器中的尺度参数σ可取值为σ=0.5。
④采用现有的块匹配方法,计算{Ldis(x,y)}与{Rdis(x,y)}之间的视差图像,记为{ddis(x,y)},其中,ddis(x,y)表示{ddis(x,y)}中坐标位置为(x,y)的像素点的像素值。
⑤根据和和{ddis(x,y)},计算Sdis的左右视点特征融合图像,记为{Fdis(x,y)},将{Fdis(x,y)}中坐标位置为(x,y)的像素点的像素值记为Fdis(x,y), ,其中,表示中坐标位置为(x+ddis(x,y),y)的像素点的像素值,表示中坐标位置为(x+ddis(x,y),y)的像素点的像素值。
⑥采用局部二值化模式(local binary pattern)操作对{Fdis(x,y)}进行处理,得到{Fdis(x,y)}的局部二值化模式结构特征图像,记为{LBP(x,y)},其中,LBP(x,y)表示{LBP(x,y)}中坐标位置为(x,y)的像素点的像素值。
在本实施例中,局部二值化模式操作中的领域参数P取值为8,局部半径参数R取值为1。
⑦采用直方图统计方法对{LBP(x,y)}进行统计操作,得到Sdis的直方图统计特征向量,记为{H(m)},其中,{H(m)}的维数为1×m'维,H(m)表示{H(m)}中的第m个元素,1≤m≤m',m′=P+2。
⑧采用n″幅原始的无失真的立体图像,建立其在不同失真类型不同失真程度下的失真立体图像集合,该失真立体图像集合包括多幅非对称失真立体图像;然后利用现有的主观质量评价方法分别评价出该失真立体图像集合中的每幅非对称失真立体图像的主观评分,将该失真立体图像集合中的第j幅非对称失真立体图像的主观评分记为DMOSj;再按照步骤①至步骤⑦的操作,以相同的方式获取该失真立体图像集合中的每幅非对称失真立体图像的直方图统计特征向量,将该失真立体图像集合中的第j幅非对称失真立体图像的直方图统计特征向量记为{Hj(m)};其中,n″>1,1≤j≤N',N'表示该失真立体图像集合中包含的非对称失真立体图像的总幅数,0≤DMOSj≤100。
⑨支持向量回归(Support Vector Regression,SVR)是基于结构风险最小化准则的新型机器学习方法和统计学理论,其可以有效地抑制过拟合问题,因此本发明将该失真立体图像集合中的所有非对称失真立体图像分成两部分,分别构成训练集和测试集;然后利用支持向量回归对训练集中的所有非对称失真立体图像的主观评分和直方图统计特征向量进行训练,使得经过训练得到的回归函数值与主观评分之间的误差最小,拟合得到最优的权值矢量Wopt和最优的偏置项bopt;接着利用Wopt和bopt构造得到支持向量回归训练模型;再根据支持向量回归训练模型,对测试集中的每幅非对称失真立体图像的直方图统计特征向量进行测试,预测得到测试集中的每幅非对称失真立体图像的客观质量评价预测值,将测试集中的第k'幅非对称失真立体图像的客观质量评价预测值记为Qk',Qk'=f(xk'),其中,1≤k'≤t',t'表示测试集中包含的非对称失真立体图像的总幅数,N'表示该失真立体图像集合中包含的非对称失真立体图像的总幅数,在具体操作时可从该失真立体图像集合中随机选取五分之四的非对称失真立体图像构成训练集,而剩余的非对称失真立体图像则构成测试集,即取f()为函数表示形式,Qk'是xk'的函数,xk'表示测试集中的第k'幅非对称失真立体图像的直方图统计特征向量{Hk′(m)},(Wopt)T为Wopt的转置矢量,为xk'的线性函数。
为了进一步验证本发明方法的可行性和有效性,进行实验。
在此,采用LIVE立体图像非对称失真库来分析利用本发明方法得到的非对称失真的立体图像的客观质量评价预测值与平均主观评分差值之间的相关性。这里,利用评估图像质量评价方法的3个常用客观参量作为评价指标,即非线性回归条件下的Pearson相关系数(Pearson linear correlation coefficient,PLCC)、Spearman相关系数(Spearmanrank order correlation coefficient,SROCC)、均方误差(root mean squared error,RMSE),PLCC和RMSE反映非对称失真的立体图像的客观质量评价预测值的准确性,SROCC反映其单调性。
利用本发明方法计算LIVE立体图像非对称失真库中的每幅非对称失真立体图像的客观质量评价预测值,再利用现有的主观评价方法获得LIVE立体图像非对称失真库中的每幅非对称失真立体图像的平均主观评分差值。将按本发明方法计算得到的非对称失真立体图像的客观质量评价预测值做五参数Logistic函数非线性拟合,PLCC和SROCC值越高,RMSE值越低说明客观评价方法的客观评价结果与平均主观评分差值相关性越好。反映本发明方法的质量评价性能的PLCC、SROCC和RMSE相关系数如表1所列。从表1所列的数据可知,按本发明方法得到的非对称失真立体图像的最终的客观质量评价预测值与平均主观评分差值之间的相关性是很好的,表明客观评价结果与人眼主观感知的结果较为一致,足以说明本发明方法的可行性和有效性。
表1利用本发明方法得到的非对称失真的立体图像的客观质量评价预测值与平均主观评分差值之间的相关性