发明内容
本发明所要解决的技术问题是提供一种无参考立体图像质量客观评价方法,其能够有效地提高客观评价结果与主观感知之间的相关性。
本发明解决上述技术问题所采用的技术方案为:一种无参考立体图像质量客观评价方法,其特征在于包括训练阶段和测试阶段两个过程,所述的训练阶段的具体步骤如下:
①-1、选取N幅失真立体图像,将N幅失真立体图像及每幅失真立体图像的平均主观评分差值构成训练样本集合,记为{Si,DMOSi|1≤i≤N},其中,Si表示{Si,DMOSi|1≤i≤N}中的第i幅失真立体图像,DMOSi表示{Si,DMOSi|1≤i≤N}中的第i幅失真立体图像的平均主观评分差值;
①-2、采用Gabor滤波器获取{Si,DMOSi|1≤i≤N}中的每幅失真立体图像的左视点图像和右视点图像中的每个像素点在不同中心频率和不同方向因子下的频率响应,再根据{Si,DMOSi|1≤i≤N}中的每幅失真立体图像的左视点图像和右视点图像中的每个像素点在不同中心频率和不同方向因子下的频率响应,获取{Si,DMOSi|1≤i≤N}中的每幅失真立体图像中的每个像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅,将Si中坐标位置为(x,y)的像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅记为Ei(x,y;Δψ,ω,θ),其中,1≤x≤W,1≤y≤H,W表示Si的宽度,H表示Si的高度,ω表示所采用的Gabor滤波器的中心频率,θ表示所采用的Gabor滤波器的方向因子,Δψ表示所采用的Gabor滤波器的相位偏移;
①-3、计算{Si,DMOSi|1≤i≤N}中的每幅失真立体图像中的所有像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅的均值、方差和熵,将Si中的所有像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅的均值、方差和熵对应记为和
其中,log2()表示以2为底的对数函数,ln()表示以自然基数e为底的对数函数,p()表示求概率分布函数,符号“| |”为取绝对值符号;
①-4、将{Si,DMOSi|1≤i≤N}中的每幅失真立体图像中的所有像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅的均值、方差和熵按顺序排列构成{Si,DMOSi|1≤i≤N}中的每幅失真立体图像的特征矢量,将Si的特征矢量记为Fi,Fi为Si中的所有像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅的均值、方差和熵按顺序排列构成,其中,Fi的维数为Nω×Nθ×NΔψ,Nω表示所采用的Gabor滤波器的所有中心频率的集合Ωω中包含的中心频率的总个数,Nθ表示所采用的Gabor滤波器的所有方向因子的集合Ωθ中包含的方向因子的总个数,NΔψ表示所采用的Gabor滤波器的所有相位偏移的集合ΩΔψ中包含的相位偏移的总个数;
①-5、采用K均值聚类方法对{Si,DMOSi|1≤i≤N}中的所有失真立体图像的特征矢量进行聚类操作,得到{Si,DMOSi|1≤i≤N}的K个聚类,将{Si,DMOSi|1≤i≤N}的第m个聚类中心记为gm;然后将{Si,DMOSi|1≤i≤N}中属于同一聚类的所有失真立体图像构成一个子集,将{Si,DMOSi|1≤i≤N}中属于第m个聚类的所有失真立体图像构成的子集记为{Sj,m,DMOSj,m|1≤j≤Nm,1≤m≤K};其中,K表示{Si,DMOSi|1≤i≤N}的聚类的总个数,1≤m≤K,gm的维数为Nω×Nθ×NΔψ,Sj,m表示{Sj,m,DMOSj,m|1≤j≤Nm,1≤m≤K}中的第j幅失真立体图像,DMOSj,m表示{Sj,m,DMOSj,m|1≤j≤Nm,1≤m≤K}中的第j幅失真立体图像的平均主观评分差值,Nm表示{Si,DMOSi|1≤i≤N}中属于第m个聚类的失真立体图像的总幅数,
所述的测试阶段的具体步骤如下:
②-1、对于任意一副失真测试立体图像Stest,按照训练阶段中的步骤①-2至步骤①-4的过程,以相同的操作获取Stest的特征矢量,记为Ftest;然后计算Stest与{Si,DMOSi|1≤i≤N}中属于不同聚类的每副失真立体图像之间的距离,将Stest与{Sj,m,DMOSj,m|1≤j≤Nm,1≤m≤K}中的第j幅失真立体图像Sj,m之间的距离记为dj,m,dj,m=||Ftest-Fj,m||2;再计算Stest与{Si,DMOSi|1≤i≤N}的每个聚类中心之间的距离,将Stest与{Si,DMOSi|1≤i≤N}的第m个聚类中心gm之间的距离记为cm,cm=||Ftest-gm||2;其中,符号“|| ||2”为求取矩阵的2-范数符号,Fj,m表示{Sj,m,DMOSj,m|1≤j≤Nm,1≤m≤K}中的第j幅失真立体图像的特征矢量;
②-2、计算Stest属于不同聚类时的图像质量客观评价预测值,将Stest属于第m个聚类时的图像质量客观评价预测值记为Qm,其中,exp()表示以自然基数e为底的指数函数,λ为控制参数;
②-3、计算Stest的图像质量客观评价预测值,记为Q,
所述的步骤①-2中Si中坐标位置为(x,y)的像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅Ei(x,y;Δψ,ω,θ)的获取过程为:
①-2a、采用Gabor滤波器对Si的左视点图像进行滤波处理,得到Si的左视点图像中的每个像素点在不同中心频率和不同方向因子下的频率响应,将Si的左视点图像中坐标位置为(x,y)的像素点在中心频率为ω和方向因子为θ下的频率响应记为
同样,采用Gabor滤波器对Si的右视点图像进行滤波处理,得到Si的右视点图像中的每个像素点在不同中心频率和不同方向因子下的频率响应,将Si的右视点图像中坐标位置为(x,y)的像素点在中心频率为ω和方向因子为θ下的频率响应记为
上述,1≤x≤W,1≤y≤H,W表示Si的宽度,H表示Si的高度,ω表示所采用的Gabor滤波器的中心频率,ω∈Ωω,Ωω={1.74,2.47,3.49,4.93,6.98},θ表示所采用的Gabor滤波器的方向因子,θ∈Ωθ, 为的实部,为的虚部,为的实部,为的虚部,j为虚数单位;
①-2b、根据Si的左视点图像和右视点图像中的每个像素点在不同中心频率和不同方向因子下的频率响应,计算Si中的每个像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅,Si中坐标位置为(x,y)的像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅为其中,Δψ表示所采用的Gabor滤波器的相位偏移,Δψ∈ΩΔψ,符号“|| ||2”为求取矩阵的2-范数符号,e表示自然基数,j为虚数单位。
与现有技术相比,本发明的优点在于:在训练阶段,并不需要复杂的机器学习训练过程,只需要计算训练样本集合中的每副失真立体图像的特征矢量和训练样本集合的聚类中心;在测试阶段,根据失真测试立体图像与训练样本集合中属于不同聚类的每副失真立体图像之间的距离及与训练样本集合的每个聚类中心之间的距离,只需要通过简单的加权就能预测得到失真测试立体图像的图像质量客观评价预测值,大大降低了测试过程的计算复杂度,并且预测得到的图像质量客观评价预测值与主观评价值保持了较好的一致性,有效地提高了客观评价结果与主观感知之间的相关性。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种无参考立体图像质量客观评价方法,其总体实现框图如图1所示,其包括训练阶段和测试阶段两个过程:在训练阶段,选择多幅失真立体图像构成训练样本集合,通过采用Gabor滤波器获取失真立体图像中的每个像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅,然后通过计算失真立体图像中的所有像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅的均值、方差和熵并按顺序构成失真立体图像的特征矢量,再采用K均值聚类方法得到训练样本集合的聚类中心;在测试阶段,对于任意一副失真测试立体图像,通过计算失真测试立体图像与训练样本集合中属于不同聚类的每副失真立体图像之间的距离及与训练样本集合的每个聚类中心之间的距离,对每幅失真立体图像的平均主观评分差值进行加权预测得到失真测试立体图像的图像质量客观评价预测值。
本发明的无参考立体图像质量客观评价方法中的训练阶段的具体步骤如下:
①-1、选取N幅失真立体图像,将N幅失真立体图像及每幅失真立体图像的平均主观评分差值构成训练样本集合,记为{Si,DMOSi|1≤i≤N},其中,N>1,Si表示{Si,DMOSi|1≤i≤N}中的第i幅失真立体图像,DMOSi表示{Si,DMOSi|1≤i≤N}中的第i幅失真立体图像的平均主观评分差值,符号“{}”为集合表示符号。
在具体实施时,失真立体图像选取的幅数应当适当,如果N的值越大,则训练和测试的计算复杂度也就越高,因此在本实施例中取N=40。
①-2、采用Gabor滤波器获取{Si,DMOSi|1≤i≤N}中的每幅失真立体图像的左视点图像和右视点图像中的每个像素点在不同中心频率和不同方向因子下的频率响应,再根据{Si,DMOSi|1≤i≤N}中的每幅失真立体图像的左视点图像和右视点图像中的每个像素点在不同中心频率和不同方向因子下的频率响应,获取{Si,DMOSi|1≤i≤N}中的每幅失真立体图像中的每个像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅,将Si中坐标位置为(x,y)的像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅记为Ei(x,y;Δψ,ω,θ),其中,1≤x≤W,1≤y≤H,W表示Si的宽度,H表示Si的高度,ω表示所采用的Gabor滤波器的中心频率,θ表示所采用的Gabor滤波器的方向因子,Δψ表示所采用的Gabor滤波器的相位偏移。
在此具体实施例中,步骤①-2中Si中坐标位置为(x,y)的像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅Ei(x,y;Δψ,ω,θ)的获取过程为:
①-2a、采用Gabor滤波器对Si的左视点图像进行滤波处理,得到Si的左视点图像中的每个像素点在不同中心频率和不同方向因子下的频率响应,将Si的左视点图像中坐标位置为(x,y)的像素点在中心频率为ω和方向因子为θ下的频率响应记为
同样,采用Gabor滤波器对Si的右视点图像进行滤波处理,得到Si的右视点图像中的每个像素点在不同中心频率和不同方向因子下的频率响应,将Si的右视点图像中坐标位置为(x,y)的像素点在中心频率为ω和方向因子为θ下的频率响应记为
上述,1≤x≤W,1≤y≤H,W表示Si的宽度,H表示Si的高度,ω表示所采用的Gabor滤波器的中心频率,ω∈Ωω,Ωω={1.74,2.47,3.49,4.93,6.98},θ表示所采用的Gabor滤波器的方向因子,θ∈Ωθ, 为的实部,为的虚部,为的实部,为的虚部,j为虚数单位。
①-2b、根据Si的左视点图像和右视点图像中的每个像素点在不同中心频率和不同方向因子下的频率响应,计算Si中的每个像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅,Si中坐标位置为(x,y)的像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅为其中,Δψ表示所采用的Gabor滤波器的相位偏移,Δψ∈ΩΔψ,符号“|| ||2”为求取矩阵的2-范数符号,e表示自然基数,j为虚数单位。
①-3、计算{Si,DMOSi|1≤i≤N}中的每幅失真立体图像中的所有像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅的均值、方差和熵,将Si中的所有像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅的均值、方差和熵对应记为和
其中,log2()表示以2为底的对数函数,ln()表示以自然基数e为底的对数函数,e=2.71828183,p()表示求概率分布函数,p(Ei(x,y;Δψ,ω,θ))表示求Ei(x,y;Δψ,ω,θ)的概率分布,符号“| |”为取绝对值符号。
①-4、将{Si,DMOSi|1≤i≤N}中的每幅失真立体图像中的所有像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅的均值、方差和熵按顺序排列构成{Si,DMOSi|1≤i≤N}中的每幅失真立体图像的特征矢量,将Si的特征矢量记为Fi,Fi为Si中的所有像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅的均值、方差和熵按顺序排列构成,其中,Fi的维数为Nω×Nθ×NΔψ,Nω表示所采用的Gabor滤波器的所有中心频率的集合Ωω中包含的中心频率的总个数,Nθ表示所采用的Gabor滤波器的所有方向因子的集合Ωθ中包含的方向因子的总个数,NΔψ表示所采用的Gabor滤波器的所有相位偏移的集合ΩΔψ中包含的相位偏移的总个数,在本实施例中取Nω=5,Nθ=8,NΔψ=9,即Fi的维数为5×8×9=360。
①-5、采用现有的K均值聚类方法对{Si,DMOSi|1≤i≤N}中的所有失真立体图像的特征矢量进行聚类操作,得到{Si,DMOSi|1≤i≤N}的K个聚类,将{Si,DMOSi|1≤i≤N}的第m个聚类中心记为gm;然后将{Si,DMOSi|1≤i≤N}中属于同一聚类的所有失真立体图像构成一个子集,将{Si,DMOSi|1≤i≤N}中属于第m个聚类的所有失真立体图像构成的子集记为{Sj,m,DMOSj,m|1≤j≤Nm,1≤m≤K};其中,K表示{Si,DMOSi|1≤i≤N}的聚类的总个数,K>1,在本实施例中取K=5,反映5类质量级别:优秀(Excellent)、良好(Good)、一般(Fair)、差(Poor)、较差(Bad),1≤m≤K,gm的维数为Nω×Nθ×NΔψ,Sj,m表示{Sj,m,DMOSj,m|1≤j≤Nm,1≤m≤K}中的第j幅失真立体图像,DMOSj,m表示{Sj,m,DMOSj,m|1≤j≤Nm,1≤m≤K}中的第j幅失真立体图像的平均主观评分差值,Nm表示{Si,DMOSi|1≤i≤N}中属于第m个聚类的失真立体图像的总幅数,
本发明的无参考立体图像质量客观评价方法中的测试阶段的具体步骤如下:
②-1、对于任意一副失真测试立体图像Stest,按照训练阶段中的步骤①-2至步骤①-4的过程,以相同的操作获取Stest的特征矢量,记为Ftest,即获取Ftest的具体过程为:②-1a、采用Gabor滤波器获取Stest的左视点图像和右视点图像中的每个像素点在不同中心频率和不同方向因子下的频率响应,再根据Stest的左视点图像和右视点图像中的每个像素点在不同中心频率和不同方向因子下的频率响应,获取Stest中的每个像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅,将Stest中坐标位置为(x,y)的像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅记为Etest(x,y;Δψ,ω,θ);②-1b、计算Stest中的所有像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅的均值、方差和熵,将Stest中的所有像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅的均值、方差和熵对应记为和
②-1c、将Stest中的所有像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅的均值、方差和熵按顺序排列构成Stest的特征矢量Ftest,其中,Ftest的维数为Nω×Nθ×NΔψ;然后计算Stest与{Si,DMOSi|1≤i≤N}中属于不同聚类的每副失真立体图像之间的距离,将Stest与{Sj,m,DMOSj,m|1≤j≤Nm,1≤m≤K}中的第j幅失真立体图像Sj,m之间的距离记为dj,m,dj,m=||Ftest-Fj,m||2;再计算Stest与{Si,DMOSi|1≤i≤N}的每个聚类中心之间的距离,将Stest与{Si,DMOSi|1≤i≤N}的第m个聚类中心gm之间的距离记为cm,cm=||Ftest-gm||2;其中,符号“|| ||2”为求取矩阵的2-范数符号,Fj,m表示{Sj,m,DMOSj,m|1≤j≤Nm,1≤m≤K}中的第j幅失真立体图像的特征矢量。
②-2、计算Stest属于不同聚类时的图像质量客观评价预测值,将Stest属于第m个聚类时的图像质量客观评价预测值记为Qm,其中,exp()表示以自然基数e为底的指数函数,e=2.71828183,λ为控制参数,在本实施例中取λ=300。
②-3、计算Stest的图像质量客观评价预测值,记为Q,
这里,利用评估图像质量评价方法的2个常用客观参量作为评价指标,即非线性回归条件下的Pearson相关系数(Pearson linear correlation coefficient,PLCC)、Spearman相关系数(Spearman rank order correlation coefficient,SRCC)。
在此,采用宁波大学立体图像库和LIVE立体图像库来分析利用本发明方法得到的失真立体图像的图像质量客观评价预测值与平均主观评分差值之间的相关性。取宁波大学立体图像库中由12幅无失真立体图像在不同失真程度的JPEG压缩情况下的60幅失真立体图像、JPEG2000压缩情况下的60幅失真立体图像、高斯模糊情况下的60幅失真立体图像和高斯白噪声情况下的60幅失真立体图像。取LIVE立体图像库中由20幅无失真立体图像在不同失真程度的JPEG压缩情况下的80幅失真立体图像、JPEG2000压缩情况下的80幅失真立体图像、高斯模糊情况下的45幅失真立体图像和高斯白噪声情况下的80幅失真立体图像。
利用本发明方法计算宁波大学立体图像库中的每幅失真立体图像的图像质量客观评价预测值和LIVE立体图像库中的每幅失真立体图像的图像质量客观评价预测值,再利用现有的主观评价方法获得宁波大学立体图像库中的每幅失真立体图像的平均主观评分差值DMOS和LIVE立体图像库中的每幅失真立体图像的平均主观评分差值DMOS。
将按本发明方法计算得到的失真立体图像的图像质量客观评价预测值做五参数Logistic函数非线性拟合,PLCC和SRCC越高,说明失真立体图像的图像质量客观评价预测值与平均主观评分差值相关性越好。表1和表2对应给出了采用本发明方法得到的失真立体图像的图像质量客观评价预测值与平均主观评分差值之间的Pearson相关系数和Spearman相关系数。从表1和表2中可以看出,采用本发明方法得到的失真立体图像的最终的图像质量客观评价预测值与平均主观评分差值之间的相关性是很高的,表明了客观评价结果与人眼主观感知的结果较为一致,足以说明本发明方法的有效性。
图2给出了利用本发明方法得到的宁波大学立体图像库中的每幅失真立体图像的图像质量客观评价预测值与平均主观评分差值的散点图,图3给出了利用本发明方法得到的LIVE立体图像库中的每幅失真立体图像的图像质量客观评价预测值与平均主观评分差值的散点图,散点越集中,说明客观评价结果与主观感知的一致性越好。从图2和图3中可以看出,采用本发明方法得到的散点图比较集中,与主观评价数据之间的吻合度较高。
表1利用本发明方法得到的失真立体图像的图像质量客观评价预测值与平均主观评分差值之间的Pearson相关系数比较
表2利用本发明方法得到的失真立体图像的图像质量客观评价预测值与平均主观评分差值之间的Spearman相关系数比较