发明内容
本发明所要解决的技术问题是提供一种无参考立体图像质量客观评价方法,其能够有效地提高客观评价结果与主观感知的相关性。
本发明解决上述技术问题所采用的技术方案为:一种无参考立体图像质量客观评价方法,其特征在于包括训练阶段和测试阶段两个过程,具体步骤如下:
①选取N幅原始的无失真立体图像;然后将选取的N幅原始的无失真立体图像和每幅原始的无失真立体图像对应的失真立体图像构成训练图像集,记为{Si,org,Si,dis|1≤i≤N},其中,Si,org表示{Si,org,Si,dis|1≤i≤N}中的第i幅原始的无失真立体图像,Si,dis表示{Si,org,Si,dis|1≤i≤N}中的第i幅原始的无失真立体图像对应的失真立体图像;
②通过采用Gabor滤波器获得{Si,org,Si,dis|1≤i≤N}中的每幅原始的无失真立体图像的左视点图像和右视点图像中的每个像素点在不同中心频率和不同方向因子下的频率响应,再获取每幅原始的无失真立体图像中的每个像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅,将Si,org中坐标位置为(x,y)的像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅记为Ei,org(x,y;Δψ,ω,θ);
同样,通过采用Gabor滤波器获得{Si,org,Si,dis|1≤i≤N}中的每幅失真立体图像的左视点图像和右视点图像中的每个像素点在不同中心频率和不同方向因子下的频率响应,再获取每幅失真立体图像中的每个像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅,将Si,dis中坐标位置为(x,y)的像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅记为Ei,dis(x,y;Δψ,ω,θ);
上述,1≤x≤W,1≤y≤H,W表示Si,org和Si,dis的宽度,H表示Si,org和Si,dis的高度,ω表示所采用的Gabor滤波器的中心频率,θ表示所采用的Gabor滤波器的方向因子,Δψ表示所采用的Gabor滤波器的相位偏移;
③获取{Si,org,Si,dis|1≤i≤N}中的每幅原始的无失真立体图像中的所有像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅的均值、方差和熵;然后根据每幅原始的无失真立体图像中的所有像素点在每个相位偏移下对应的所有振幅各自的均值、方差和熵,获得每幅原始的无失真立体图像在每个相位偏移下的特征向量;再采用Fast-ICA方法对每幅原始的无失真立体图像在每个相位偏移下的特征向量进行字典训练操作,得到每幅原始的无失真立体图像的视觉字典表,将Si,org的视觉字典表记为Di,org;
同样,获取{Si,org,Si,dis|1≤i≤N}中的每幅失真立体图像中的所有像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅的均值、方差和熵;然后根据每幅失真立体图像中的所有像素点在每个相位偏移下对应的所有振幅各自的均值、方差和熵,获得每幅失真立体图像在每个相位偏移下的特征向量;再采用Fast-ICA方法对每幅失真立体图像在每个相位偏移下的特征向量进行字典训练操作,得到每幅失真立体图像的视觉字典表,将Si,dis的视觉字典表记为Di,dis;
④根据{Si,org,Si,dis|1≤i≤N}中的每幅原始的无失真立体图像和对应的失真立体图像中的每个像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅,获取每幅失真立体图像在每个相位偏移下的视觉质量;然后根据每幅失真立体图像在所有相位偏移下的视觉质量,获取每幅失真立体图像的视觉质量表,将Si,dis的视觉质量表记为Qi,dis;
⑤对于任意一副测试立体图像Stest,根据{Si,org,Si,dis|1≤i≤N}中的每幅原始的无失真立体图像的视觉字典表及对应的失真立体图像的视觉字典表和视觉质量表,计算得到Stest的图像质量客观评价预测值。
所述的步骤②中Si,org中坐标位置为(x,y)的像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅Ei,org(x,y;Δψ,ω,θ)的获取过程为:
②-a1、采用Gabor滤波器对Si,org的左视点图像Li,org进行滤波处理,得到Si,org的左视点图像Li,org中的每个像素点在不同中心频率和不同方向因子下的频率响应,将Si,org的左视点图像Li,org中坐标位置为(x,y)的像素点在中心频率为ω和方向因子为θ下的频率响应记为
同样,采用Gabor滤波器对Si,org的右视点图像Ri,org进行滤波处理,得到Si,org的右视点图像Ri,org中的每个像素点在不同中心频率和不同方向因子下的频率响应,将Si,org的右视点图像Ri,org中坐标位置为(x,y)的像素点在中心频率为ω和方向因子为θ下的频率响应记为
上述,1≤x≤W,1≤y≤H,W表示Si,org和Si,dis的宽度,H表示Si,org和Si,dis的高度,ω表示所采用的Gabor滤波器的中心频率,ω∈Ωω,Ωω={1.74,2.47,3.49,4.93,6.98},θ表示所采用的Gabor滤波器的方向因子,θ∈Ωθ, 为的实部,为的虚部,为的实部,为的虚部,j为虚数单位;
②-a2、根据Si,org的左视点图像Li,org和右视点图像Ri,org中的每个像素点在不同中心频率和不同方向因子下的频率响应,计算Si,org中的每个像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅,将Si,org中坐标位置为(x,y)的像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅记为Ei,org(x,y;Δψ,ω,θ), 其中,Δψ表示所采用的Gabor滤波器的相位偏移,Δψ∈ΩΔψ, 符号“||||2”为求取矩阵的2-范数符号,e表示自然基数,j为虚数单位;
所述的步骤②中Si,dis中坐标位置为(x,y)的像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅Ei,dis(x,y;Δψ,ω,θ)的获取过程为:
②-b1、采用Gabor滤波器对Si,dis的左视点图像Li,dis进行滤波处理,得到Si,dis的左视点图像Li,dis中的每个像素点在不同中心频率和不同方向因子下的频率响应,将Si,dis的左视点图像Li,dis中坐标位置为(x,y)的像素点在中心频率为ω和方向因子为θ下的频率响应记为
同样,采用Gabor滤波器对Si,dis的右视点图像Ri,dis进行滤波处理,得到Si,dis的右视点图像Ri,dis中的每个像素点在不同中心频率和不同方向因子下的频率响应,将Si,dis的右视点图像Ri,dis中坐标位置为(x,y)的像素点在中心频率为ω和方向因子为θ下的频率响应记为
上述,为的实部,为的虚部,为的实部,为的虚部;
②-b2、根据Si,dis的左视点图像Li,dis和右视点图像Ri,dis中的每个像素点在不同中心频率和不同方向因子下的频率响应,计算Si,dis中的每个像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅,将Si,dis中坐标位置为(x,y)的像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅记为Ei,dis(x,y;Δψ,ω,θ),
所述的步骤③中Si,org的视觉字典表Di,org的获取过程为:
③-a1、计算Si,org中的所有像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅的均值、方差和熵,将Si,org中的所有像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅的均值、方差和熵对应记为和
其中,log2()表示以2为底的对数函数,ln()表示以自然基数e为底的对数函数,p()表示求概率分布函数,符号“||”为取绝对值符号;
③-a2、将Si,org中的所有像素点在每个相位偏移下对应的所有振幅各自的均值、方差和熵以每个振幅的均值、方差和熵的先后顺序构成Si,org在每个相位偏移下的特征向量,将Si,org在相位偏移为Δψ下的特征向量记为由Si,org中的所有像素点在相位偏移为Δψ下对应的所有振幅各自的均值、方差和熵以每个振幅的均值、方差和熵的先后顺序构成;然后采用Fast-ICA方法对Si,org在每个相位偏移下的特征向量进行字典训练操作,得到Si,org在每个相位偏移下的视觉字典表,将Si,org在相位偏移为Δψ下的视觉字典表记为再根据Si,org在所有相位偏移下的视觉字典表,得到Si,org的视觉字典表,记为Di,org,其中,的维数为Nω×Nθ×3,Nω表示Ωω中包含的中心频率的总个数,Nθ表示Ωθ中包含的方向因子的总个数,的维数为Nω×Nθ×3×K,K表示中包含的视觉字典的总个数,Di,org的维数为Nω×Nθ×3×K×NΔψ,NΔψ表示ΩΔψ中包含的相位偏移的总个数;
所述的步骤③中Si,dis的视觉字典表Di,dis的获取过程为:
③-b1、计算Si,dis中的所有像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅的均值、方差和熵,将Si,dis中的所有像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅的均值、方差和熵对应记为和
③-b2、将Si,dis中的所有像素点在每个相位偏移下对应的所有振幅各自的均值、方差和熵以每个振幅的均值、方差和熵的先后顺序构成Si,dis在每个相位偏移下的特征向量,将Si,dis在相位偏移为Δψ下的特征向量记为由Si,dis中的所有像素点在相位偏移为Δψ下对应的所有振幅各自的均值、方差和熵以每个振幅的均值、方差和熵的先后顺序构成;然后采用Fast-ICA方法对Si,dis在每个相位偏移下的特征向量进行字典训练操作,得到Si,dis在每个相位偏移下的视觉字典表,将Si,dis在相位偏移为Δψ下的视觉字典表记为再根据Si,dis在所有相位偏移下的视觉字典表,得到Si,dis的视觉字典表,记为Di,dis,其中,的维数为Nω×Nθ×3,Nω表示Ωω中包含的中心频率的总个数,Nθ表示Ωθ中包含的方向因子的总个数,的维数为Nω×Nθ×3×K,K表示中包含的视觉字典的总个数,Di,dis的维数为Nω×Nθ×3×K×NΔψ,NΔψ表示ΩΔψ中包含的相位偏移的总个数。
所述的步骤④中Si,dis的视觉质量表Qi,dis的获取过程为:
④-1、根据Si,org和Si,dis中的每个像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅,计算Si,dis中的每个像素点在不同中心频率、不同方向因子和不同相位偏移下的客观评价度量值,将Si,dis中坐标位置为(x,y)的像素点在不同中心频率、不同方向因子和不同相位偏移下的客观评价度量值记为ρi,dis(x,y;Δψ,ω,θ),
其中,cos()为取余弦函数,arccos()为取反余弦函数,gi,org(x,y;Δψ,ω,θ)表示由Ei,org(x,y;Δψ,ω,θ)的水平梯度值和垂直梯度值构成的向量,gi,dis(x,y;Δψ,ω,θ)表示由Ei,dis(x,y;Δψ,ω,θ)的水平梯度值和垂直梯度值构成的向量,符号“〈〉”为求内积符号,符号“||||2”为求取矩阵的2-范数符号,T1为控制参数;
④-2、根据Si,dis中的每个像素点在不同中心频率、不同方向因子和不同相位偏移下的客观评价度量值,得到Si,dis在每个相位偏移下的视觉质量,将Si,dis在相位偏移为Δψ下的视觉质量记为 然后根据Si,dis在所有相位偏移下的视觉质量,得到Si,dis的视觉质量表,记为Qi,dis,其中,Ωω={1.74,2.47,3.49,4.93,6.98},Nω表示Ωω中包含的中心频率的总个数,Nθ表示Ωθ中包含的方向因子的总个数,Qi,dis的维数为NΔψ,NΔψ表示ΩΔψ中包含的相位偏移的总个数, Δψ∈ΩΔψ。
所述的步骤⑤的具体过程为:
⑤-1、将Stest的左视点图像记为Ltest,将Stest的右视点图像记为Rtest,采用Gabor滤波器对Ltest和Rtest分别进行滤波处理,对应得到Ltest和Rtest中的每个像素点在不同中心频率和不同方向因子下的频率响应,将Ltest中坐标位置为(x,y)的像素点在中心频率为ω和方向因子为θ下的频率响应记为 将Rtest中坐标位置为(x,y)的像素点在中心频率为ω和方向因子为θ下的频率响应记为 其中,1≤x≤W',1≤y≤H',W'表示Stest的宽度,H'表示Stest的高度,ω表示所采用的Gabor滤波器的中心频率,ω∈Ωω,Ωω={1.74,2.47,3.49,4.93,6.98},θ表示所采用的Gabor滤波器的方向因子,θ∈Ωθ, 为的实部,为的虚部,为的实部,为的虚部,j为虚数单位;
⑤-2、根据Ltest和Rtest中的每个像素点在不同中心频率和不同方向因子下的频率响应,计算Stest中的每个像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅,将Stest中坐标位置为(x,y)的像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅记为Etest(x,y;Δψ,ω,θ), 其中,Δψ表示所采用的Gabor滤波器的相位偏移,Δψ∈ΩΔψ, 符号“||||2”为求取矩阵的2-范数符号,e表示自然基数,j为虚数单位;
⑤-3、计算Stest中的所有像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅的均值、方差和熵,将Stest中的所有像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅的均值、方差和熵对应记为和
其中,log2()表示以2为底的对数函数,ln()表示以自然基数e为底的对数函数,p()表示求概率分布函数,符号“||”为取绝对值符号;
⑤-4、将Stest中的所有像素点在每个相位偏移下对应的所有振幅各自的均值、方差和熵以每个振幅的均值、方差和熵的先后顺序构成Stest在每个相位偏移下的特征向量,将Stest在相位偏移为Δψ下的特征向量记为由Stest中的所有像素点在相位偏移为Δψ下对应的所有振幅各自的均值、方差和熵以每个振幅的均值、方差和熵的先后顺序构成;
然后根据在训练阶段得到的每副原始的无失真立体图像的视觉字典表,获取Stest由每幅原始的无失真立体图像在不同相位偏移下的视觉字典表估计得到的第一稀疏系数矩阵,将Stest由Si,org在相位偏移为Δψ下的视觉字典表估计得到的第一稀疏系数矩阵记为 并根据在训练阶段得到的每副失真立体图像的视觉字典表,获取Stest由每幅失真立体图像在不同相位偏移下的视觉字典表估计得到的第二稀疏系数矩阵,将Stest由Si,dis在相位偏移为Δψ下的视觉字典表估计得到的第二稀疏系数矩阵记为
其中,的维数为Nω×Nθ×3,Nω表示Ωω中包含的中心频率的总个数,Nθ表示Ωθ中包含的方向因子的总个数,为的转置矩阵,表示Si,org在相位偏移为Δψ下的视觉字典表,为的转置矩阵,表示Si,dis在相位偏移为Δψ下的视觉字典表;
⑤-5、计算Stest由每幅原始的无失真立体图像在每个相位偏移下的视觉字典表估计得到的第一稀疏系数矩阵与由对应的失真立体图像在同一个相位偏移下的视觉字典表估计得到的第二稀疏系数矩阵的差矩阵的2-范数,将与的差矩阵的2-范数记为其中,符号“||||2”为求取矩阵的2-范数符号;然后计算每个差矩阵的2-范数的平方值;再从所有平方值中找出值最小的平方值,将值最小的平方值记为τΔψ;
⑤-6、计算Stest的图像质量客观评价预测值,记为Q,假设τΔψ对应第i*幅失真立体图像,则其中,表示第i*幅失真立体图像在相位偏移为Δψ下的视觉质量,1≤i*≤N,exp()表示以自然基数e为底的指数函数,λ为控制参数。
与现有技术相比,本发明的优点在于:
1)本发明方法通过无监督学习方式构造视觉字典表和视觉质量表,这样避免了复杂的机器学习训练过程,并且本发明方法在训练阶段不需要预知各训练图像的主观评价值,因此更加适用于实际的应用场合。
2)本发明方法在测试阶段,只需要通过简单的视觉字典搜索过程就能预测得到图像质量客观评价预测值,大大降低了测试过程的计算复杂度,并且预测得到的图像质量客观评价预测值与主观评价值保持了较好的一致性,有效地提高了客观评价结果与主观感知的相关性。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种无参考立体图像质量客观评价方法,其总体实现框图如图1所示,其包括训练阶段和测试阶段两个过程:在训练阶段,选择多幅原始的无失真立体图像和对应的失真立体图像构成训练图像集,然后采用Fast-ICA方法进行字典训练操作,构造训练图像集中的每幅图像的视觉字典表;通过计算训练图像集中的每幅原始的无失真立体图像和对应的失真立体图像中的每个像素点在不同中心频率和不同方向因子下的频率响应,构造视觉字典表对应的视觉质量表。在测试阶段,对于任意一副测试立体图像,通过计算测试立体图像中的每个像素点在不同中心频率和不同方向因子下的频率响应,然后根据已构造的视觉字典表和视觉质量表,计算得到测试立体图像的图像质量客观评价预测值。本发明的一种无参考立体图像质量客观评价方法的具体步骤如下:
①选取N幅原始的无失真立体图像;然后将选取的N幅原始的无失真立体图像和每幅原始的无失真立体图像对应的失真立体图像构成训练图像集,记为{Si,org,Si,dis|1≤i≤N},其中,Si,org表示{Si,org,Si,dis|1≤i≤N}中的第i幅原始的无失真立体图像,Si,dis表示{Si,org,Si,dis|1≤i≤N}中的第i幅原始的无失真立体图像对应的失真立体图像,符号“{}”为集合表示符号。
在具体实施时,原始的无失真立体图像选取的幅数应当适当,如果N的值越大,则通过训练得到的视觉字典表的精度也就越高,但计算复杂度也就越高,因此在本实施例中取N=10。对每幅原始的无失真立体图像,取在JPEG压缩、JPEG2000压缩、高斯模糊和高斯白噪声失真情况下的各自4幅不同失真强度的立体图像,分别作为每种失真类型的训练图像。
②通过采用Gabor滤波器获得{Si,org,Si,dis|1≤i≤N}中的每幅原始的无失真立体图像的左视点图像和右视点图像中的每个像素点在不同中心频率和不同方向因子下的频率响应,再获取每幅原始的无失真立体图像中的每个像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅,将Si,org中坐标位置为(x,y)的像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅记为Ei,org(x,y;Δψ,ω,θ)。
同样,通过采用Gabor滤波器获得{Si,org,Si,dis|1≤i≤N}中的每幅失真立体图像的左视点图像和右视点图像中的每个像素点在不同中心频率和不同方向因子下的频率响应,再获取每幅失真立体图像中的每个像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅,将Si,dis中坐标位置为(x,y)的像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅记为Ei,dis(x,y;Δψ,ω,θ)。
在此具体实施例中,Si,org中坐标位置为(x,y)的像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅Ei,org(x,y;Δψ,ω,θ)的获取过程为:
②-a1、采用Gabor滤波器对Si,org的左视点图像Li,org进行滤波处理,得到Si,org的左视点图像Li,org中的每个像素点在不同中心频率和不同方向因子下的频率响应,将Si,org的左视点图像Li,org中坐标位置为(x,y)的像素点在中心频率为ω和方向因子为θ下的频率响应记为
同样,采用Gabor滤波器对Si,org的右视点图像Ri,org进行滤波处理,得到Si,org的右视点图像Ri,org中的每个像素点在不同中心频率和不同方向因子下的频率响应,将Si,org的右视点图像Ri,org中坐标位置为(x,y)的像素点在中心频率为ω和方向因子为θ下的频率响应记为
上述,1≤x≤W,1≤y≤H,W表示Si,org和Si,dis的宽度,H表示Si,org和Si,dis的高度,ω表示所采用的Gabor滤波器的中心频率,ω∈Ωω,Ωω={1.74,2.47,3.49,4.93,6.98},θ表示所采用的Gabor滤波器的方向因子,θ∈Ωθ, 为的实部,为的虚部,为的实部,为的虚部,j为虚数单位。
②-a2、根据Si,org的左视点图像Li,org和右视点图像Ri,org中的每个像素点在不同中心频率和不同方向因子下的频率响应,计算Si,org中的每个像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅,将Si,org中坐标位置为(x,y)的像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅记为Ei,org(x,y;Δψ,ω,θ), 其中,Δψ表示所采用的Gabor滤波器的相位偏移,Δψ∈ΩΔψ, 符号“||||2”为求取矩阵的2-范数符号,e表示自然基数,e=2.71828183,j为虚数单位。
在此具体实施例中,Si,dis中坐标位置为(x,y)的像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅Ei,dis(x,y;Δψ,ω,θ)的获取过程为:
②-b1、采用Gabor滤波器对Si,dis的左视点图像Li,dis进行滤波处理,得到Si,dis的左视点图像Li,dis中的每个像素点在不同中心频率和不同方向因子下的频率响应,将Si,dis的左视点图像Li,dis中坐标位置为(x,y)的像素点在中心频率为ω和方向因子为θ下的频率响应记为
同样,采用Gabor滤波器对Si,dis的右视点图像Ri,dis进行滤波处理,得到Si,dis的右视点图像Ri,dis中的每个像素点在不同中心频率和不同方向因子下的频率响应,将Si,dis的右视点图像Ri,dis中坐标位置为(x,y)的像素点在中心频率为ω和方向因子为θ下的频率响应记为
上述,1≤x≤W,1≤y≤H,W表示Si,org和Si,dis的宽度,H表示Si,org和Si,dis的高度,ω表示所采用的Gabor滤波器的中心频率,ω∈Ωω,Ωω={1.74,2.47,3.49,4.93,6.98},θ表示所采用的Gabor滤波器的方向因子,θ∈Ωθ, 为的实部,为的虚部,为的实部,为的虚部,j为虚数单位。
②-b2、根据Si,dis的左视点图像Li,dis和右视点图像Ri,dis中的每个像素点在不同中心频率和不同方向因子下的频率响应,计算Si,dis中的每个像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅,将Si,dis中坐标位置为(x,y)的像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅记为Ei,dis(x,y;Δψ,ω,θ), 其中,Δψ表示所采用的Gabor滤波器的相位偏移,Δψ∈ΩΔψ, 符号“||||2”为求取矩阵的2-范数符号,e表示自然基数,e=2.71828183,j为虚数单位。
③获取{Si,org,Si,dis|1≤i≤N}中的每幅原始的无失真立体图像中的所有像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅的均值、方差和熵;然后根据每幅原始的无失真立体图像中的所有像素点在每个相位偏移下对应的所有振幅各自的均值、方差和熵,获得每幅原始的无失真立体图像在每个相位偏移下的特征向量;再采用现有的Fast-ICA方法对每幅原始的无失真立体图像在每个相位偏移下的特征向量进行字典训练操作,得到每幅原始的无失真立体图像的视觉字典表,将Si,org的视觉字典表记为Di,org。
同样,获取{Si,org,Si,dis|1≤i≤N}中的每幅失真立体图像中的所有像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅的均值、方差和熵;然后根据每幅失真立体图像中的所有像素点在每个相位偏移下对应的所有振幅各自的均值、方差和熵,获得每幅失真立体图像在每个相位偏移下的特征向量;再采用现有的Fast-ICA方法对每幅失真立体图像在每个相位偏移下的特征向量进行字典训练操作,得到每幅失真立体图像的视觉字典表,将Si,dis的视觉字典表记为Di,dis。
在此具体实施例中,Si,org的视觉字典表Di,org的获取过程为:
③-a1、计算Si,org中的所有像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅的均值、方差和熵,将Si,org中的所有像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅的均值、方差和熵对应记为和
其中,log2()表示以2为底的对数函数,ln()表示以自然基数e为底的对数函数,p()表示求概率分布函数,符号“||”为取绝对值符号。
③-a2、将Si,org中的所有像素点在每个相位偏移下对应的所有振幅各自的均值、方差和熵以每个振幅的均值、方差和熵的先后顺序构成Si,org在每个相位偏移下的特征向量,将Si,org在相位偏移为Δψ下的特征向量记为由Si,org中的所有像素点在相位偏移为Δψ下对应的所有振幅各自的均值、方差和熵以每个振幅的均值、方差和熵的先后顺序构成;然后采用Fast-ICA方法对Si,org在每个相位偏移下的特征向量进行字典训练操作,得到Si,org在每个相位偏移下的视觉字典表,将Si,org在相位偏移为Δψ下的视觉字典表记为再根据Si,org在所有相位偏移下的视觉字典表,得到Si,org的视觉字典表,记为Di,org,其中,的维数为Nω×Nθ×3,Nω表示Ωω中包含的中心频率的总个数,Nθ表示Ωθ中包含的方向因子的总个数,在本实施例中的维数为Nω×Nθ×3=5×8×3=120,的维数为Nω×Nθ×3×K,K表示中包含的视觉字典的总个数,Di,org的维数为Nω×Nθ×3×K×NΔψ,NΔψ表示ΩΔψ中包含的相位偏移的总个数,符号“{}”为集合表示符号。
在此具体实施例中,Si,dis的视觉字典表Di,dis的获取过程为:
③-b1、计算Si,dis中的所有像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅的均值、方差和熵,将Si,dis中的所有像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅的均值、方差和熵对应记为和
其中,log2()表示以2为底的对数函数,ln()表示以自然基数e为底的对数函数,p()表示求概率分布函数,符号“||”为取绝对值符号。
③-b2、将Si,dis中的所有像素点在每个相位偏移下对应的所有振幅各自的均值、方差和熵以每个振幅的均值、方差和熵的先后顺序构成Si,dis在每个相位偏移下的特征向量,将Si,dis在相位偏移为Δψ下的特征向量记为由Si,dis中的所有像素点在相位偏移为Δψ下对应的所有振幅各自的均值、方差和熵以每个振幅的均值、方差和熵的先后顺序构成;然后采用Fast-ICA方法对Si,dis在每个相位偏移下的特征向量进行字典训练操作,得到Si,dis在每个相位偏移下的视觉字典表,将Si,dis在相位偏移为Δψ下的视觉字典表记为再根据Si,dis在所有相位偏移下的视觉字典表,得到Si,dis的视觉字典表,记为Di,dis,其中,的维数为Nω×Nθ×3,Nω表示Ωω中包含的中心频率的总个数,Nθ表示Ωθ中包含的方向因子的总个数,在本实施例中的维数为Nω×Nθ×3=5×8×3=120,的维数为Nω×Nθ×3×K,K表示中包含的视觉字典的总个数,Di,dis的维数为Nω×Nθ×3×K×NΔψ,NΔψ表示ΩΔψ中包含的相位偏移的总个数,符号“{}”为集合表示符号。
④根据{Si,org,Si,dis|1≤i≤N}中的每幅原始的无失真立体图像和对应的失真立体图像中的每个像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅,获取每幅失真立体图像在每个相位偏移下的视觉质量;然后根据每幅失真立体图像在所有相位偏移下的视觉质量,获取每幅失真立体图像的视觉质量表,将Si,dis的视觉质量表记为Qi,dis。
在此具体实施例中,Si,dis的视觉质量表Qi,dis的获取过程为:
④-1、根据Si,org和Si,dis中的每个像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅,计算Si,dis中的每个像素点在不同中心频率、不同方向因子和不同相位偏移下的客观评价度量值,将Si,dis中坐标位置为(x,y)的像素点在不同中心频率、不同方向因子和不同相位偏移下的客观评价度量值记为ρi,dis(x,y;Δψ,ω,θ),
其中,cos()为取余弦函数,arccos()为取反余弦函数,gi,org(x,y;Δψ,ω,θ)表示由Ei,org(x,y;Δψ,ω,θ)的水平梯度值和垂直梯度值构成的向量,gi,dis(x,y;Δψ,ω,θ)表示由Ei,dis(x,y;Δψ,ω,θ)的水平梯度值和垂直梯度值构成的向量,符号“〈〉”为求内积符号,符号“||||2”为求取矩阵的2-范数符号,T1为控制参数,在本实施例中取T1=0.85。
④-2、根据Si,dis中的每个像素点在不同中心频率、不同方向因子和不同相位偏移下的客观评价度量值,得到Si,dis在每个相位偏移下的视觉质量,将Si,dis在相位偏移为Δψ下的视觉质量记为 然后根据Si,dis在所有相位偏移下的视觉质量,得到Si,dis的视觉质量表,记为Qi,dis,其中,Ωω={1.74,2.47,3.49,4.93,6.98},Nω表示Ωω中包含的中心频率的总个数,Nθ表示Ωθ中包含的方向因子的总个数,Qi,dis的维数为NΔψ,NΔψ表示ΩΔψ中包含的相位偏移的总个数, Δψ∈ΩΔψ。
⑤对于任意一副测试立体图像Stest,根据{Si,org,Si,dis|1≤i≤N}中的每幅原始的无失真立体图像的视觉字典表及对应的失真立体图像的视觉字典表和视觉质量表,计算得到Stest的图像质量客观评价预测值。
在此具体实施例中,步骤⑤的具体过程为:
⑤-1、将Stest的左视点图像记为Ltest,将Stest的右视点图像记为Rtest,采用Gabor滤波器对Ltest和Rtest分别进行滤波处理,对应得到Ltest和Rtest中的每个像素点在不同中心频率和不同方向因子下的频率响应,将Ltest中坐标位置为(x,y)的像素点在中心频率为ω和方向因子为θ下的频率响应记为 将Rtest中坐标位置为(x,y)的像素点在中心频率为ω和方向因子为θ下的频率响应记为 其中,1≤x≤W',1≤y≤H',W'表示Stest的宽度,H'表示Stest的高度,W'与W可以不相等,H'与H可以不相等,ω表示所采用的Gabor滤波器的中心频率,ω∈Ωω,Ωω={1.74,2.47,3.49,4.93,6.98},θ表示所采用的Gabor滤波器的方向因子,θ∈Ωθ, 为的实部,为的虚部,为的实部,为的虚部,j为虚数单位。
⑤-2、根据Ltest和Rtest中的每个像素点在不同中心频率和不同方向因子下的频率响应,计算Stest中的每个像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅,将Stest中坐标位置为(x,y)的像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅记为Etest(x,y;Δψ,ω,θ), 其中,Δψ表示所采用的Gabor滤波器的相位偏移,Δψ∈ΩΔψ, 符号“||||2”为求取矩阵的2-范数符号,e表示自然基数,e=2.71828183,j为虚数单位。
⑤-3、计算Stest中的所有像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅的均值、方差和熵,将Stest中的所有像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅的均值、方差和熵对应记为和
其中,log2()表示以2为底的对数函数,ln()表示以自然基数e为底的对数函数,p()表示求概率分布函数,符号“||”为取绝对值符号。
⑤-4、将Stest中的所有像素点在每个相位偏移下对应的所有振幅各自的均值、方差和熵以每个振幅的均值、方差和熵的先后顺序构成Stest在每个相位偏移下的特征向量,将Stest在相位偏移为Δψ下的特征向量记为由Stest中的所有像素点在相位偏移为Δψ下对应的所有振幅各自的均值、方差和熵以每个振幅的均值、方差和熵的先后顺序构成;
然后根据在训练阶段得到的每副原始的无失真立体图像的视觉字典表,获取Stest由每幅原始的无失真立体图像在不同相位偏移下的视觉字典表估计得到的第一稀疏系数矩阵,将Stest由Si,org在相位偏移为Δψ下的视觉字典表估计得到的第一稀疏系数矩阵记为 并根据在训练阶段得到的每副失真立体图像的视觉字典表,获取Stest由每幅失真立体图像在不同相位偏移下的视觉字典表估计得到的第二稀疏系数矩阵,将Stest由Si,dis在相位偏移为Δψ下的视觉字典表估计得到的第二稀疏系数矩阵记为
其中,的维数为Nω×Nθ×3,Nω表示Ωω中包含的中心频率的总个数,Nθ表示Ωθ中包含的方向因子的总个数,在本实施例中的维数为Nω×Nθ×3=5×8×3=120,为的转置矩阵,表示Si,org在相位偏移为Δψ下的视觉字典表,为的转置矩阵,表示Si,dis在相位偏移为Δψ下的视觉字典表。
⑤-5、计算Stest由每幅原始的无失真立体图像在每个相位偏移下的视觉字典表估计得到的第一稀疏系数矩阵与由对应的失真立体图像在同一个相位偏移下的视觉字典表估计得到的第二稀疏系数矩阵的差矩阵的2-范数,将与的差矩阵的2-范数记为 其中,符号“||||2”为求取矩阵的2-范数符号;然后计算每个差矩阵的2-范数的平方值;再从所有平方值中找出值最小的平方值,将值最小的平方值记为τΔψ,即其中,min()为取最小值函数。
⑤-6、计算Stest的图像质量客观评价预测值,记为Q,假设τΔψ对应第i*幅失真立体图像,则其中,表示第i*幅失真立体图像在相位偏移为Δψ下的视觉质量,1≤i*≤N,exp()表示以自然基数e为底的指数函数,e=2.71828183,λ为控制参数,在本实施例中取λ=300。
这里,利用评估图像质量评价方法的2个常用客观参量作为评价指标,即非线性回归条件下的Pearson相关系数(Pearson linear correlation coefficient,PLCC)、Spearman相关系数(Spearman rank order correlation coefficient,SRCC)。
在此,采用宁波大学立体图像库和LIVE立体图像库来分析本实施例得到的失真立体图像的图像质量客观评价预测值与平均主观评分差值之间的相关性。取宁波大学立体图像库中由12幅无失真立体图像在不同失真程度的JPEG压缩情况下的60幅失真立体图像、JPEG2000压缩情况下的60幅失真立体图像、高斯模糊情况下的60幅失真立体图像和高斯白噪声情况下的60幅失真立体图像。取LIVE立体图像库中由20幅无失真立体图像在不同失真程度的JPEG压缩情况下的80幅失真立体图像、JPEG2000压缩情况下的80幅失真立体图像、高斯模糊情况下的45幅失真立体图像和高斯白噪声情况下的80幅失真立体图像。
利用本发明方法计算宁波大学立体图像库中的每幅失真立体图像的图像质量客观评价预测值和LIVE立体图像库中的每幅失真立体图像的图像质量客观评价预测值,再利用现有的主观评价方法获得宁波大学立体图像库中的每幅失真立体图像的平均主观评分差值DMOS和LIVE立体图像库中的每幅失真立体图像的平均主观评分差值DMOS。将按本发明方法计算得到的失真立体图像的图像质量客观评价预测值做五参数Logistic函数非线性拟合,PLCC和SRCC越高,说明客观评价方法与平均主观评分差值相关性越好。表1和表2给出了采用本发明方法得到的失真立体图像的图像质量客观评价预测值与平均主观评分差值之间的Pearson相关系数和Spearman相关系数。从表1和表2中可以看出,采用本发明方法得到的失真立体图像的最终的图像质量客观评价预测值与平均主观评分差值之间的相关性是很高的,表明了客观评价结果与人眼主观感知的结果较为一致,足以说明本发明方法的有效性。
图2给出了利用本发明方法得到的宁波大学立体图像库中的每幅失真立体图像的图像质量客观评价预测值与平均主观评分差值的散点图,图3给出了利用本发明方法得到的LIVE立体图像库中的每幅失真立体图像的图像质量客观评价预测值与平均主观评分差值的散点图,散点越集中,说明客观评价结果与主观感知的一致性越好。从图2和图3中可以看出,采用本发明方法得到的散点图比较集中,与主观评价数据之间的吻合度较高。
表1利用本发明方法得到的失真立体图像的图像质量客观评价预测值与平均主观评分差值之间的Pearson相关系数比较
表2利用本发明方法得到的失真立体图像的图像质量客观评价预测值与平均主观评分差值之间的Spearman相关系数比较