CN104240248B - 一种无参考立体图像质量客观评价方法 - Google Patents

一种无参考立体图像质量客观评价方法 Download PDF

Info

Publication number
CN104240248B
CN104240248B CN201410464384.2A CN201410464384A CN104240248B CN 104240248 B CN104240248 B CN 104240248B CN 201410464384 A CN201410464384 A CN 201410464384A CN 104240248 B CN104240248 B CN 104240248B
Authority
CN
China
Prior art keywords
dis
under
org
picture
phase offset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410464384.2A
Other languages
English (en)
Other versions
CN104240248A (zh
Inventor
邵枫
王珊珊
李柯蒙
郁梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Yusheng Technology Development Co ltd
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN201410464384.2A priority Critical patent/CN104240248B/zh
Publication of CN104240248A publication Critical patent/CN104240248A/zh
Application granted granted Critical
Publication of CN104240248B publication Critical patent/CN104240248B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明公开了一种无参考立体图像质量客观评价方法,其在训练阶段,选择多幅原始的无失真立体图像和对应的失真立体图像构成训练图像集,然后采用Fast‑ICA方法进行字典训练操作,构造训练图像集中的每幅图像的视觉字典表;通过计算训练图像集中的每幅原始的无失真立体图像和对应的失真立体图像中的每个像素点在不同中心频率和不同方向因子下的频率响应,构造视觉字典表对应的视觉质量表;在测试阶段,对于测试立体图像,通过计算测试立体图像中的每个像素点在不同中心频率和不同方向因子下的频率响应,然后根据已构造的视觉字典表和视觉质量表,计算得到测试立体图像的图像质量客观评价预测值;优点是计算复杂度低,客观评价结果与主观感知的相关性好。

Description

一种无参考立体图像质量客观评价方法
技术领域
本发明涉及一种图像质量评价方法,尤其是涉及一种无参考立体图像质量客观评价方法。
背景技术
随着图像编码技术和立体显示技术的迅速发展,立体图像技术受到了越来越广泛的关注与应用,已成为当前的一个研究热点。立体图像技术利用人眼的双目视差原理,双目各自独立地接收来自同一场景的左视点图像和右视点图像,通过大脑融合形成双目视差,从而欣赏到具有深度感和逼真感的立体图像。与单通道图像相比,立体图像需要同时保证两个通道的图像质量,因此对其进行质量评价具有非常重要的意义。然而,目前对立体图像质量缺乏有效的客观评价方法进行评价。因此,建立有效的立体图像质量客观评价模型具有十分重要的意义。
由于影响立体图像质量的因素较多,如左视点和右视点质量失真情况、立体感知情况、观察者视觉疲劳等,因此如何有效地进行无参考质量评价是亟需解决的难点问题。目前的无参考质量评价通常采用机器学习来预测评价模型,计算复杂度较高,并且训练模型需要预知各评价图像的主观评价值,并不适用于实际的应用场合,存在一定的局限性。稀疏表示将信号在已知的函数集上进行分解,力求在变换域上用尽量少的基函数来对原始信号进行逼近,目前的研究主要集中在字典构造和稀疏分解两方面。稀疏表示的一个关键问题就是如何有效地构造字典来表征图像的本质特征。目前已提出的字典构造算法包括:1)有学习过程的字典构造方法:通过机器学习来训练得到字典信息,如支持向量机等;2)无学习过程的字典构造方法:直接利用图像的特征来构造字典,如多尺度Gabor字典、多尺度高斯字典等。因此,如何进行无学习过程的字典构造,如何根据字典来进行无参考的质量估计,都是在无参考质量评价研究中需要重点解决的技术问题。
发明内容
本发明所要解决的技术问题是提供一种无参考立体图像质量客观评价方法,其能够有效地提高客观评价结果与主观感知的相关性。
本发明解决上述技术问题所采用的技术方案为:一种无参考立体图像质量客观评价方法,其特征在于包括训练阶段和测试阶段两个过程,具体步骤如下:
①选取N幅原始的无失真立体图像;然后将选取的N幅原始的无失真立体图像和每幅原始的无失真立体图像对应的失真立体图像构成训练图像集,记为{Si,org,Si,dis|1≤i≤N},其中,Si,org表示{Si,org,Si,dis|1≤i≤N}中的第i幅原始的无失真立体图像,Si,dis表示{Si,org,Si,dis|1≤i≤N}中的第i幅原始的无失真立体图像对应的失真立体图像;
②通过采用Gabor滤波器获得{Si,org,Si,dis|1≤i≤N}中的每幅原始的无失真立体图像的左视点图像和右视点图像中的每个像素点在不同中心频率和不同方向因子下的频率响应,再获取每幅原始的无失真立体图像中的每个像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅,将Si,org中坐标位置为(x,y)的像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅记为Ei,org(x,y;Δψ,ω,θ);
同样,通过采用Gabor滤波器获得{Si,org,Si,dis|1≤i≤N}中的每幅失真立体图像的左视点图像和右视点图像中的每个像素点在不同中心频率和不同方向因子下的频率响应,再获取每幅失真立体图像中的每个像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅,将Si,dis中坐标位置为(x,y)的像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅记为Ei,dis(x,y;Δψ,ω,θ);
上述,1≤x≤W,1≤y≤H,W表示Si,org和Si,dis的宽度,H表示Si,org和Si,dis的高度,ω表示所采用的Gabor滤波器的中心频率,θ表示所采用的Gabor滤波器的方向因子,Δψ表示所采用的Gabor滤波器的相位偏移;
③获取{Si,org,Si,dis|1≤i≤N}中的每幅原始的无失真立体图像中的所有像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅的均值、方差和熵;然后根据每幅原始的无失真立体图像中的所有像素点在每个相位偏移下对应的所有振幅各自的均值、方差和熵,获得每幅原始的无失真立体图像在每个相位偏移下的特征向量;再采用Fast-ICA方法对每幅原始的无失真立体图像在每个相位偏移下的特征向量进行字典训练操作,得到每幅原始的无失真立体图像的视觉字典表,将Si,org的视觉字典表记为Di,org
同样,获取{Si,org,Si,dis|1≤i≤N}中的每幅失真立体图像中的所有像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅的均值、方差和熵;然后根据每幅失真立体图像中的所有像素点在每个相位偏移下对应的所有振幅各自的均值、方差和熵,获得每幅失真立体图像在每个相位偏移下的特征向量;再采用Fast-ICA方法对每幅失真立体图像在每个相位偏移下的特征向量进行字典训练操作,得到每幅失真立体图像的视觉字典表,将Si,dis的视觉字典表记为Di,dis
④根据{Si,org,Si,dis|1≤i≤N}中的每幅原始的无失真立体图像和对应的失真立体图像中的每个像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅,获取每幅失真立体图像在每个相位偏移下的视觉质量;然后根据每幅失真立体图像在所有相位偏移下的视觉质量,获取每幅失真立体图像的视觉质量表,将Si,dis的视觉质量表记为Qi,dis
⑤对于任意一副测试立体图像Stest,根据{Si,org,Si,dis|1≤i≤N}中的每幅原始的无失真立体图像的视觉字典表及对应的失真立体图像的视觉字典表和视觉质量表,计算得到Stest的图像质量客观评价预测值。
所述的步骤②中Si,org中坐标位置为(x,y)的像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅Ei,org(x,y;Δψ,ω,θ)的获取过程为:
②-a1、采用Gabor滤波器对Si,org的左视点图像Li,org进行滤波处理,得到Si,org的左视点图像Li,org中的每个像素点在不同中心频率和不同方向因子下的频率响应,将Si,org的左视点图像Li,org中坐标位置为(x,y)的像素点在中心频率为ω和方向因子为θ下的频率响应记为
同样,采用Gabor滤波器对Si,org的右视点图像Ri,org进行滤波处理,得到Si,org的右视点图像Ri,org中的每个像素点在不同中心频率和不同方向因子下的频率响应,将Si,org的右视点图像Ri,org中坐标位置为(x,y)的像素点在中心频率为ω和方向因子为θ下的频率响应记为
上述,1≤x≤W,1≤y≤H,W表示Si,org和Si,dis的宽度,H表示Si,org和Si,dis的高度,ω表示所采用的Gabor滤波器的中心频率,ω∈Ωω,Ωω={1.74,2.47,3.49,4.93,6.98},θ表示所采用的Gabor滤波器的方向因子,θ∈Ωθ 的实部,的虚部,的实部,的虚部,j为虚数单位;
②-a2、根据Si,org的左视点图像Li,org和右视点图像Ri,org中的每个像素点在不同中心频率和不同方向因子下的频率响应,计算Si,org中的每个像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅,将Si,org中坐标位置为(x,y)的像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅记为Ei,org(x,y;Δψ,ω,θ),其中,Δψ表示所采用的Gabor滤波器的相位偏移,Δψ∈ΩΔψ符号“||||2”为求取矩阵的2-范数符号,e表示自然基数,j为虚数单位;
所述的步骤②中Si,dis中坐标位置为(x,y)的像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅Ei,dis(x,y;Δψ,ω,θ)的获取过程为:
②-b1、采用Gabor滤波器对Si,dis的左视点图像Li,dis进行滤波处理,得到Si,dis的左视点图像Li,dis中的每个像素点在不同中心频率和不同方向因子下的频率响应,将Si,dis的左视点图像Li,dis中坐标位置为(x,y)的像素点在中心频率为ω和方向因子为θ下的频率响应记为
同样,采用Gabor滤波器对Si,dis的右视点图像Ri,dis进行滤波处理,得到Si,dis的右视点图像Ri,dis中的每个像素点在不同中心频率和不同方向因子下的频率响应,将Si,dis的右视点图像Ri,dis中坐标位置为(x,y)的像素点在中心频率为ω和方向因子为θ下的频率响应记为
上述,的实部,的虚部,的实部,的虚部;
②-b2、根据Si,dis的左视点图像Li,dis和右视点图像Ri,dis中的每个像素点在不同中心频率和不同方向因子下的频率响应,计算Si,dis中的每个像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅,将Si,dis中坐标位置为(x,y)的像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅记为Ei,dis(x,y;Δψ,ω,θ),
所述的步骤③中Si,org的视觉字典表Di,org的获取过程为:
③-a1、计算Si,org中的所有像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅的均值、方差和熵,将Si,org中的所有像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅的均值、方差和熵对应记为
其中,log2()表示以2为底的对数函数,ln()表示以自然基数e为底的对数函数,p()表示求概率分布函数,符号“||”为取绝对值符号;
③-a2、将Si,org中的所有像素点在每个相位偏移下对应的所有振幅各自的均值、方差和熵以每个振幅的均值、方差和熵的先后顺序构成Si,org在每个相位偏移下的特征向量,将Si,org在相位偏移为Δψ下的特征向量记为由Si,org中的所有像素点在相位偏移为Δψ下对应的所有振幅各自的均值、方差和熵以每个振幅的均值、方差和熵的先后顺序构成;然后采用Fast-ICA方法对Si,org在每个相位偏移下的特征向量进行字典训练操作,得到Si,org在每个相位偏移下的视觉字典表,将Si,org在相位偏移为Δψ下的视觉字典表记为再根据Si,org在所有相位偏移下的视觉字典表,得到Si,org的视觉字典表,记为Di,org其中,的维数为Nω×Nθ×3,Nω表示Ωω中包含的中心频率的总个数,Nθ表示Ωθ中包含的方向因子的总个数,的维数为Nω×Nθ×3×K,K表示中包含的视觉字典的总个数,Di,org的维数为Nω×Nθ×3×K×NΔψ,NΔψ表示ΩΔψ中包含的相位偏移的总个数;
所述的步骤③中Si,dis的视觉字典表Di,dis的获取过程为:
③-b1、计算Si,dis中的所有像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅的均值、方差和熵,将Si,dis中的所有像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅的均值、方差和熵对应记为
③-b2、将Si,dis中的所有像素点在每个相位偏移下对应的所有振幅各自的均值、方差和熵以每个振幅的均值、方差和熵的先后顺序构成Si,dis在每个相位偏移下的特征向量,将Si,dis在相位偏移为Δψ下的特征向量记为由Si,dis中的所有像素点在相位偏移为Δψ下对应的所有振幅各自的均值、方差和熵以每个振幅的均值、方差和熵的先后顺序构成;然后采用Fast-ICA方法对Si,dis在每个相位偏移下的特征向量进行字典训练操作,得到Si,dis在每个相位偏移下的视觉字典表,将Si,dis在相位偏移为Δψ下的视觉字典表记为再根据Si,dis在所有相位偏移下的视觉字典表,得到Si,dis的视觉字典表,记为Di,dis其中,的维数为Nω×Nθ×3,Nω表示Ωω中包含的中心频率的总个数,Nθ表示Ωθ中包含的方向因子的总个数,的维数为Nω×Nθ×3×K,K表示中包含的视觉字典的总个数,Di,dis的维数为Nω×Nθ×3×K×NΔψ,NΔψ表示ΩΔψ中包含的相位偏移的总个数。
所述的步骤④中Si,dis的视觉质量表Qi,dis的获取过程为:
④-1、根据Si,org和Si,dis中的每个像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅,计算Si,dis中的每个像素点在不同中心频率、不同方向因子和不同相位偏移下的客观评价度量值,将Si,dis中坐标位置为(x,y)的像素点在不同中心频率、不同方向因子和不同相位偏移下的客观评价度量值记为ρi,dis(x,y;Δψ,ω,θ),
其中,cos()为取余弦函数,arccos()为取反余弦函数,gi,org(x,y;Δψ,ω,θ)表示由Ei,org(x,y;Δψ,ω,θ)的水平梯度值和垂直梯度值构成的向量,gi,dis(x,y;Δψ,ω,θ)表示由Ei,dis(x,y;Δψ,ω,θ)的水平梯度值和垂直梯度值构成的向量,符号“〈〉”为求内积符号,符号“||||2”为求取矩阵的2-范数符号,T1为控制参数;
④-2、根据Si,dis中的每个像素点在不同中心频率、不同方向因子和不同相位偏移下的客观评价度量值,得到Si,dis在每个相位偏移下的视觉质量,将Si,dis在相位偏移为Δψ下的视觉质量记为 然后根据Si,dis在所有相位偏移下的视觉质量,得到Si,dis的视觉质量表,记为Qi,dis其中,Ωω={1.74,2.47,3.49,4.93,6.98},Nω表示Ωω中包含的中心频率的总个数,Nθ表示Ωθ中包含的方向因子的总个数,Qi,dis的维数为NΔψ,NΔψ表示ΩΔψ中包含的相位偏移的总个数,Δψ∈ΩΔψ
所述的步骤⑤的具体过程为:
⑤-1、将Stest的左视点图像记为Ltest,将Stest的右视点图像记为Rtest,采用Gabor滤波器对Ltest和Rtest分别进行滤波处理,对应得到Ltest和Rtest中的每个像素点在不同中心频率和不同方向因子下的频率响应,将Ltest中坐标位置为(x,y)的像素点在中心频率为ω和方向因子为θ下的频率响应记为 将Rtest中坐标位置为(x,y)的像素点在中心频率为ω和方向因子为θ下的频率响应记为 其中,1≤x≤W',1≤y≤H',W'表示Stest的宽度,H'表示Stest的高度,ω表示所采用的Gabor滤波器的中心频率,ω∈Ωω,Ωω={1.74,2.47,3.49,4.93,6.98},θ表示所采用的Gabor滤波器的方向因子,θ∈Ωθ 的实部,的虚部,的实部,的虚部,j为虚数单位;
⑤-2、根据Ltest和Rtest中的每个像素点在不同中心频率和不同方向因子下的频率响应,计算Stest中的每个像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅,将Stest中坐标位置为(x,y)的像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅记为Etest(x,y;Δψ,ω,θ),其中,Δψ表示所采用的Gabor滤波器的相位偏移,Δψ∈ΩΔψ符号“||||2”为求取矩阵的2-范数符号,e表示自然基数,j为虚数单位;
⑤-3、计算Stest中的所有像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅的均值、方差和熵,将Stest中的所有像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅的均值、方差和熵对应记为
其中,log2()表示以2为底的对数函数,ln()表示以自然基数e为底的对数函数,p()表示求概率分布函数,符号“||”为取绝对值符号;
⑤-4、将Stest中的所有像素点在每个相位偏移下对应的所有振幅各自的均值、方差和熵以每个振幅的均值、方差和熵的先后顺序构成Stest在每个相位偏移下的特征向量,将Stest在相位偏移为Δψ下的特征向量记为由Stest中的所有像素点在相位偏移为Δψ下对应的所有振幅各自的均值、方差和熵以每个振幅的均值、方差和熵的先后顺序构成;
然后根据在训练阶段得到的每副原始的无失真立体图像的视觉字典表,获取Stest由每幅原始的无失真立体图像在不同相位偏移下的视觉字典表估计得到的第一稀疏系数矩阵,将Stest由Si,org在相位偏移为Δψ下的视觉字典表估计得到的第一稀疏系数矩阵记为 并根据在训练阶段得到的每副失真立体图像的视觉字典表,获取Stest由每幅失真立体图像在不同相位偏移下的视觉字典表估计得到的第二稀疏系数矩阵,将Stest由Si,dis在相位偏移为Δψ下的视觉字典表估计得到的第二稀疏系数矩阵记为
其中,的维数为Nω×Nθ×3,Nω表示Ωω中包含的中心频率的总个数,Nθ表示Ωθ中包含的方向因子的总个数,的转置矩阵,表示Si,org在相位偏移为Δψ下的视觉字典表,的转置矩阵,表示Si,dis在相位偏移为Δψ下的视觉字典表;
⑤-5、计算Stest由每幅原始的无失真立体图像在每个相位偏移下的视觉字典表估计得到的第一稀疏系数矩阵与由对应的失真立体图像在同一个相位偏移下的视觉字典表估计得到的第二稀疏系数矩阵的差矩阵的2-范数,将的差矩阵的2-范数记为其中,符号“||||2”为求取矩阵的2-范数符号;然后计算每个差矩阵的2-范数的平方值;再从所有平方值中找出值最小的平方值,将值最小的平方值记为τΔψ
⑤-6、计算Stest的图像质量客观评价预测值,记为Q,假设τΔψ对应第i*幅失真立体图像,则其中,表示第i*幅失真立体图像在相位偏移为Δψ下的视觉质量,1≤i*≤N,exp()表示以自然基数e为底的指数函数,λ为控制参数。
与现有技术相比,本发明的优点在于:
1)本发明方法通过无监督学习方式构造视觉字典表和视觉质量表,这样避免了复杂的机器学习训练过程,并且本发明方法在训练阶段不需要预知各训练图像的主观评价值,因此更加适用于实际的应用场合。
2)本发明方法在测试阶段,只需要通过简单的视觉字典搜索过程就能预测得到图像质量客观评价预测值,大大降低了测试过程的计算复杂度,并且预测得到的图像质量客观评价预测值与主观评价值保持了较好的一致性,有效地提高了客观评价结果与主观感知的相关性。
附图说明
图1为本发明方法的总体实现框图;
图2为利用本发明方法得到的宁波大学立体图像库中的每幅失真立体图像的图像质量客观评价预测值与平均主观评分差值的散点图;
图3为利用本发明方法得到的LIVE立体图像库中的每幅失真立体图像的图像质量客观评价预测值与平均主观评分差值的散点图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种无参考立体图像质量客观评价方法,其总体实现框图如图1所示,其包括训练阶段和测试阶段两个过程:在训练阶段,选择多幅原始的无失真立体图像和对应的失真立体图像构成训练图像集,然后采用Fast-ICA方法进行字典训练操作,构造训练图像集中的每幅图像的视觉字典表;通过计算训练图像集中的每幅原始的无失真立体图像和对应的失真立体图像中的每个像素点在不同中心频率和不同方向因子下的频率响应,构造视觉字典表对应的视觉质量表。在测试阶段,对于任意一副测试立体图像,通过计算测试立体图像中的每个像素点在不同中心频率和不同方向因子下的频率响应,然后根据已构造的视觉字典表和视觉质量表,计算得到测试立体图像的图像质量客观评价预测值。本发明的一种无参考立体图像质量客观评价方法的具体步骤如下:
①选取N幅原始的无失真立体图像;然后将选取的N幅原始的无失真立体图像和每幅原始的无失真立体图像对应的失真立体图像构成训练图像集,记为{Si,org,Si,dis|1≤i≤N},其中,Si,org表示{Si,org,Si,dis|1≤i≤N}中的第i幅原始的无失真立体图像,Si,dis表示{Si,org,Si,dis|1≤i≤N}中的第i幅原始的无失真立体图像对应的失真立体图像,符号“{}”为集合表示符号。
在具体实施时,原始的无失真立体图像选取的幅数应当适当,如果N的值越大,则通过训练得到的视觉字典表的精度也就越高,但计算复杂度也就越高,因此在本实施例中取N=10。对每幅原始的无失真立体图像,取在JPEG压缩、JPEG2000压缩、高斯模糊和高斯白噪声失真情况下的各自4幅不同失真强度的立体图像,分别作为每种失真类型的训练图像。
②通过采用Gabor滤波器获得{Si,org,Si,dis|1≤i≤N}中的每幅原始的无失真立体图像的左视点图像和右视点图像中的每个像素点在不同中心频率和不同方向因子下的频率响应,再获取每幅原始的无失真立体图像中的每个像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅,将Si,org中坐标位置为(x,y)的像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅记为Ei,org(x,y;Δψ,ω,θ)。
同样,通过采用Gabor滤波器获得{Si,org,Si,dis|1≤i≤N}中的每幅失真立体图像的左视点图像和右视点图像中的每个像素点在不同中心频率和不同方向因子下的频率响应,再获取每幅失真立体图像中的每个像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅,将Si,dis中坐标位置为(x,y)的像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅记为Ei,dis(x,y;Δψ,ω,θ)。
在此具体实施例中,Si,org中坐标位置为(x,y)的像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅Ei,org(x,y;Δψ,ω,θ)的获取过程为:
②-a1、采用Gabor滤波器对Si,org的左视点图像Li,org进行滤波处理,得到Si,org的左视点图像Li,org中的每个像素点在不同中心频率和不同方向因子下的频率响应,将Si,org的左视点图像Li,org中坐标位置为(x,y)的像素点在中心频率为ω和方向因子为θ下的频率响应记为
同样,采用Gabor滤波器对Si,org的右视点图像Ri,org进行滤波处理,得到Si,org的右视点图像Ri,org中的每个像素点在不同中心频率和不同方向因子下的频率响应,将Si,org的右视点图像Ri,org中坐标位置为(x,y)的像素点在中心频率为ω和方向因子为θ下的频率响应记为
上述,1≤x≤W,1≤y≤H,W表示Si,org和Si,dis的宽度,H表示Si,org和Si,dis的高度,ω表示所采用的Gabor滤波器的中心频率,ω∈Ωω,Ωω={1.74,2.47,3.49,4.93,6.98},θ表示所采用的Gabor滤波器的方向因子,θ∈Ωθ 的实部,的虚部,的实部,的虚部,j为虚数单位。
②-a2、根据Si,org的左视点图像Li,org和右视点图像Ri,org中的每个像素点在不同中心频率和不同方向因子下的频率响应,计算Si,org中的每个像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅,将Si,org中坐标位置为(x,y)的像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅记为Ei,org(x,y;Δψ,ω,θ),其中,Δψ表示所采用的Gabor滤波器的相位偏移,Δψ∈ΩΔψ符号“||||2”为求取矩阵的2-范数符号,e表示自然基数,e=2.71828183,j为虚数单位。
在此具体实施例中,Si,dis中坐标位置为(x,y)的像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅Ei,dis(x,y;Δψ,ω,θ)的获取过程为:
②-b1、采用Gabor滤波器对Si,dis的左视点图像Li,dis进行滤波处理,得到Si,dis的左视点图像Li,dis中的每个像素点在不同中心频率和不同方向因子下的频率响应,将Si,dis的左视点图像Li,dis中坐标位置为(x,y)的像素点在中心频率为ω和方向因子为θ下的频率响应记为
同样,采用Gabor滤波器对Si,dis的右视点图像Ri,dis进行滤波处理,得到Si,dis的右视点图像Ri,dis中的每个像素点在不同中心频率和不同方向因子下的频率响应,将Si,dis的右视点图像Ri,dis中坐标位置为(x,y)的像素点在中心频率为ω和方向因子为θ下的频率响应记为
上述,1≤x≤W,1≤y≤H,W表示Si,org和Si,dis的宽度,H表示Si,org和Si,dis的高度,ω表示所采用的Gabor滤波器的中心频率,ω∈Ωω,Ωω={1.74,2.47,3.49,4.93,6.98},θ表示所采用的Gabor滤波器的方向因子,θ∈Ωθ 的实部,的虚部,的实部,的虚部,j为虚数单位。
②-b2、根据Si,dis的左视点图像Li,dis和右视点图像Ri,dis中的每个像素点在不同中心频率和不同方向因子下的频率响应,计算Si,dis中的每个像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅,将Si,dis中坐标位置为(x,y)的像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅记为Ei,dis(x,y;Δψ,ω,θ),其中,Δψ表示所采用的Gabor滤波器的相位偏移,Δψ∈ΩΔψ符号“||||2”为求取矩阵的2-范数符号,e表示自然基数,e=2.71828183,j为虚数单位。
③获取{Si,org,Si,dis|1≤i≤N}中的每幅原始的无失真立体图像中的所有像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅的均值、方差和熵;然后根据每幅原始的无失真立体图像中的所有像素点在每个相位偏移下对应的所有振幅各自的均值、方差和熵,获得每幅原始的无失真立体图像在每个相位偏移下的特征向量;再采用现有的Fast-ICA方法对每幅原始的无失真立体图像在每个相位偏移下的特征向量进行字典训练操作,得到每幅原始的无失真立体图像的视觉字典表,将Si,org的视觉字典表记为Di,org
同样,获取{Si,org,Si,dis|1≤i≤N}中的每幅失真立体图像中的所有像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅的均值、方差和熵;然后根据每幅失真立体图像中的所有像素点在每个相位偏移下对应的所有振幅各自的均值、方差和熵,获得每幅失真立体图像在每个相位偏移下的特征向量;再采用现有的Fast-ICA方法对每幅失真立体图像在每个相位偏移下的特征向量进行字典训练操作,得到每幅失真立体图像的视觉字典表,将Si,dis的视觉字典表记为Di,dis
在此具体实施例中,Si,org的视觉字典表Di,org的获取过程为:
③-a1、计算Si,org中的所有像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅的均值、方差和熵,将Si,org中的所有像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅的均值、方差和熵对应记为
其中,log2()表示以2为底的对数函数,ln()表示以自然基数e为底的对数函数,p()表示求概率分布函数,符号“||”为取绝对值符号。
③-a2、将Si,org中的所有像素点在每个相位偏移下对应的所有振幅各自的均值、方差和熵以每个振幅的均值、方差和熵的先后顺序构成Si,org在每个相位偏移下的特征向量,将Si,org在相位偏移为Δψ下的特征向量记为由Si,org中的所有像素点在相位偏移为Δψ下对应的所有振幅各自的均值、方差和熵以每个振幅的均值、方差和熵的先后顺序构成;然后采用Fast-ICA方法对Si,org在每个相位偏移下的特征向量进行字典训练操作,得到Si,org在每个相位偏移下的视觉字典表,将Si,org在相位偏移为Δψ下的视觉字典表记为再根据Si,org在所有相位偏移下的视觉字典表,得到Si,org的视觉字典表,记为Di,org其中,的维数为Nω×Nθ×3,Nω表示Ωω中包含的中心频率的总个数,Nθ表示Ωθ中包含的方向因子的总个数,在本实施例中的维数为Nω×Nθ×3=5×8×3=120,的维数为Nω×Nθ×3×K,K表示中包含的视觉字典的总个数,Di,org的维数为Nω×Nθ×3×K×NΔψ,NΔψ表示ΩΔψ中包含的相位偏移的总个数,符号“{}”为集合表示符号。
在此具体实施例中,Si,dis的视觉字典表Di,dis的获取过程为:
③-b1、计算Si,dis中的所有像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅的均值、方差和熵,将Si,dis中的所有像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅的均值、方差和熵对应记为
其中,log2()表示以2为底的对数函数,ln()表示以自然基数e为底的对数函数,p()表示求概率分布函数,符号“||”为取绝对值符号。
③-b2、将Si,dis中的所有像素点在每个相位偏移下对应的所有振幅各自的均值、方差和熵以每个振幅的均值、方差和熵的先后顺序构成Si,dis在每个相位偏移下的特征向量,将Si,dis在相位偏移为Δψ下的特征向量记为由Si,dis中的所有像素点在相位偏移为Δψ下对应的所有振幅各自的均值、方差和熵以每个振幅的均值、方差和熵的先后顺序构成;然后采用Fast-ICA方法对Si,dis在每个相位偏移下的特征向量进行字典训练操作,得到Si,dis在每个相位偏移下的视觉字典表,将Si,dis在相位偏移为Δψ下的视觉字典表记为再根据Si,dis在所有相位偏移下的视觉字典表,得到Si,dis的视觉字典表,记为Di,dis其中,的维数为Nω×Nθ×3,Nω表示Ωω中包含的中心频率的总个数,Nθ表示Ωθ中包含的方向因子的总个数,在本实施例中的维数为Nω×Nθ×3=5×8×3=120,的维数为Nω×Nθ×3×K,K表示中包含的视觉字典的总个数,Di,dis的维数为Nω×Nθ×3×K×NΔψ,NΔψ表示ΩΔψ中包含的相位偏移的总个数,符号“{}”为集合表示符号。
④根据{Si,org,Si,dis|1≤i≤N}中的每幅原始的无失真立体图像和对应的失真立体图像中的每个像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅,获取每幅失真立体图像在每个相位偏移下的视觉质量;然后根据每幅失真立体图像在所有相位偏移下的视觉质量,获取每幅失真立体图像的视觉质量表,将Si,dis的视觉质量表记为Qi,dis
在此具体实施例中,Si,dis的视觉质量表Qi,dis的获取过程为:
④-1、根据Si,org和Si,dis中的每个像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅,计算Si,dis中的每个像素点在不同中心频率、不同方向因子和不同相位偏移下的客观评价度量值,将Si,dis中坐标位置为(x,y)的像素点在不同中心频率、不同方向因子和不同相位偏移下的客观评价度量值记为ρi,dis(x,y;Δψ,ω,θ),
其中,cos()为取余弦函数,arccos()为取反余弦函数,gi,org(x,y;Δψ,ω,θ)表示由Ei,org(x,y;Δψ,ω,θ)的水平梯度值和垂直梯度值构成的向量,gi,dis(x,y;Δψ,ω,θ)表示由Ei,dis(x,y;Δψ,ω,θ)的水平梯度值和垂直梯度值构成的向量,符号“〈〉”为求内积符号,符号“||||2”为求取矩阵的2-范数符号,T1为控制参数,在本实施例中取T1=0.85。
④-2、根据Si,dis中的每个像素点在不同中心频率、不同方向因子和不同相位偏移下的客观评价度量值,得到Si,dis在每个相位偏移下的视觉质量,将Si,dis在相位偏移为Δψ下的视觉质量记为 然后根据Si,dis在所有相位偏移下的视觉质量,得到Si,dis的视觉质量表,记为Qi,dis其中,Ωω={1.74,2.47,3.49,4.93,6.98},Nω表示Ωω中包含的中心频率的总个数,Nθ表示Ωθ中包含的方向因子的总个数,Qi,dis的维数为NΔψ,NΔψ表示ΩΔψ中包含的相位偏移的总个数,Δψ∈ΩΔψ
⑤对于任意一副测试立体图像Stest,根据{Si,org,Si,dis|1≤i≤N}中的每幅原始的无失真立体图像的视觉字典表及对应的失真立体图像的视觉字典表和视觉质量表,计算得到Stest的图像质量客观评价预测值。
在此具体实施例中,步骤⑤的具体过程为:
⑤-1、将Stest的左视点图像记为Ltest,将Stest的右视点图像记为Rtest,采用Gabor滤波器对Ltest和Rtest分别进行滤波处理,对应得到Ltest和Rtest中的每个像素点在不同中心频率和不同方向因子下的频率响应,将Ltest中坐标位置为(x,y)的像素点在中心频率为ω和方向因子为θ下的频率响应记为 将Rtest中坐标位置为(x,y)的像素点在中心频率为ω和方向因子为θ下的频率响应记为 其中,1≤x≤W',1≤y≤H',W'表示Stest的宽度,H'表示Stest的高度,W'与W可以不相等,H'与H可以不相等,ω表示所采用的Gabor滤波器的中心频率,ω∈Ωω,Ωω={1.74,2.47,3.49,4.93,6.98},θ表示所采用的Gabor滤波器的方向因子,θ∈Ωθ 的实部,的虚部,的实部,的虚部,j为虚数单位。
⑤-2、根据Ltest和Rtest中的每个像素点在不同中心频率和不同方向因子下的频率响应,计算Stest中的每个像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅,将Stest中坐标位置为(x,y)的像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅记为Etest(x,y;Δψ,ω,θ),其中,Δψ表示所采用的Gabor滤波器的相位偏移,Δψ∈ΩΔψ符号“||||2”为求取矩阵的2-范数符号,e表示自然基数,e=2.71828183,j为虚数单位。
⑤-3、计算Stest中的所有像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅的均值、方差和熵,将Stest中的所有像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅的均值、方差和熵对应记为
其中,log2()表示以2为底的对数函数,ln()表示以自然基数e为底的对数函数,p()表示求概率分布函数,符号“||”为取绝对值符号。
⑤-4、将Stest中的所有像素点在每个相位偏移下对应的所有振幅各自的均值、方差和熵以每个振幅的均值、方差和熵的先后顺序构成Stest在每个相位偏移下的特征向量,将Stest在相位偏移为Δψ下的特征向量记为由Stest中的所有像素点在相位偏移为Δψ下对应的所有振幅各自的均值、方差和熵以每个振幅的均值、方差和熵的先后顺序构成;
然后根据在训练阶段得到的每副原始的无失真立体图像的视觉字典表,获取Stest由每幅原始的无失真立体图像在不同相位偏移下的视觉字典表估计得到的第一稀疏系数矩阵,将Stest由Si,org在相位偏移为Δψ下的视觉字典表估计得到的第一稀疏系数矩阵记为 并根据在训练阶段得到的每副失真立体图像的视觉字典表,获取Stest由每幅失真立体图像在不同相位偏移下的视觉字典表估计得到的第二稀疏系数矩阵,将Stest由Si,dis在相位偏移为Δψ下的视觉字典表估计得到的第二稀疏系数矩阵记为
其中,的维数为Nω×Nθ×3,Nω表示Ωω中包含的中心频率的总个数,Nθ表示Ωθ中包含的方向因子的总个数,在本实施例中的维数为Nω×Nθ×3=5×8×3=120,的转置矩阵,表示Si,org在相位偏移为Δψ下的视觉字典表,的转置矩阵,表示Si,dis在相位偏移为Δψ下的视觉字典表。
⑤-5、计算Stest由每幅原始的无失真立体图像在每个相位偏移下的视觉字典表估计得到的第一稀疏系数矩阵与由对应的失真立体图像在同一个相位偏移下的视觉字典表估计得到的第二稀疏系数矩阵的差矩阵的2-范数,将的差矩阵的2-范数记为 其中,符号“||||2”为求取矩阵的2-范数符号;然后计算每个差矩阵的2-范数的平方值;再从所有平方值中找出值最小的平方值,将值最小的平方值记为τΔψ,即其中,min()为取最小值函数。
⑤-6、计算Stest的图像质量客观评价预测值,记为Q,假设τΔψ对应第i*幅失真立体图像,则其中,表示第i*幅失真立体图像在相位偏移为Δψ下的视觉质量,1≤i*≤N,exp()表示以自然基数e为底的指数函数,e=2.71828183,λ为控制参数,在本实施例中取λ=300。
这里,利用评估图像质量评价方法的2个常用客观参量作为评价指标,即非线性回归条件下的Pearson相关系数(Pearson linear correlation coefficient,PLCC)、Spearman相关系数(Spearman rank order correlation coefficient,SRCC)。
在此,采用宁波大学立体图像库和LIVE立体图像库来分析本实施例得到的失真立体图像的图像质量客观评价预测值与平均主观评分差值之间的相关性。取宁波大学立体图像库中由12幅无失真立体图像在不同失真程度的JPEG压缩情况下的60幅失真立体图像、JPEG2000压缩情况下的60幅失真立体图像、高斯模糊情况下的60幅失真立体图像和高斯白噪声情况下的60幅失真立体图像。取LIVE立体图像库中由20幅无失真立体图像在不同失真程度的JPEG压缩情况下的80幅失真立体图像、JPEG2000压缩情况下的80幅失真立体图像、高斯模糊情况下的45幅失真立体图像和高斯白噪声情况下的80幅失真立体图像。
利用本发明方法计算宁波大学立体图像库中的每幅失真立体图像的图像质量客观评价预测值和LIVE立体图像库中的每幅失真立体图像的图像质量客观评价预测值,再利用现有的主观评价方法获得宁波大学立体图像库中的每幅失真立体图像的平均主观评分差值DMOS和LIVE立体图像库中的每幅失真立体图像的平均主观评分差值DMOS。将按本发明方法计算得到的失真立体图像的图像质量客观评价预测值做五参数Logistic函数非线性拟合,PLCC和SRCC越高,说明客观评价方法与平均主观评分差值相关性越好。表1和表2给出了采用本发明方法得到的失真立体图像的图像质量客观评价预测值与平均主观评分差值之间的Pearson相关系数和Spearman相关系数。从表1和表2中可以看出,采用本发明方法得到的失真立体图像的最终的图像质量客观评价预测值与平均主观评分差值之间的相关性是很高的,表明了客观评价结果与人眼主观感知的结果较为一致,足以说明本发明方法的有效性。
图2给出了利用本发明方法得到的宁波大学立体图像库中的每幅失真立体图像的图像质量客观评价预测值与平均主观评分差值的散点图,图3给出了利用本发明方法得到的LIVE立体图像库中的每幅失真立体图像的图像质量客观评价预测值与平均主观评分差值的散点图,散点越集中,说明客观评价结果与主观感知的一致性越好。从图2和图3中可以看出,采用本发明方法得到的散点图比较集中,与主观评价数据之间的吻合度较高。
表1利用本发明方法得到的失真立体图像的图像质量客观评价预测值与平均主观评分差值之间的Pearson相关系数比较
表2利用本发明方法得到的失真立体图像的图像质量客观评价预测值与平均主观评分差值之间的Spearman相关系数比较

Claims (4)

1.一种无参考立体图像质量客观评价方法,其特征在于包括训练阶段和测试阶段两个过程,具体步骤如下:
①选取N幅原始的无失真立体图像;然后将选取的N幅原始的无失真立体图像和每幅原始的无失真立体图像对应的失真立体图像构成训练图像集,记为{Si,org,Si,dis|1≤i≤N},其中,Si,org表示{Si,org,Si,dis|1≤i≤N}中的第i幅原始的无失真立体图像,Si,dis表示{Si,org,Si,dis|1≤i≤N}中的第i幅原始的无失真立体图像对应的失真立体图像;
②通过采用Gabor滤波器获得{Si,org,Si,dis|1≤i≤N}中的每幅原始的无失真立体图像的左视点图像和右视点图像中的每个像素点在不同中心频率和不同方向因子下的频率响应,再获取每幅原始的无失真立体图像中的每个像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅,将Si,org中坐标位置为(x,y)的像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅记为Ei,org(x,y;Δψ,ω,θ);
同样,通过采用Gabor滤波器获得{Si,org,Si,dis|1≤i≤N}中的每幅失真立体图像的左视点图像和右视点图像中的每个像素点在不同中心频率和不同方向因子下的频率响应,再获取每幅失真立体图像中的每个像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅,将Si,dis中坐标位置为(x,y)的像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅记为Ei,dis(x,y;Δψ,ω,θ);
上述,1≤x≤W,1≤y≤H,W表示Si,org和Si,dis的宽度,H表示Si,org和Si,dis的高度,ω表示所采用的Gabor滤波器的中心频率,θ表示所采用的Gabor滤波器的方向因子,Δψ表示所采用的Gabor滤波器的相位偏移;
③获取{Si,org,Si,dis|1≤i≤N}中的每幅原始的无失真立体图像中的所有像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅的均值、方差和熵;然后根据每幅原始的无失真立体图像中的所有像素点在每个相位偏移下对应的所有振幅各自的均值、方差和熵,获得每幅原始的无失真立体图像在每个相位偏移下的特征向量;再采用Fast-ICA方法对每幅原始的无失真立体图像在每个相位偏移下的特征向量进行字典训 练操作,得到每幅原始的无失真立体图像的视觉字典表,将Si,org的视觉字典表记为Di,org
同样,获取{Si,org,Si,dis|1≤i≤N}中的每幅失真立体图像中的所有像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅的均值、方差和熵;然后根据每幅失真立体图像中的所有像素点在每个相位偏移下对应的所有振幅各自的均值、方差和熵,获得每幅失真立体图像在每个相位偏移下的特征向量;再采用Fast-ICA方法对每幅失真立体图像在每个相位偏移下的特征向量进行字典训练操作,得到每幅失真立体图像的视觉字典表,将Si,dis的视觉字典表记为Di,dis
④根据{Si,org,Si,dis|1≤i≤N}中的每幅原始的无失真立体图像和对应的失真立体图像中的每个像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅,获取每幅失真立体图像在每个相位偏移下的视觉质量;然后根据每幅失真立体图像在所有相位偏移下的视觉质量,获取每幅失真立体图像的视觉质量表,将Si,dis的视觉质量表记为Qi,dis
所述的步骤④中Si,dis的视觉质量表Qi,dis的获取过程为:
④-1、根据Si,org和Si,dis中的每个像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅,计算Si,dis中的每个像素点在不同中心频率、不同方向因子和不同相位偏移下的客观评价度量值,将Si,dis中坐标位置为(x,y)的像素点在不同中心频率、不同方向因子和不同相位偏移下的客观评价度量值记为ρi,dis(x,y;Δψ,ω,θ), 其中,cos()为取余弦函数,arccos()为取反余弦函数,gi,org(x,y;Δψ,ω,θ)表示由Ei,org(x,y;Δψ,ω,θ)的水平梯度值和垂直梯度值构成的向量,gi,dis(x,y;Δψ,ω,θ)表示由Ei,dis(x,y;Δψ,ω,θ)的水平梯度值和垂直梯度值构成的向量,符号“<>”为求内积符号,符号“|| ||2”为求取矩阵的2-范数符号,T1为控制参数;
④-2、根据Si,dis中的每个像素点在不同中心频率、不同方向因子和不同相位偏移下的客观评价度量值,得到Si,dis在每个相位偏移下的视觉质量,将Si,dis在相位偏移为Δψ下的视觉质量记为 然后根据Si,dis在所有相位偏移下的视觉质量,得到Si,dis的视觉质量表,记为Qi,dis其中,Ωω={1.74,2.47,3.49,4.93,6.98},Nω表示Ωω中包含的中心频率的总个数,Nθ表示Ωθ中包含的方向因子的总个数,Qi,dis的维数为NΔψ,NΔψ表示ΩΔψ中包含的相位偏移的总个数, Δψ∈ΩΔψ
⑤对于任意一副测试立体图像Stest,根据{Si,org,Si,dis|1≤i≤N}中的每幅原始的无失真立体图像的视觉字典表及对应的失真立体图像的视觉字典表和视觉质量表,计算得到Stest的图像质量客观评价预测值。
2.根据权利要求1所述的一种无参考立体图像质量客观评价方法,其特征在于所述的步骤②中Si,org中坐标位置为(x,y)的像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅Ei,org(x,y;Δψ,ω,θ)的获取过程为:
②-a1、采用Gabor滤波器对Si,org的左视点图像Li,org进行滤波处理,得到Si,org的左视点图像Li,org中的每个像素点在不同中心频率和不同方向因子下的频率响应,将Si,org的左视点图像Li,org中坐标位置为(x,y)的像素点在中心频率为ω和方向因子为θ下的频率响应记为
同样,采用Gabor滤波器对Si,org的右视点图像Ri,org进行滤波处理,得到Si,org的右视点图像Ri,org中的每个像素点在不同中心频率和不同方向因子下的频率响应,将Si,org的 右视点图像Ri,org中坐标位置为(x,y)的像素点在中心频率为ω和方向因子为θ下的频率响应记为
上述,1≤x≤W,1≤y≤H,W表示Si,org和Si,dis的宽度,H表示Si,org和Si,dis的高度,ω表示所采用的Gabor滤波器的中心频率,ω∈Ωω,Ωω={1.74,2.47,3.49,4.93,6.98},θ表示所采用的Gabor滤波器的方向因子,θ∈Ωθ 的实部,的虚部, 的实部,的虚部,j为虚数单位;
②-a2、根据Si,org的左视点图像Li,org和右视点图像Ri,org中的每个像素点在不同中心频率和不同方向因子下的频率响应,计算Si,org中的每个像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅,将Si,org中坐标位置为(x,y)的像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅记为Ei,org(x,y;Δψ,ω,θ), 其中,Δψ表示所采用的Gabor滤波器的相位偏移,Δψ∈ΩΔψ符号“|| ||2”为求取矩阵的2-范数符号,e表示自然基数,j为虚数单位;
所述的步骤②中Si,dis中坐标位置为(x,y)的像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅Ei,dis(x,y;Δψ,ω,θ)的获取过程为:
②-b1、采用Gabor滤波器对Si,dis的左视点图像Li,dis进行滤波处理,得到Si,dis的左视点图像Li,dis中的每个像素点在不同中心频率和不同方向因子下的频率响应,将Si,dis的左视点图像Li,dis中坐标位置为(x,y)的像素点在中心频率为ω和方向因子为θ下的频率响 应记为
同样,采用Gabor滤波器对Si,dis的右视点图像Ri,dis进行滤波处理,得到Si,dis的右视点图像Ri,dis中的每个像素点在不同中心频率和不同方向因子下的频率响应,将Si,dis的右视点图像Ri,dis中坐标位置为(x,y)的像素点在中心频率为ω和方向因子为θ下的频率响应记为
上述,的实部,的虚部,的实部,的虚部;
②-b2、根据Si,dis的左视点图像Li,dis和右视点图像Ri,dis中的每个像素点在不同中心频率和不同方向因子下的频率响应,计算Si,dis中的每个像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅,将Si,dis中坐标位置为(x,y)的像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅记为Ei,dis(x,y;Δψ,ω,θ),
3.根据权利要求1或2所述的一种无参考立体图像质量客观评价方法,其特征在于所述的步骤③中Si,org的视觉字典表Di,org的获取过程为:
③-a1、计算Si,org中的所有像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅的均值、方差和熵,将Si,org中的所有像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅的均值、方差和熵对应记为 其中,log2() 表示以2为底的对数函数,ln()表示以自然基数e为底的对数函数,p()表示求概率分布函数,符号“| |”为取绝对值符号;
③-a2、将Si,org中的所有像素点在每个相位偏移下对应的所有振幅各自的均值、方差和熵以每个振幅的均值、方差和熵的先后顺序构成Si,org在每个相位偏移下的特征向量,将Si,org在相位偏移为Δψ下的特征向量记为由Si,org中的所有像素点在相位偏移为Δψ下对应的所有振幅各自的均值、方差和熵以每个振幅的均值、方差和熵的先后顺序构成;然后采用Fast-ICA方法对Si,org在每个相位偏移下的特征向量进行字典训练操作,得到Si,org在每个相位偏移下的视觉字典表,将Si,org在相位偏移为Δψ下的视觉字典表记为再根据Si,org在所有相位偏移下的视觉字典表,得到Si,org的视觉字典表,记为Di,org其中,的维数为Nω×Nθ×3,Nω表示Ωω中包含的中心频率的总个数,Nθ表示Ωθ中包含的方向因子的总个数,的维数为Nω×Nθ×3×K,K表示中包含的视觉字典的总个数,Di,org的维数为Nω×Nθ×3×K×NΔψ,NΔψ表示ΩΔψ中包含的相位偏移的总个数;
所述的步骤③中Si,dis的视觉字典表Di,dis的获取过程为:
③-b1、计算Si,dis中的所有像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅的均值、方差和熵,将Si,dis中的所有像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅的均值、方差和熵对应记为
③-b2、将Si,dis中的所有像素点在每个相位偏移下对应的所有振幅各自的均值、方差和熵以每个振幅的均值、方差和熵的先后顺序构成Si,dis在每个相位偏移下的特征向量,将Si,dis在相位偏移为Δψ下的特征向量记为由Si,dis中的所有像素点在相位偏移为Δψ下对应的所有振幅各自的均值、方差和熵以每个振幅的均值、方差和熵的先后顺序构成;然后采用Fast-ICA方法对Si,dis在每个相位偏移下的特征向量进行字典训练操作,得到Si,dis在每个相位偏移下的视觉字典表,将Si,dis在相位偏移为Δψ下的视觉字典表记为再根据Si,dis在所有相位偏移下的视觉字典表,得到Si,dis的视觉字典表,记为Di,dis其中,的维数为Nω×Nθ×3,Nω表示Ωω中包含的中心频率的总个数,Nθ表示Ωθ中包含的方向因子的总个数,的维数为Nω×Nθ×3×K,K表示中包含的视觉字典的总个数,Di,dis的维数为Nω×Nθ×3×K×NΔψ,NΔψ表示ΩΔψ中包含的相位偏移的总个数。
4.根据权利要求1所述的一种无参考立体图像质量客观评价方法,其特征在于所述的步骤⑤的具体过程为:
⑤-1、将Stest的左视点图像记为Ltest,将Stest的右视点图像记为Rtest,采用Gabor滤波器对Ltest和Rtest分别进行滤波处理,对应得到Ltest和Rtest中的每个像素点在不同中心频率和不同方向因子下的频率响应,将Ltest中坐标位置为(x,y)的像素点在中心频率为ω和方向因子为θ下的频率响应记为 将Rtest中坐标位置为(x,y)的像素点在中心频率为ω和方向因子为θ下的频率响应记为 其中,1≤x≤W',1≤y≤H',W'表示Stest的宽度,H'表示Stest的高度,ω表示所采用的Gabor滤波器的中心频率,ω∈Ωω,Ωω={1.74,2.47,3.49,4.93,6.98},θ表示所采用的Gabor滤波器的方向因子,θ∈Ωθ 的实部,的虚部,的实部,的虚部,j为虚数单位;
⑤-2、根据Ltest和Rtest中的每个像素点在不同中心频率和不同方向因子下的频率响应,计算Stest中的每个像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅,将Stest中坐标位置为(x,y)的像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅记为Etest(x,y;Δψ,ω,θ), 其中,Δψ表示所采用的Gabor滤波器的相位偏移,Δψ∈ΩΔψ符号“|| ||2”为求取矩阵的2-范数符号,e表示自然基数,j为虚数单位;
⑤-3、计算Stest中的所有像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅的均值、方差和熵,将Stest中的所有像素点在中心频率为ω、方向因子为θ和相位偏移为Δψ下的振幅的均值、方差和熵对应记为 其中,log2()表示以2为底的对数函数,ln()表示以自然基数e为底的对数函数,p()表示求概率分布函数,符号“||”为取绝对值符号;
⑤-4、将Stest中的所有像素点在每个相位偏移下对应的所有振幅各自的均值、方差和熵以每个振幅的均值、方差和熵的先后顺序构成Stest在每个相位偏移下的特征向量,将Stest在相位偏移为Δψ下的特征向量记为由Stest中的所有像素点在相位偏移为Δψ下对应的所有振幅各自的均值、方差和熵以每个振幅的均值、方差和熵的先后顺序构成;
然后根据在训练阶段得到的每副原始的无失真立体图像的视觉字典表,获取Stest由每幅原始的无失真立体图像在不同相位偏移下的视觉字典表估计得到的第一稀疏系数矩阵,将Stest由Si,org在相位偏移为Δψ下的视觉字典表估计得到的第一稀疏系数矩阵记为 并根据在训练阶段得到的每副失真立体图像的视觉字典表,获取Stest由每幅失真立体图像在不同相位偏移下的视觉字典表估计得到的第二稀疏系数矩阵,将Stest由Si,dis在相位偏移为Δψ下的视觉字典表估计得到的第二稀疏系数矩阵记为
其中,的维数为Nω×Nθ×3,Nω表示Ωω中包含的中心频率的总个数,Nθ表示Ωθ中包含的方向因子的总个数,的转置矩阵,表示Si,org在相位偏移为Δψ下的视觉字典表,的转置矩阵,表示Si,dis在相位偏移为Δψ下的视觉字典表;
⑤-5、计算Stest由每幅原始的无失真立体图像在每个相位偏移下的视觉字典表估计得到的第一稀疏系数矩阵与由对应的失真立体图像在同一个相位偏移下的视觉字典表估计得到的第二稀疏系数矩阵的差矩阵的2-范数,将的差矩阵的2-范数记为 其中,符号“|| ||2”为求取矩阵的2-范数符号;然后计算每个差矩阵的2-范数的平方值;再从所有平方值中找出值最小的平方值,将值最小的平方值记为τΔψ
⑤-6、计算Stest的图像质量客观评价预测值,记为Q,假设τΔψ对应第i*幅失真立体 图像,则其中,表示第i*幅失真立体图像在相位偏移为Δψ下的视觉质量,1≤i*≤N,exp()表示以自然基数e为底的指数函数,λ为控制参数。
CN201410464384.2A 2014-09-12 2014-09-12 一种无参考立体图像质量客观评价方法 Active CN104240248B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410464384.2A CN104240248B (zh) 2014-09-12 2014-09-12 一种无参考立体图像质量客观评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410464384.2A CN104240248B (zh) 2014-09-12 2014-09-12 一种无参考立体图像质量客观评价方法

Publications (2)

Publication Number Publication Date
CN104240248A CN104240248A (zh) 2014-12-24
CN104240248B true CN104240248B (zh) 2017-05-03

Family

ID=52228254

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410464384.2A Active CN104240248B (zh) 2014-09-12 2014-09-12 一种无参考立体图像质量客观评价方法

Country Status (1)

Country Link
CN (1) CN104240248B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104766299A (zh) * 2014-12-26 2015-07-08 国家电网公司 一种基于概率图模型的图像质量评估方法
CN104599274B (zh) * 2015-01-23 2018-02-13 宇龙计算机通信科技(深圳)有限公司 图像质量的评价方法与装置
CN104820988B (zh) * 2015-05-06 2017-12-15 宁波大学 一种无参考立体图像质量客观评价方法
CN106413040B (zh) * 2015-07-31 2019-06-21 北京信威通信技术股份有限公司 一种多载波系统的扫频方法
CN105243385B (zh) * 2015-09-23 2018-11-09 宁波大学 一种基于非监督学习的图像质量评价方法
CN106210711B (zh) * 2016-08-05 2017-10-31 宁波大学 一种无参考立体图像质量评价方法
CN106651835B (zh) * 2016-10-20 2020-03-06 天津大学 基于熵的双视点无参考立体图像质量客观评价方法
WO2020014862A1 (zh) * 2018-07-17 2020-01-23 深圳大学 无参考型图像质量评价系统及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103914835A (zh) * 2014-03-20 2014-07-09 宁波大学 一种针对模糊失真立体图像的无参考质量评价方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103914835A (zh) * 2014-03-20 2014-07-09 宁波大学 一种针对模糊失真立体图像的无参考质量评价方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SUPPORTING BINOCULAR VISUAL QUALITY PREDICTION USING MACHINE LEARNING;Shanshan Wang;《2014 IEEE International conference on multimedia and expo workshops》;20140718;1-6 *
基于BEMD的无参考模糊失真立体图像质量评价方法;王珊珊;《光电工程》;20130930;第40卷(第9期);28-34 *

Also Published As

Publication number Publication date
CN104240248A (zh) 2014-12-24

Similar Documents

Publication Publication Date Title
CN104240248B (zh) 一种无参考立体图像质量客观评价方法
CN102333233B (zh) 一种基于视觉感知的立体图像质量客观评价方法
CN104036501B (zh) 一种基于稀疏表示的立体图像质量客观评价方法
CN105407349B (zh) 基于双目视觉感知的无参考立体图像质量客观评价方法
CN102209257B (zh) 一种立体图像质量客观评价方法
CN106097327B (zh) 结合流形特征及双目特性的立体图像质量客观评价方法
CN105282543B (zh) 一种基于立体视觉感知的全盲立体图像质量客观评价方法
CN104658001B (zh) 一种无参考非对称失真立体图像客观质量评价方法
CN104658002B (zh) 一种无参考图像客观质量评价方法
CN105357519B (zh) 基于自相似度特征的无参考立体图像质量客观评价方法
CN105376563B (zh) 基于双目融合特征相似度的无参考立体图像质量评价方法
CN104811693B (zh) 一种立体图像视觉舒适度客观评价方法
CN104036502B (zh) 一种无参考模糊失真立体图像质量评价方法
CN104811691B (zh) 一种基于小波变换的立体视频质量客观评价方法
CN104902268B (zh) 基于局部三元模式的无参考立体图像客观质量评价方法
CN104408716A (zh) 一种基于视觉保真度的立体图像质量客观评价方法
CN105654465B (zh) 一种采用视差补偿视点间滤波的立体图像质量评价方法
Geng et al. A stereoscopic image quality assessment model based on independent component analysis and binocular fusion property
CN105898279B (zh) 一种立体图像质量客观评价方法
CN107360416A (zh) 基于局部多元高斯描述子的立体图像质量评价方法
CN103914835B (zh) 一种针对模糊失真立体图像的无参考质量评价方法
CN104361583A (zh) 一种非对称失真立体图像客观质量评价方法
CN106023152B (zh) 一种无参考立体图像质量客观评价方法
CN105488792B (zh) 基于字典学习和机器学习的无参考立体图像质量评价方法
CN111641822A (zh) 一种重定位立体图像质量评价方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20191220

Address after: Room 1,020, Nanxun Science and Technology Pioneering Park, No. 666 Chaoyang Road, Nanxun District, Huzhou City, Zhejiang Province, 313000

Patentee after: Huzhou You Yan Intellectual Property Service Co.,Ltd.

Address before: 315211 Zhejiang Province, Ningbo Jiangbei District Fenghua Road No. 818

Patentee before: Ningbo University

TR01 Transfer of patent right

Effective date of registration: 20211130

Address after: 150000 Block C, working area F, floor 3, building 1, No. 196 Xuefu Road, Nangang District, Harbin, Heilongjiang Province

Patentee after: Heilongjiang Youhu Health Technology Co.,Ltd.

Address before: 510000 room b4560, second and fourth floor, No. 59, Zhuji Road, Tianhe District, Guangzhou City, Guangdong Province (office only)

Patentee before: Guangzhou Yujing Technology Service Co.,Ltd.

Effective date of registration: 20211130

Address after: 510000 room b4560, second and fourth floor, No. 59, Zhuji Road, Tianhe District, Guangzhou City, Guangdong Province (office only)

Patentee after: Guangzhou Yujing Technology Service Co.,Ltd.

Address before: 313000 room 1020, science and Technology Pioneer Park, 666 Chaoyang Road, Nanxun Town, Nanxun District, Huzhou, Zhejiang.

Patentee before: Huzhou You Yan Intellectual Property Service Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221207

Address after: 106-3, Building 2, No. 600, Taiyang Avenue, Songbei District, Harbin, Heilongjiang 150028

Patentee after: Heilongjiang Renxin Zhongkang Biotechnology Co.,Ltd.

Address before: 150000 Block C, working area F, floor 3, building 1, No. 196 Xuefu Road, Nangang District, Harbin, Heilongjiang Province

Patentee before: Heilongjiang Youhu Health Technology Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230329

Address after: 150000 Building 1, No. 196 Xuefu Road, Nangang District, Harbin City, Heilongjiang Province

Patentee after: Harbin Yusheng Technology Development Co.,Ltd.

Address before: 106-3, Building 2, No. 600, Taiyang Avenue, Songbei District, Harbin, Heilongjiang 150028

Patentee before: Heilongjiang Renxin Zhongkang Biotechnology Co.,Ltd.

TR01 Transfer of patent right