CN103873855A - 一种基于人类视觉基本特性的立体图像客观质量评价方法 - Google Patents

Abstract

本发明属于图像处理领域，涉及一种基于人类视觉系统基本特性的立体图像质量评价方法，包括，对左图像和右图像分别进行求和求差操作，得到图像的绝对差值图和和值图，分别对绝对差值图和和值图进行质量评价：模仿人眼带通特性分别进行小波变换，之后将和值图小波变换结果进行分解；模仿对比度敏感度函数和对比度掩盖，进行相关操作，最后采用非线性映射和线性加权得到最终的评价结果。本发明能很好的应用于立体图像的质量评价，评价结果与主观评价结果相关性很强。

Description

一种基于人类视觉基本特性的立体图像客观质量评价方法

技术领域

本发明属图像处理领域，涉及一种立体图像质量评价方法。

背景技术

当前3D技术发展势头迅猛，3D技术的商业化应用即将成为现实，对3D图像源的评价将促进3D相关技术的发展。虽然该领域已得到中外专家的关注与研究，但是目前对立体图像的质量评价依然是一件十分困难的工作。现有的立体图像质量评价方法主要分由平面图像质量评价发展而来的方法和基于人类视觉基本特性的方法两种，但是，由平面图像评价指标发展而来的指标没有考虑到人类视觉特性，因此这类算法不能代替立体图像质量评价算法。而现有的基于人类视觉系统的算法中最重要的一步是立体匹配，但是立体匹配时3D图像领域尚未解决的问题。因此，很有必要建立一个无需立体匹配的考虑人类视觉系统基本特性的客观立体图像质量评价方法。

发明内容

本发明的目的是客服当前存在的技术的上述不足，提出一种客观立体图像质量评价方法。本发明将人类视觉系统的基本特性引入到立体图像质量评价当中，并利用了人类视觉研究领域的最新发现。本发明采用如下的技术方案：

一种基于人类视觉基本特性的立体图像客观质量评价方法，每个立体图像对由左图像和右图像组成，设参考图像对为(o_l,o_r)，失真图像对为(t_l,t_r)，采用如下的方法进行失真图像对(t_l,t_r)的质量评价：

第一步，模拟人眼的立体感双通道特性，首先将参考图像对(o_l,o_r)和失真图像对(t_l,t_r)分别进行相减和求和操作，得到参考图像绝对差值图o_d，失真图像绝对差值图t_d以及参考图像和值图o_s，失真图像和值图t_s；

第二步，模拟人眼的带通特性，对参考图像绝对差值图o_d，失真图像绝对差值图t_d和参考图像和值图o_s，失真图像和值图t_s分别进行离散小波分解，分别得到参考图像绝对差值图各层各方向分解的小波系数O_d，失真图像绝对差值图各层各方向分解的小波系数T_d，参考图像和值图各层各方向分解的小波系数O_s，失真图像和值图各层各方向分解的小波系数T_s；

第三步，对失真图像和值图的小波变换系数T_s进行分解，分解为细节丢失部分R_t和加性噪声部分A_t以便后续评价，所采用的分解方法如下：

$R_d(\mathrm{\&lambda;},\mathrm{\&theta;i},j)=\left\{\begin{array}{cc}{T}_d(\mathrm{\&lambda;},\mathrm{\&theta;},i,j)& \mathrm{\&theta;}=1\mathrm{or}{\mathrm{\&psi;}}_{\mathrm{diff}}(\mathrm{\&lambda;},\mathrm{\&theta;},i,j)<1^{.}\\ k=(\mathrm{\&lambda;},\mathrm{\&theta;},i,j)\&times;O_d(\mathrm{\&lambda;},\mathrm{\&theta;i},j),& \mathrm{otherwise}\end{array}\right.$

其中，参数λ是小波变换的层数，θ＝1代表近似子带小波系数，θ＝2,3,4分别代表沿水平，垂直和对角方向的小波系数，(i,j)代表小波系数像素点位置；R_d(λ,θ,i,j)即表示失真图像和值图细节丢失部分的第λ层沿θ方向处于(i,j)位置的小波系数；ψ_diff(λ,ⁱ,j)是参考图像和值图在第λ级在(i,j)位置的沿水平方向与垂直方向小波系数分解系数比值的反正切值ψ_o(λ,i,j)与失真图像和值图在第λ级在(i,j)位置的沿水平方向与垂直方向小波系数分解系数比值的反正切值ψ_t(λ,i,j)的差值，k(λ,θ,i,j)是分解系数，ψ_o(λ,i,j)，ψ_t(λ,i,j)，k(λ,θ,i,j)分别由以下公式决定：

${\mathrm{\&psi;}}_o(\mathrm{\&lambda;},i,j)=\arctan \left(\frac{O_s(\mathrm{\&lambda;},\mathrm{\&theta;}=2,i,j)}{O_s{(\mathrm{\&lambda;},\mathrm{\&theta;}=3,i,j)+10}^{-30}}\right)+\mathrm{\&pi;}\&times;u(-O_s(\mathrm{\&lambda;},\mathrm{\&theta;}=3,i,j))$

${\mathrm{\&psi;}}_t(\mathrm{\&lambda;},i,j)=\arctan \left(\frac{T_s(\mathrm{\&lambda;},\mathrm{\&theta;}=2,i,j)}{T_s{(\mathrm{\&lambda;},\mathrm{\&theta;}=3,i,j)+10}^{-30}}\right)+\mathrm{\&pi;}\&times;u(-T_s(\mathrm{\&lambda;},\mathrm{\&theta;}=3,i,j))$

$k(\mathrm{\&lambda;},i,j)=\min (\mathrm{mix}(\frac{T_d(\mathrm{\&lambda;},\mathrm{\&theta;},i,j)}{O_d{(\mathrm{\&lambda;},\mathrm{\&theta;},i,j)+10}^{-30}},0),1)$

公式中，u(·)是单位跃阶函数，10^-30引入是为了避免被除数为0造成计算错误；

第四步：利用对比度敏感度函数（CSF）对失真图像差值图的加性噪声部分小波系数A_t，细节丢失部分小波系数R_t，参考图像差值图小波系数O_d，参考图像和失真图像和值图小波系数O_s、T_s分别进行加权；

第五步：对失真图像和值图小波系数T_s，失真图像差值图小波系数R_t和细节丢失部分小波系数A_t进行对比度掩盖操作，得到失真图像细节丢失部分和加性噪声部分对比度掩盖后的小波系数R_t ^'和A_t ^'以及失真图像和值图对比度掩盖后的小波系数T_s ^'；

第六步：分别计算得到和图部分的质量Q_s和绝对差值图部分的质量Q_d，采用如下的公式对和值图部分进行质量评价：

$Q_s=q_1+a_1\&times;(0.5-\frac{1}{1+\exp (a_2\&times;q_2)})$

其中，α₁，α₂是由实验决定的常数，这里取α₁＝1.1,α₂＝515，q₁和q₂由下式决定：

$\left\{\begin{array}{c}{q}_1=\frac{\underset{\mathrm{\&lambda;}=1}{\overset{4}{\mathrm{\&Sigma;}}}\underset{\mathrm{\&theta;}=2}{\overset{4}{\mathrm{\&Sigma;}}}{\left[\underset{i,j\&Element;\mathrm{center}}{\mathrm{\&Sigma;}}{R}^{\&prime;}{(\mathrm{\&lambda;},\mathrm{\&theta;},i,j)}^{{\mathrm{\&beta;}}_s}\right]}^{{1/\mathrm{\&beta;}}_s}}{\underset{\mathrm{\&lambda;}=1}{\overset{4}{\mathrm{\&Sigma;}}}\underset{\mathrm{\&theta;}=2}{\overset{4}{\mathrm{\&Sigma;}}}{{\left[\underset{i,j\&Element;\mathrm{center}}{\mathrm{\&Sigma;}}{O_s}^{\&prime;}{(\mathrm{\&lambda;},\mathrm{\&theta;},i,j)}^{{\mathrm{\&beta;}}_s}\right]}^{{1/\mathrm{\&beta;}}_s}}^{}}\\ q_2=\frac{\underset{\mathrm{\&lambda;}=1}{\overset{4}{\mathrm{\&Sigma;}}}\underset{\mathrm{\&theta;}=2}{\overset{4}{\mathrm{\&Sigma;}}}{\left[\underset{i,j\&Element;\mathrm{center}}{\mathrm{\&Sigma;}}{A}^{\&prime;}{(\mathrm{\&lambda;},\mathrm{\&theta;},i,j)}^{{\mathrm{\&beta;}}_s}\right]}^{{1/\mathrm{\&beta;}}_s}}{N^{}}\end{array}\right.$

上式中，图像像素值i,j∈center表示只计算中心部分区域；β_s是Monowiski汇集系数，这里设置为

采用如下的公式进行绝对差值图部分的质量评价：

$Q_d=\underset{\mathrm{\&lambda;}=1}{\overset{4}{\mathrm{\&Sigma;}}}\underset{\mathrm{\&theta;}=1}{\overset{4}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_{\mathrm{\&lambda;},\mathrm{\&theta;}}\&times;\frac{({2\mathrm{\&mu;}}_x{\mathrm{\&mu;}}_y+C_1)({2\mathrm{\&sigma;}}_{\mathrm{xy}}+C_2)}{({\mathrm{\&mu;}}_x^2+{\mathrm{\&mu;}}_y^2+C_1)({\mathrm{\&sigma;}}_x^2+{\mathrm{\&sigma;}}_y^2+C_2)}$

其中，是各个ω_λ,_θ频带各方向的对比度敏感度函数权值，μ_x参考图像和值图的各子带均值μ_y是失真图像和值图各子带的均值，σ_x是参考图像和值图各子带的方差σ_y，是原失真和值图各子带的均值，方差；C₁和C₂是常数，一般取值较小，这里取值为0；

第七步，对和值图部分的质量Q_s和绝对差值图部分的质量Q_d ^'进行非线性映射得到映射后的和值图部分质量Q_s'以及映射后的绝对差值图部分质量Q_d ^'，使主观值和客观值呈线性关系，采用线性加权的办法得到最终的立体图像质量Q，采用的非线性映射如下：

$Q^{\&prime;}={\mathrm{\&beta;}}_1\&times;(0.5-\frac{1}{1+\exp ({\mathrm{\&beta;}}_2\&times;(Q-{\mathrm{\&beta;}}_3))})+{\mathrm{\&beta;}}_4\&times;Q+{\mathrm{\&beta;}}_5$

其中，参数β₁，β₂，β₃，β₄，β₅通过使主观值和客观值的均方差最小的最优化算法确定，最终评价指标由下式给出：

Q＝ω_sQ_s ^'+ω_dQ_d ^'

其中，加权值ω_s和ω_d满足： $\left\{\begin{array}{c}{\mathrm{\&omega;}}_s+{\mathrm{\&omega;}}_d=1\\ 0<{\mathrm{\&omega;}}_s<1\\ 0<\mathrm{\&omega;d}<1.\end{array}\right.$

第四步中：

所采用的对比度敏感度函数为：

H(ω)＝(a+bω)exp(-cω)

其中，a＝0.31，b＝0.69，c＝0.29，ω是空间频率，对于小波分解的各个频带，按照如下公式计算其各个层数λ各个方向θ频率值F(λ,θ)：

$\left\{\begin{array}{c}F(\mathrm{\&lambda;},\mathrm{\&theta;})=\frac{\mathrm{\&pi;}\&times;f_s\&times;d}{180\&times;h\&times;2^{\mathrm{\&lambda;}}}\mathrm{\&theta;}=\mathrm{2,3}\\ F(\mathrm{\&lambda;},\mathrm{\&theta;})=\frac{\mathrm{\&pi;}\&times;f_s\&times;d}{180\&times;h\&times;2^{\mathrm{\&lambda;}}\&times;\sqrt{2}}\mathrm{\&theta;}=4\end{array}\right.$

其中，f_s是奈奎斯特采样频率，d是观看距离，h是图像高度，这里，d/h＝4，在计算各个频带频率值之后，将该频率带回对比度敏感度函数中，即可得到各频带各方向的加权值。

第五步中：

所采用的掩盖模型是一简单矩阵w和掩盖信号的卷积，掩盖阀值MT_λ计算如下式：

${\mathrm{MT}}_{\mathrm{\&lambda;}}=\underset{\mathrm{\&theta;}=1}{\overset{3}{\mathrm{\&Sigma;}}}\left|M_{(\mathrm{\&lambda;},\mathrm{\&theta;})}\right|\&CirclePlus;w$

其中，M_(λ,θ)表示第λ层沿θ方向的掩盖信号；

对于失真图像和值图部分小波系数T_s，其掩盖信号为参考图像和值图小波系数O_s；所采用的w矩阵为：

$w=\left[\begin{array}{ccc}1/30& 1/30& 1/30\\ 1/30& 1/15& 1/30\\ 1/30& 1/30& 1/30\end{array}\right]$

掩盖后的失真图像和值图细节丢失小波系数R_t ^'和加性噪声小波系数A_t ^'以及失真图像绝对差值图小波系数T_s ^'由原小波系数分别与各自的掩盖信号阀值MT_λ之差得出。

本发明所提出的立体图像质量评价方法能够充分的考虑到人类视觉特性，分别对绝对差值图和和图进行质量评估，并且无需进行立体匹配计算量比较小。实验表明，该算法能够很好地反应立体图像的质量，所得出的客观评价结果和主观评价结果关联性很高，可以有效地对立体图像进行质量评价。

附图说明：

图1小波变换示意图；

图2立体图像质量评价方法基本流程图；

具体实施方式

本发明涉及通过模拟人眼立体感双通道特性，对比度敏感度特性，带通特性和掩盖特性的视觉模型。提出了分别评价立体感双通道的连个指标，最终按照合理的加权值，将两部分的结果进行加权综合，得到立体图像对最终的评价结果。结果表明，本发明所提出的立体图像客观质量评价评价方法与主观评价具有很高的一致性，能够较为准确的反应图像的质量。

本发明提出的立体图像质量评价算法如下：

（1）对于参考图像和失真图像的左图像和右图像，分别对其进行加、减运算，得到参考图像的绝对差值图和和值图以及失真图像的绝对差值图和和值图。之后将失真和值图进行分解，以便后续的处理。对失真图像和值图分解结果以及失真图像绝对差值图分别进行对比度敏感度函数（CSF）加权，对比度掩盖，汇集求和等操作之后，再分别对失真图像绝对差值图和失真图像和值图分别进行质量评价，得到绝对差值图质量评价Q_d和和值图质量评价Q_s。最后对两部分的质量进行加权求和，得到最终的立体图像质量评价值Q。

采用如下的方法进行图像的绝对差值图质量评价：

第一步，模拟人眼的立体感双通道特性，首先将参考图像对(o_l,o_r)和失真图像对(t_l,t_r)分别进行相减和求和操作，得到参考图像绝对差值图o_d，失真图像绝对差值图t_d以及参考图像和值图o_s，失真图像和值图t_s；计算绝对差值图和和值图的公式如下：

$\left\{\begin{array}{c}{o}_s=o_l+o_d\\ o_d=|o_l-o_d|\\ t_d=|t_l-t_d|\\ t_s=t_l+t_d\end{array}\right.$

第二步：模拟人眼的带通特性，对参考图像绝对差值图o_d，失真图像图像绝对差值图t_d和参考图像和值图o_s，失真图像和值图t_s分别进行离散小波分解，分别得到参考图像绝对差值图各层各方向分解的小波系数O_d，失真图像绝对差值图各层各方向分解的小波系数T_d，参考图像和值图各层各方向分解的小波系数O_s，失真图像和值图各层各方向分解的小波系数T_s。

第三步，为了分别评价绝对差值图和和值图的特征，将失真图像绝对差值图的小波系数T_d进行分解，分解为加性噪声部分A_t和细节丢失部分R_t。分解采用如下的公式：

$R_d(\mathrm{\&lambda;},\mathrm{\&theta;},i,j)=\left\{\begin{array}{cc}{T}_d(\mathrm{\&lambda;},\mathrm{\&theta;},i,j)& \mathrm{\&theta;}=1\mathrm{or}{\mathrm{\&psi;}}_{\mathrm{diff}}(\mathrm{\&lambda;},\mathrm{\&theta;},i,j)<1^{.}\\ k(\mathrm{\&lambda;},\mathrm{\&theta;},i,j)\&times;O_d(\mathrm{\&lambda;},\mathrm{\&theta;},i,j),& \mathrm{otherwise}\end{array}\right.$

其中，参数λ是小波变换的层数，θ＝1代表近似子带小波系数，θ＝2,3,4分别代表沿水平，垂直和对角方向的小波系数，(i,j)代表小波系数像素点位置。ψ_diff(λ,i,j)是参考图像和值图在第λ级在(i,j)位置的沿水平方向（θ＝2）与垂直方向（θ＝3）小波系数分解系数比值的反正切值ψ_o(λ,i,j)与失真图像和值图在第λ级在(i,j)位置的沿水平方向（θ＝2）与垂直方向（θ＝3）小波系数分解系数比值的反正切值ψ_t(λ,i,j)的差值，k(λ,θ,i,j)是分解系数，ψ_diff(λ,i,j)，ψ_o(λ,i,j)，ψ_t(λ,i,j)，k(λ,θ,i,j)分别由以下公式决定：

${\mathrm{\&psi;}}_{\mathrm{diff}}(\mathrm{\&lambda;},\mathrm{\&theta;},i,j)=|{\mathrm{\&psi;}}_t(\mathrm{\&lambda;},i,j)-{\mathrm{\&psi;}}_o(\mathrm{\&lambda;},i,j)|\&times;\frac{180}{\mathrm{\&pi;}}$

${\mathrm{\&psi;}}_o(\mathrm{\&lambda;},i,j)=\arctan \left(\frac{O_s(\mathrm{\&lambda;},\mathrm{\&theta;}=2,i,j)}{O_s{(\mathrm{\&lambda;},\mathrm{\&theta;}=3,i,j)+10}^{-30}}\right)+\mathrm{\&pi;}\&times;u(-O_s(\mathrm{\&lambda;},\mathrm{\&theta;}=3,i,j))$

${\mathrm{\&psi;}}_t(\mathrm{\&lambda;},i,j)=\arctan \left(\frac{T_s(\mathrm{\&lambda;},\mathrm{\&theta;}=2,i,j)}{T_s{(\mathrm{\&lambda;},\mathrm{\&theta;}=3,i,j)+10}^{-30}}\right)+\mathrm{\&pi;}\&times;u(-T_s(\mathrm{\&lambda;},\mathrm{\&theta;}=3,i,j))$

$k(\mathrm{\&lambda;},i,j)=\min (\mathrm{mix}(\frac{T_d(\mathrm{\&lambda;},\mathrm{\&theta;},i,j)}{O_d{(\mathrm{\&lambda;},\mathrm{\&theta;},i,j)+10}^{-30}},0),1)$

公式中，u(·)是单位跃阶函数，10^-30引入是为了避免被除数为0造成计算错误。

第四步：利用对比度敏感度函数（CSF）对失真图像差值图的加性噪声部分小波系数A_t，细节丢失部分小波系数R_t，参考图像差值图小波系数O_d，参考图像和失真图像和值图小波系数O_s、T_s分别进行加权。在本发明中，对比度敏感度函采用如下的模型：

H(ω)＝(a+bω)exp(-cω)

其中，a＝0.31，b＝0.69，c＝0.29，ω是空间频率,对于小波分解的各个频带，我们按照如下公式计算其各个层数λ各个方向θ频率值F(λ,θ)：

$\left\{\begin{array}{c}F(\mathrm{\&lambda;},\mathrm{\&theta;})=\frac{\mathrm{\&pi;}\&times;f_s\&times;d}{180\&times;h\&times;2^{\mathrm{\&lambda;}}}\mathrm{\&theta;}=\mathrm{2,3}\\ F(\mathrm{\&lambda;},\mathrm{\&theta;})=\frac{\mathrm{\&pi;}\&times;f_s\&times;d}{180\&times;h\&times;2^{\mathrm{\&lambda;}}\&times;\sqrt{2}}\mathrm{\&theta;}=4\end{array}\right.$

其中，θ＝2,3,4分别代表水平垂直和对角线方向的小波系数。f_s是奈奎斯特采样频率，d是观看距离，h是图像高度。在我们的发明中，d/h＝4。在计算各个频带频率值之后，将该频率带回对比度敏感度函数中，即可得到各频带各方向的加权值。

第五步：对失真图像和值图小波系数T_s，失真图像差值图的细节丢失部分小波系数R_t和A_t进行对比度掩盖操作，得到失真图像细节丢失部分和加性噪声部分对比度掩盖后的小波系数R_t ^'和A_t ^'以及失真图像和值图对比度掩盖后的小波系数T_s'；所采用的掩盖模型为一简单矩阵与掩盖信号的卷积，掩盖信号

MT_λ阀值计算公式如下：

${\mathrm{MT}}_{\mathrm{\&lambda;}}=\underset{\mathrm{\&theta;}=1}{\overset{3}{\mathrm{\&Sigma;}}}\left|M_{(\mathrm{\&lambda;},\mathrm{\&theta;})}\right|\&CirclePlus;w$

其中M₍λ_,θ₎表示第λ层沿θ方向的掩盖信号。

对于失真图像和值图细节丢失小波系数R_t和加性噪声小波系数A_t一者的出现将会掩盖另一者，因此互为掩盖信号，对于和值图部分T_s，其掩盖信号为参考图像和值图O_s，所采用的掩盖矩阵w如下：

$w=\left[\begin{array}{ccc}1/30& 1/30& 1/30\\ 1/30& 1/15& 1/30\\ 1/30& 1/30& 1/30\end{array}\right]$

掩盖后的失真图像和值图细节丢失小波系数R_t'、掩盖后的加性噪声小波系数A_t'以及掩盖后的失真图像绝对差值图小波系数T_s'由原小波系数分别与各自的掩盖信号MT_λ之差得出。

第六步：分别计算得到和图部分的质量Q_s和绝对差值图部分的质量Q_d。采用如下的公式对和值图部分进行质量评价：

$Q_s=q_1+a_1\&times;(0.5-\frac{1}{1+\exp (a_2\&times;q_2)})$

其中，α₁，α₂是由实验决定的常数，在本发明中α₁＝1.1,α₂＝515，q₁，q₂由下式决定：

$\left\{\begin{array}{c}{q}_1=\frac{\underset{\mathrm{\&lambda;}=1}{\overset{4}{\mathrm{\&Sigma;}}}\underset{\mathrm{\&theta;}=2}{\overset{4}{\mathrm{\&Sigma;}}}{\left[\underset{i,j\&Element;\mathrm{center}}{\mathrm{\&Sigma;}}{R}^{\&prime;}{(\mathrm{\&lambda;},\mathrm{\&theta;},i,j)}^{{\mathrm{\&beta;}}_s}\right]}^{{1/\mathrm{\&beta;}}_s}}{\underset{\mathrm{\&lambda;}=1}{\overset{4}{\mathrm{\&Sigma;}}}\underset{\mathrm{\&theta;}=2}{\overset{4}{\mathrm{\&Sigma;}}}{{\left[\underset{i,j\&Element;\mathrm{center}}{\mathrm{\&Sigma;}}{O_s}^{\&prime;}{(\mathrm{\&lambda;},\mathrm{\&theta;},i,j)}^{{\mathrm{\&beta;}}_s}\right]}^{{1/\mathrm{\&beta;}}_s}}^{}}\\ q_2=\frac{\underset{\mathrm{\&lambda;}=1}{\overset{4}{\mathrm{\&Sigma;}}}\underset{\mathrm{\&theta;}=2}{\overset{4}{\mathrm{\&Sigma;}}}{\left[\underset{i,j\&Element;\mathrm{center}}{\mathrm{\&Sigma;}}{A}^{\&prime;}{(\mathrm{\&lambda;},\mathrm{\&theta;},i,j)}^{{\mathrm{\&beta;}}_s}\right]}^{{1/\mathrm{\&beta;}}_s}}{N^{}}\end{array}\right.$

上式中，(λ,θ,i,j)中参数λ代表所计算的小波分解系数的层数，图像像素值i,j∈center表示只计算中心部分区域；β_s是Monowiski汇集系数，在我们的实验中设置为3。

采用如下的公式进行绝对差值图部分的质量评价：

$Q_d=\underset{\mathrm{\&lambda;}=1}{\overset{4}{\mathrm{\&Sigma;}}}\underset{\mathrm{\&theta;}=1}{\overset{4}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_{\mathrm{\&lambda;},\mathrm{\&theta;}}\&times;\frac{({2\mathrm{\&mu;}}_x{\mathrm{\&mu;}}_y+C_1)({2\mathrm{\&sigma;}}_{\mathrm{xy}}+C_2)}{({\mathrm{\&mu;}}_x^2+{\mathrm{\&mu;}}_y^2+C_1)({\mathrm{\&sigma;}}_x^2+{\mathrm{\&sigma;}}_y^2+C_2)}$

其中，是各个ω_λ,θ频带各方向的对比度敏感度函数权值，μ_x参考图像和值图的各子带均值μ_y是失真图像和值图各子带的均值，σ_x是参考图像和值图各子带的方差σ_y，是原失真和值图各子带的均值，方差。C₁和C₂是常数，一般取值较小。在本发明中，取值为0。

第七步，对和值图部分的质量Q_s和绝对差值图部分的质量Q_d ^'进行非线性映射得到映射后的和值图部分质量Q_s ^'以及映射后的绝对差值图部分质量Q_d ^'，使主观值和客观值呈线性关系，采用线性加权的办法得到最终的立体图像质量Q。采用的非线性映射如下：

$Q^{\&prime;}={\mathrm{\&beta;}}_1\&times;(0.5-\frac{1}{1+\exp ({\mathrm{\&beta;}}_2\&times;(Q-{\mathrm{\&beta;}}_3))})+{\mathrm{\&beta;}}_4\&times;Q+{\mathrm{\&beta;}}_5$

其中，参数β₁,β₂,β₃,β₄,β₅通过最小化主观评价值和客观评价值差的均方差获得最优化算法确定，

最终评价指标由下式给出：

Q＝ω_sQ_s ^'+ω_dQ_d ^'

由实验得到，在本发明中，加权值满足：

$\left\{\begin{array}{c}{\mathrm{\&omega;}}_s+{\mathrm{\&omega;}}_d=1\\ 0<{\mathrm{\&omega;}}_s<1\\ 0<\mathrm{\&omega;d}<1\end{array}\right.?$

总结：本发明的中的立体图像客观质量评价方法评价值为1-100，

Q为81-100时，图像质量很好。

Q为61-80时，图像质量很较好。

Q为41-60时，图像质量一般。

Q为21-40时，图像质量差。

Q为0-20时，图像质量很差。

Claims (3)

1.一种基于人类视觉基本特性的立体图像客观质量评价方法，每个立体图像对由左图像和右图像组成，设参考图像对为(o_l,o_r)，失真图像对为(t_l,t_r)，采用如下的方法进行失真图像对(t_l,t_r)的质量评价：

第一步，模拟人眼的立体感双通道特性，首先将参考图像对(o_l,o_r)和失真图像对(t_l,t_r)分别进行相减和求和操作，得到参考图像绝对差值图o_d，失真图像绝对差值图t_d以及参考图像和值图o_s，失真图像和值图t_s；

第二步，模拟人眼的带通特性，对参考图像绝对差值图o_d，失真图像绝对差值图t_d和参考图像和值图o_s，失真图像和值图t_s分别进行离散小波分解，分别得到参考图像绝对差值图各层各方向分解的小波系数O_d，失真图像绝对差值图各层各方向分解的小波系数T_d，参考图像和值图各层各方向分解的小波系数O_s，失真图像和值图各层各方向分解的小波系数T_s；

第三步，对失真图像和值图的小波变换系数T_s进行分解，分解为细节丢失部分R_t和加性噪声部分A_t以便后续评价，所采用的分解方法如下：

其中，参数λ是小波变换的层数，θ＝1代表近似子带小波系数，θ＝2,3,4分别代表沿水平，垂直和对角方向的小波系数，(i,j)代表小波系数像素点位置；R_d(λ,θ,i,j)即表示失真图像和值图细节丢失部分的第λ层沿θ方向处于(i,j)位置的小波系数；ψ_diff(λ,i,j)是参考图像和值图在第λ级在(i,j)位置的沿水平方向与垂直方向小波系数分解系数比值的反正切值ψ_o(λ,i,j)与失真图像和值图在第λ级在(i,j)位置的沿水平方向与垂直方向小波系数分解系数比值的反正切值ψ_t(λ,i,j)的差值，k(λ,θ,i,j)是分解系数，ψ_o(λ,i,j)，ψ_t(λ,i,j)，k(λ,θ,i,j)分别由以下公式决定：

${\mathrm{\&psi;}}_o(\mathrm{\&lambda;},i,j)=\arctan \left(\frac{O_s(\mathrm{\&lambda;},\mathrm{\&theta;}=2,i,j)}{O_s{(\mathrm{\&lambda;},\mathrm{\&theta;}=3,i,j)+10}^{-30}}\right)+\mathrm{\&pi;}\&times;u(-O_s(\mathrm{\&lambda;},\mathrm{\&theta;}=3,i,j))$

${\mathrm{\&psi;}}_t(\mathrm{\&lambda;},i,j)=\arctan \left(\frac{T_s(\mathrm{\&lambda;},\mathrm{\&theta;}=2,i,j)}{T_s{(\mathrm{\&lambda;},\mathrm{\&theta;}=3,i,j)+10}^{-30}}\right)+\mathrm{\&pi;}\&times;u(-T_s(\mathrm{\&lambda;},\mathrm{\&theta;}=3,i,j))$

$k(\mathrm{\&lambda;},i,j)=\min (\mathrm{mix}(\frac{T_d(\mathrm{\&lambda;},\mathrm{\&theta;},i,j)}{O_d{(\mathrm{\&lambda;},\mathrm{\&theta;},i,j)+10}^{-30}},0),1)$

公式中，u(·)是单位跃阶函数，10^-30引入是为了避免被除数为0造成计算错误；

第四步：利用对比度敏感度函数（CSF）对失真图像差值图的加性噪声部分小波系数A_t，细节丢失部分小波系数R_t，参考图像差值图小波系数O_d，参考图像和失真图像和值图小波系数O_s、T_s分别进行加权；

第五步：对失真图像和值图小波系数T_s，失真图像差值图小波系数R_t和细节丢失部分小波系数A_t进行对比度掩盖操作，得到失真图像细节丢失部分和加性噪声部分对比度掩盖后的小波系数R_t ^'和A_t ^'以及失真图像和值图对比度掩盖后的小波系数T_s ^'；

第六步：分别计算得到和图部分的质量Q_s和绝对差值图部分的质量Q_d，采用如下的公式对和值图部分进行质量评价：

$Q_s=q_1+a_1\&times;(0.5-\frac{1}{1+\exp (a_2\&times;q_2)})$

其中，α₁，α₂是由实验决定的常数，这里取α₁＝1.1,α₂＝515，q₁和q₂由下式决定：

$\left\{\begin{array}{c}{q}_1=\frac{\underset{\mathrm{\&lambda;}=1}{\overset{4}{\mathrm{\&Sigma;}}}\underset{\mathrm{\&theta;}=2}{\overset{4}{\mathrm{\&Sigma;}}}{\left[\underset{i,j\&Element;\mathrm{center}}{\mathrm{\&Sigma;}}{R}^{\&prime;}{(\mathrm{\&lambda;},\mathrm{\&theta;},i,j)}^{{\mathrm{\&beta;}}_s}\right]}^{{1/\mathrm{\&beta;}}_s}}{\underset{\mathrm{\&lambda;}=1}{\overset{4}{\mathrm{\&Sigma;}}}\underset{\mathrm{\&theta;}=2}{\overset{4}{\mathrm{\&Sigma;}}}{{\left[\underset{i,j\&Element;\mathrm{center}}{\mathrm{\&Sigma;}}{O_s}^{\&prime;}{(\mathrm{\&lambda;},\mathrm{\&theta;},i,j)}^{{\mathrm{\&beta;}}_s}\right]}^{{1/\mathrm{\&beta;}}_s}}^{}}\\ q_2=\frac{\underset{\mathrm{\&lambda;}=1}{\overset{4}{\mathrm{\&Sigma;}}}\underset{\mathrm{\&theta;}=2}{\overset{4}{\mathrm{\&Sigma;}}}{\left[\underset{i,j\&Element;\mathrm{center}}{\mathrm{\&Sigma;}}{A}^{\&prime;}{(\mathrm{\&lambda;},\mathrm{\&theta;},i,j)}^{{\mathrm{\&beta;}}_s}\right]}^{{1/\mathrm{\&beta;}}_s}}{N^{}}\end{array}\right.$

上式中，图像像素值i,j∈center表示只计算中心部分区域；β_s是Monowiski汇集系数，这里设置为3；

采用如下的公式进行绝对差值图部分的质量评价：

$Q_d=\underset{\mathrm{\&lambda;}=1}{\overset{4}{\mathrm{\&Sigma;}}}\underset{\mathrm{\&theta;}=1}{\overset{4}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_{\mathrm{\&lambda;},\mathrm{\&theta;}}\&times;\frac{({2\mathrm{\&mu;}}_x{\mathrm{\&mu;}}_y+C_1)({2\mathrm{\&sigma;}}_{\mathrm{xy}}+C_2)}{({\mathrm{\&mu;}}_x^2+{\mathrm{\&mu;}}_y^2+C_1)({\mathrm{\&sigma;}}_x^2+{\mathrm{\&sigma;}}_y^2+C_2)}$

其中，是各个ω_λ,_θ频带各方向的对比度敏感度函数权值，μ_x参考图像和值图的各子带均值μ_y是失真图像和值图各子带的均值，σ_x是参考图像和值图各子带的方差σ_y，是原失真和值图各子带的均值，方差；C₁和C₂是常数，一般取值较小，这里取值为0；

第七步，对和值图部分的质量Q_s和绝对差值图部分的质量Q_d ^'进行非线性映射得到映射后的和值图部分质量Q_s ^'以及映射后的绝对差值图部分质量Q_d ^'，使主观值和客观值呈线性关系，采用线性加权的办法得到最终的立体图像质量Q，采用的非线性映射如下：

$Q^{\&prime;}={\mathrm{\&beta;}}_1\&times;(0.5-\frac{1}{1+\exp ({\mathrm{\&beta;}}_2\&times;(Q-{\mathrm{\&beta;}}_3))})+{\mathrm{\&beta;}}_4\&times;Q+{\mathrm{\&beta;}}_5$

其中，参数β₁，β₂，β₃，β₄，β₅通过使主观值和客观值的均方差最小的最优化算法确定，最终评价指标由下式给出：

Q＝ω_sQ_s ^'+ω_dQ_d ^'

其中，加权值ω_s和ω_d满足： $\left\{\begin{array}{c}{\mathrm{\&omega;}}_s+{\mathrm{\&omega;}}_d=1\\ 0<{\mathrm{\&omega;}}_s<1\\ 0<\mathrm{\&omega;d}<1.\end{array}\right.?$

2.根据权利要求1所述的基于人类视觉基本特性的立体图像客观质量评价方法，其特征在于，第四步中：

所采用的对比度敏感度函数为：

H(ω)＝(a+bω)exp(-cω)

其中，a＝0.31，b＝0.69，c＝0.29，ω是空间频率，对于小波分解的各个频带，按照如下公式计算其各个层数λ各个方向θ频率值F(λ,θ)：

$\left\{\begin{array}{c}F(\mathrm{\&lambda;},\mathrm{\&theta;})=\frac{\mathrm{\&pi;}\&times;f_s\&times;d}{180\&times;h\&times;2^{\mathrm{\&lambda;}}}\mathrm{\&theta;}=\mathrm{2,3}\\ F(\mathrm{\&lambda;},\mathrm{\&theta;})=\frac{\mathrm{\&pi;}\&times;f_s\&times;d}{180\&times;h\&times;2^{\mathrm{\&lambda;}}\&times;\sqrt{2}}\mathrm{\&theta;}=4\end{array}\right.$

其中，f_s是奈奎斯特采样频率，d是观看距离，h是图像高度，这里，d/h＝4，在计算各个频带频率值之后，将该频率带回对比度敏感度函数中，即可得到各频带各方向的加权值。

3.根据权利要求1所述的基于人类视觉基本特性的立体图像客观质量评价方法，其特征在于，第五步中：

所采用的掩盖模型是一简单矩阵w和掩盖信号的卷积，掩盖阀值MT_λ计算如下式：

${\mathrm{MT}}_{\mathrm{\&lambda;}}=\underset{\mathrm{\&theta;}=1}{\overset{3}{\mathrm{\&Sigma;}}}\left|M_{(\mathrm{\&lambda;},\mathrm{\&theta;})}\right|\&CirclePlus;w$

其中，M_(λ,_θ)表示第λ层沿θ方向的掩盖信号；

对于失真图像和值图部分小波系数T_s，其掩盖信号为参考图像和值图小波系数O_s；所采用的w矩阵为：

$w=\left[\begin{array}{ccc}1/30& 1/30& 1/30\\ 1/30& 1/15& 1/30\\ 1/30& 1/30& 1/30\end{array}\right]$

掩盖后的失真图像和值图细节丢失小波系数R_t ^'和加性噪声小波系数A_t ^'以及失真图像绝对差值图小波系数T_s ^'由原小波系数分别与各自的掩盖信号阀值MT_λ之差得出。

Images