CN103108209A - 基于视觉阈值与通道融合的立体图像客观质量评价方法 - Google Patents

Abstract

本发明公开了一种基于视觉阈值与通道融合的立体图像客观质量评价方法，其通过对无失真的立体图像和失真的立体图像的左视点图像和右视点图像分通道进行视觉阈值分析和奇异值分解；然后通过对无失真的立体图像和失真的立体图像的左右视点图像的绝对视差图像的差值图像分通道进行视觉阈值分析和奇异值分解，采用线性组合方式得到立体感知评价度量；最后将客观评价尺度度量和立体感知评价度量两者进行线性加权结合，得到立体图像的总体质量评价客观值，不仅有效利用了恰可察觉失真的视觉阈值、视觉掩盖效应以及立体感知等人眼视觉特性，而且在评价左右视点图像质量的基础上，同时评价了立体感知，因此提高了客观质量评价结果与主观感知之间的相关性。

Description

基于视觉阈值与通道融合的立体图像客观质量评价方法

技术领域

本发明涉及一种立体图像质量评价方法，尤其是涉及一种基于视觉阈值与通道融合的立体图像客观质量评价方法。

背景技术

立体图像作为一种能够提供立体感的新型图像，已成为三维立体研究的重要方向，并已受到广泛的关注与应用。与传统的多媒体相比，立体视频能够为大众创造更加直观、真实的场景感受，但其需要处理的数据至少多一倍。因此，立体图像在提高编码压缩效率的同时，还需要保证立体图像的主观感知。由于立体图像质量的主观评价方法不仅容易受到客观条件、主观情绪和观察者自身条件等各种因素的影响，而且复杂费时，评测结果因人而异，评价结果极不稳定。因此，建立与主观感知相一致的立体图像客观质量评价模型显得十分重要。目前，很多研究者将平面图像质量评价方法直接用于立体图像的评价，如基于奇异值分解的质量评价和基于结构相似度的评价等，这些方法评价平面图像质量效果比较好，但是评价立体图像的效果却不很理想，这是因为它们没有考虑人眼视觉特性因素以及立体图像特有的深度感知特性，从而导致最终的客观评价与人眼主观评价不是很吻合。

发明内容

本发明所要解决的技术问题是提供一种能够有效提高立体图像客观评价结果与主观感知之间的相关性的基于视觉阈值与通道融合的立体图像客观质量评价方法。

本发明解决上述技术问题所采用的技术方案为：一种基于视觉阈值与通道融合的立体图像客观质量评价方法，其特征在于具体包括以下步骤：

①令S_org为原始的无失真的立体图像，令S_dis为失真的立体图像，将原始的无失真的立体图像S_org的左视点图像记为L_org，将原始的无失真的立体图像S_org的右视点图像记为R_org，将失真的立体图像S_dis的左视点图像记为L_dis，将失真的立体图像S_dis的右视点图像记为R_dis；

②计算L_org与L_dis的差值图，记为D_l，D_l=|L_org-L_dis|,并计算R_org与R_dis的差值图，记为D_r，D_r=|R_org-R_dis|，然后计算L_org与R_org的差值图，记为D_org，D_org=|L_org-R_org|，并计算L_dis与R_dis的差值图，记为D_dis，D_dis=|L_dis-R_dis|，再计算D_org与D_dis的差值图，记为DD，DD=|D_org-D_dis|，其中，“||”为取绝对值符号；

③获取L_org的视觉阈值图，记为将L_org的视觉阈值图

中坐标位置为(i,j)的像素点的视觉阈值记为

${\mathrm{JND}}_{\mathrm{org}}^l(i,j)=T^l(i,j)+T^t(i,j)-C\×\min \{T^l(i,j),T^t(i,j)\},$ 其中，1≤i≤W,1≤j≤H,W表示立体图像的宽度,H表示立体图像的高度,T^l(i,j)表示L_org中坐标位置为(i,j)的像素点对应的亮度阈值，

表示L_org中坐标位置为(i,j)的像素点的亮度值的均值，

I(i,j)表示L_org中坐标位置为(i,j)的像素点的亮度值，I(i-3+m,j-3+n)表示L_org中坐标位置为(i-3+m,j-3+n)的像素点的亮度值，B(m,n)表示5×5的低通滤波器中坐标位置为(m,n)处的值，T^t(i,j)表示L_org中坐标位置为(i,j)的像素点对应的纹理阈值，T^t(i,j)=α(i,j)×G(i,j)+β(i,j)， $\mathrm{\α}(i,j)=0.0001\×\stackrel{\‾}{I(i,j)}+0.115,$ $\mathrm{\β}(i,j)=0.5-0.01\×\stackrel{\‾}{I(i,j)},$ G(i,j)表示L_org中坐标位置为(i,j)的像素点分别通过水平方向、垂直方向、45°方向和135°方向的高通滤波器滤波后得到的四个值中的最大值，C为加权系数，min()为取最小值函数；

获取R_org的视觉阈值图，记为将R_org的视觉阈值图

中坐标位置为(i,j)的像素点的视觉阈值记为

${\mathrm{JND}}_{\mathrm{org}}^r(i,j)=T^r(i,j)+T^{t\′}(i,j)-C\×\min \{T^r(i,j),T^{t\′}(i,j)\},$ 其中，1≤i≤W,1≤j≤H,W表示立体图像的宽度,H表示立体图像的高度,T^r(i,j)表示R_org中坐标位置为(i,j)的像素点对应的亮度阈值，

表示R_org中坐标位置为(i,j)的像素点的亮度值的均值，

I'(i,j)表示R_org中坐标位置为(i,j)的像素点的亮度值，I'(i-3+m,j-3+n)表示R_org中坐标位置为(i-3+m,j-3+n)的像素点的亮度值，B(m,n)表示5×5的低通滤波器中坐标位置为(m,n)处的值，T^t′(i,j)表示R_org中坐标位置为(i,j)的像素点对应的纹理阈值，T^t'(i,j)=α'(i,j)×G'(i,j)+β'(i,j)， ${\mathrm{\α}}^{\′}(i,j)=0.0001\×\stackrel{\‾}{I^{\′}(i,j)}+0.115,$ ${\mathrm{\β}}^{\′}(i,j)=0.5-0.01\×\stackrel{\‾}{I^{\′}(i,j)},$ G'(i,j)表示R_org中坐标位置为(i,j)的像素点分别通过水平方向、垂直方向、45°方向和135°方向的高通滤波器滤波后得到的四个值中的最大值，C为加权系数，min()为取最小值函数；

④将L_org与L_dis的差值图D_l分成RGB三个通道的图像，并将L_org与L_dis的差值图D_l的第u个通道的图像记为D_{l_u}；将R_org与R_dis的差值图D_r分成RGB三个通道的图像，并将R_org与R_dis的差值图D_r的第u个通道的图像记为D_{r_u}；将L_org的视觉阈值图分成RGB三个通道的图像，并将L_org的视觉阈值图

的第u个通道的图像记为

将R_org的视觉阈值图

分成RGB三个通道的图像，并将R_org的视觉阈值图

的第u个通道的图像记为其中，u=1,2,3,u=1表示R通道，u=2表示G通道，u=3表示B通道；

⑤将D_l的RGB三个通道的图像、D_r的RGB三个通道的图像、

的RGB三个通道的图像、

的RGB三个通道的图像分别分割成

个互不重叠的尺寸大小为8×8的图像块，然后对D_l的RGB三个通道的图像、D_r的RGB三个通道的图像、

的RGB三个通道的图像、的RGB三个通道的图像中的每个图像块进行奇异值分解，得到每个图像块各自对应的奇异值矩阵，将D_l的第u个通道的图像D_{l_u}中的第k个图像块的奇异值矩阵记为S_{l_u_k},将D_r的第u个通道的图像D_{r_u}中的第k个图像块的奇异值矩阵记为S_{r_u_k}，将

的第u个通道的图像中的第k个图像块的奇异值矩阵记为

将

的第u个通道的图像

中的第k个图像块的奇异值矩阵记为

其中，

为向下取整符号,

⑥计算D_l的每个通道的图像中的每个图像块与

的对应通道的图像中的对应图像块之间的奇异值距离，将D_l的第u个通道的图像D_{l_u}中的第k个图像块与

的第u个通道的图像

中的第k个图像块之间的奇异值距离记为 $d_{u,k}^l=\sqrt{\underset{x=1}{\overset{8}{\mathrm{\Σ}}}\underset{y=1}{\overset{8}{\mathrm{\Σ}}}{(w\×(S_{l\_u\_k}(x,y)-S_{\mathrm{org}\_u\_k}^l(x,y)))}^2},$ 然后计算L_dis的每个通道的全局失真程度值，将L_dis的第u个通道的全局失真程度值记为Q_l，u，

其中，w表示失真判断值，

w=1时表示D_l的第u个通道的图像D_{l_u}中的第k个图像块中坐标位置为(x,y)的像素点失真，w=0时表示D_l的第u个通道的图像D_{l_u}中的第k个图像块中坐标位置为(x,y)的像素点不失真，S_{l_u_k}(x,y)表示S_{l_u_k}中坐标位置为(x,y)处的奇异值，

表示

中坐标位置为(x,y)处的奇异值，

“||”为取绝对值符号，D_{median_l，u}表示D_l的第u个通道的图像中的所有图像块与

的第u个通道的图像中的所有图像块对应图像块之间的奇异值距离的中值；

⑦计算D_r的每个通道的图像中的每个图像块与的对应通道的图像中的对应图像块之间的奇异值距离，将D_r的第u个通道的图像D_{r_u}中的第k个图像块与

的第u个通道的图像

中的第k个图像块之间的奇异值距离记为

$d_{u,k}^r=\sqrt{\underset{x=1}{\overset{8}{\mathrm{\Σ}}}\underset{y=1}{\overset{8}{\mathrm{\Σ}}}{(w\×(S_{l\_u\_k}(x,y)-S_{\mathrm{org}\_u\_k}^r(x,y)))}^2},$ 然后计算R_dis的每个通道的全局失真程度值，将R_dis的第u个通道的全局失真程度值记为Q_r，u，

其中，w表示失真判断值，

w=1时表示D_r的第u个通道的图像D_{r_u}中的第k个图像块中坐标位置为(x,y)的像素点失真，w=0时表示D_r的第u个通道的图像D_{r_u}中的第k个图像块中坐标位置为(x,y)的像素点不失真，S_{r_u_k}(x,y)表示S_{r_u_k}中坐标位置为(x,y)处的奇异值，

表示

中坐标位置为(x,y)处的奇异值，“||”为取绝对值符号，D_{median_r，u}表示D_r的第u个通道的图像中的所有图像块与

的第u个通道的图像中的所有图像块对应图像块之间的奇异值距离的中值；

⑧根据L_dis的每个通道的全局失真程度值和R_dis的每个通道的全局失真程度值，计算S_dis相对于S_org的客观评价尺度度量，记为Q_s，

其中，b_u表示第u个通道的权重值，w_l表示在一种失真类型下左视点图像质量在立体图像质量中所占的权重，w_r表示在同一种失真类型下右视点图像质量在立体图像质量中所占的权重，w_l+w_r=1；

⑨获取R_org的背景亮度图像和边缘强度图像，分别记为bg_org和eh_org；然后根据R_org的背景亮度图像bg_org和边缘强度图像eh_org，以R_org为参考图像，获取L_org的全局双目恰可觉察失真阈值图，记为

将L_org的全局双目恰可觉察失真阈值图

中坐标位置为(i,j)的像素点的全局双目恰可觉察失真阈值记为

${\mathrm{BJND}}_{\mathrm{org}}^l(i,j)=T_{C,\lim }(i,j^{\′})\×{(1-{\left(\frac{n_r(i,j^{\′})}{T_{C,\lim }(i,j^{\′})}\right)}^{\mathrm{\λ}})}^{1/\mathrm{\λ}},$ 其中，j′=j+d(i,j)，d(i,j)表示L_org中坐标位置为(i,j)的像素点相对于R_org中坐标位置为(i,j)的像素点的水平视差值，L_org中坐标位置为(i,j')的像素点为通过坐标位置为(i,j)的像素点在水平方向上向右移动d(i,j)个像素点获得，T_C，lim(i,j')表示L_org中坐标位置为(i,j′)的像素点的对比度掩蔽效应的最大失真阈值，T_C，lim(i,j′)=T_C(bg_org(i,j′))+K(bg_org(i,j′))×eh_org(i,j′)，T_C(bg_org(i,j'))表示右视点图像在给定bg_org(i,j′)的情况下引发感知差异的最小噪声幅值，K(bg_org(i,j'))表示依据主观实验结果建立的增大因子拟合函数，K(bg_org(i,j'))=-10^(-6)×(0.7×bg_org(i,j')²+32×bg_org(i,j′))+0.07，bg_org(i,j′)表示bg_org中坐标位置为(i,j')的像素点的像素值，eh_org(i,j')表示eh_org中坐标位置为(i,j′)的像素点的像素值，n_r(i,j')表示R_org中坐标位置为(i,j′)的像素点上的噪声幅值，λ为控制主观亮度掩蔽对实验结果影响的参数；

⑩将DD分成RGB三个通道的图像，并将DD的第u个通道的图像记为DD_u；将

分成RGB三个通道的图像，并将

的第u个通道的图像记为

其中，u=1,2,3,u=1表示R通道，u=2表示G通道，u=3表示B通道；

将DD的RGB三个通道的图像、

的RGB三个通道的图像分别分割成

个互不重叠的尺寸大小为8×8的图像块，然后对DD的RGB三个通道的图像、

的RGB三个通道的图像中的每个图像块进行奇异值分解，得到每个图像块各自对应的奇异值矩阵，将DD的第u个通道的图像DD_u中的第k个图像块的奇异值矩阵记为S_{DD_u_k},将

的第u个通道的图像

中的第k个图像块的奇异值矩阵记为

其中，

为向下取整符号,

计算DD的每个通道的图像中的每个图像块与

的对应通道的图像中的对应图像块之间的奇异值距离，将DD的第u个通道的图像DD_u中的第k个图像块与

的第u个通道的图像中的第k个图像块之间的奇异值距离记为 $d_{u,k}^{\mathrm{DD}}=\sqrt{\underset{x=1}{\overset{8}{\mathrm{\Σ}}}\underset{y=1}{\overset{8}{\mathrm{\Σ}}}{(w^{\′}\×(S_{\mathrm{DD}\_u\_k}(x,y)-S_{\mathrm{org}\_u\_k}^l(x,y)))}^2},$ 然后计算S_dis相对于S_org的立体感知评价度量，记为Q_d， $Q_d=\underset{u=1}{\overset{3}{\mathrm{\Σ}}}{b}_u\×\left(\frac{1}{K}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\right|d_{u,k}^{\mathrm{DD}}-D_{\mathrm{median}\_\mathrm{DD},u}\left|\right),$ 其中，w'表示失真判断值，

w'=1时表示DD的第u个通道的图像DD_u中的第k个图像块中坐标位置为(x,y)的像素点失真，w'=0时表示DD的第u个通道的图像DD_u中的第k个图像块中坐标位置为(x,y)的像素点不失真，S_{DD_u_k}(x,y)表示S_{DD_u_k}中坐标位置为(x,y)处的奇异值，表示

中坐标位置为(x,y)处的奇异值，

“||”为取绝对值符号，b_u表示第u个通道的权重值，D_{median_DD,u}表示DD的第u个通道的图像DD_u中的所有图像块与

的第u个通道的图像

中的所有图像块对应图像块之间的奇异值距离的中值；

根据S_dis相对于S_org的客观评价尺度度量Q_s和S_dis相对于S_org的立体感知评价度量Q_d，计算S_dis的总体质量评价客观值，记为Q，Q=W_type×Q_s+(1-W_type)×Q_d，其中，W_type表示在同一种失真类型下Q_s的权重值。

所述的步骤③中C取值为0.3。

所述的步骤⑧中当失真类型为高斯模糊失真时，取w_l=0.10,w_r=0.90；当失真类型为JPEG压缩时，取w_l=0.50,w_r=0.50；当失真类型为JPEG2000压缩时，取w_l=0.15,w_r=0.85；当失真类型为白噪声失真时，取w_l=0.20,w_r=0.80；当失真类型为H.264编码失真时，取w_l=0.10,w_r=0.90。

所述的步骤⑧和所述的步骤

中b_u的获取过程为：

A、采用多幅无失真的立体图像建立其在不同失真类型不同失真程度下的失真立体图像集，该失真立体图像集包括多幅失真的立体图像；

B、采用主观质量评价方法，获取该失真立体图像集中的每幅失真的立体图像的平均主观评分差值，记为DMOS，DMOS＝100-MOS，其中，MOS表示主观评分均值，DMOS∈[0,100]；

C、根据步骤①至步骤⑦的操作过程，采用线性加权的拟合方法拟合该失真立体图像集中的每幅失真的立体图像的平均主观评分差值DMOS及每幅失真的立体图像的左视点图像的第u个通道的全局失真程度值Q_l，u和右视点图像的第u个通道的全局失真程度值Q_r，u，得到每幅失真的立体图像相对于对应的无失真的立体图像的客观评价尺度度量最佳时第u个通道的权重值b_u。

所述的步骤⑧和所述的步骤

中取 $b_u=\left\{\begin{array}{cc}0.54& u=1\\ 0.38& u=2\\ 0.08& u=3\end{array}\right..$

所述的步骤⑨中取λ＝1.25。

所述的步骤

中W_type的获取过程为：

采用多幅无失真的立体图像建立其在不同失真类型不同失真程度下的失真立体图像集，该失真立体图像集包括多幅失真的立体图像；

采用主观质量评价方法，获取该失真立体图像集中的每幅失真的立体图像的平均主观评分差值，记为DMOS，DMOS＝100-MOS，其中，MOS表示主观评分均值，DMOS∈[0,100]；

根据步骤①至步骤的操作过程，采用线性加权的拟合方法拟合该失真立体图像集中的每幅失真的立体图像的平均主观评分差值DMOS及每幅失真的立体图像相对于对应的无失真的立体图像的客观评价尺度度量Q_s和每幅失真的立体图像相对于对应的无失真的立体图像的立体感知评价度量Q_d，得到该种失真类型下Q_s的权重值W_type。

所述的步骤

中当失真类型为高斯模糊失真时，取W_type=0.82；当失真类型为JPEG压缩时，取W_type=0.52；当失真类型为JPEG2000压缩时，取W_type=0.78；当失真类型为白噪声失真时，取W_type=0.70；当失真类型为H.264编码失真时，取W_type=0.80。

与现有技术相比，本发明的优点在于：通过分别对无失真的立体图像和失真的立体图像的左视点图像和右视点图像分通道进行视觉阈值分析和奇异值分解，各通道的权重系数由大量的统计实验得到；然后，通过对无失真的立体图像和失真的立体图像的左右视点图像的绝对视差图像的差值图像分通道进行视觉阈值分析和奇异值分解，采用线性组合的方式得到立体感知评价度量；最后将客观评价尺度度量和立体感知评价度量两者进行线性加权结合，得到总体质量评价客观值，不仅有效利用了恰可察觉失真的视觉阈值、视觉掩盖效应以及立体感知等人眼视觉特性，而且在评价左视点图像和右视点图像质量的基础上，同时评价立体感知，因此提高了立体图像客观质量评价结果与主观感知之间的相关性。

附图说明

图1a为Akko & Kayo(640×480)立体图像；

图1b为Alt Moabit(1024×768)立体图像；

图1c为Balloons(1024×768)立体图像；

图1d为Door Flowers(1024×768)立体图像；

图1e为Kendo(1024×768)立体图像；

图1f为Leaving Laptop(1024×768)立体图像；

图1g为Lovebird1(1024×768)立体图像；

图1h为Newspaper(1024×768)立体图像；

图1i为Xmas(640×480)立体图像；

图1j为Puppy(720×480)立体图像；

图1k为Soccer2(720×480)立体图像；

图1l为Horse(480×270)立体图像；

图2a为低通滤波器的算子模板的示意图；

图2b为高通滤波器的水平方向的算子模板的示意图；

图2c为高通滤波器的垂直方向的算子模板的示意图；

图2d为高通滤波器的45°方向的算子模板的示意图；

图2e为高通滤波器的135°方向的算子模板的示意图；

图3a为边缘垂直算子模板的示意图；

图3b为边缘水平算子模板的示意图；

图4a为高斯模糊失真图像与评价指标CC的拟合曲线；

图4b为jpeg压缩失真图像与评价指标CC的拟合曲线；

图4c为jpeg2000压缩失真图像与评价指标CC的拟合曲线；

图4d为高斯白噪声失真图像与评价指标CC的拟合曲线；

图4e为H.264编码失真图像与评价指标CC的拟合曲线。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种基于视觉阈值与通道融合的立体图像客观质量评价方法，其分别评价了左右视点图像质量以及立体图像的立体感知效果，并将这两部分评价的结果进行线性结合，得到对立体图像质量的最终评价结果。本发明方法具体包括以下步骤：

①令S_org为原始的无失真的立体图像，令S_dis为失真的立体图像，将原始的无失真的立体图像S_org的左视点图像记为L_org，将原始的无失真的立体图像S_org的右视点图像记为R_org，将失真的立体图像S_dis的左视点图像记为L_dis，将失真的立体图像S_dis的右视点图像记为R_dis。

②计算L_org与L_dis的差值图，记为D_l，D_l=|L_org-L_dis|,并计算R_org与R_dis的差值图，记为D_r，D_r=|R_org-R_dis|，然后计算L_org与R_org的差值图，记为D_org，D_org=L_org-R_org|，并计算L_dis与R_dis的差值图，记为D_dis，D_dis=|L_dis-R_dis|，再计算D_org与D_dis的差值图，记为DD，DD=|D_org-D_dis|，其中，“||”为取绝对值符号。

③获取L_org的视觉阈值图，记为

将L_org的视觉阈值图中坐标位置为(i,j)的像素点的视觉阈值（即人眼能够容忍的失真临界值，该值越大，则人眼能够容忍的失真程度就越大）记为

${\mathrm{JND}}_{\mathrm{org}}^l(i,j)=T^l(i,j)+T^t(i,j)-C\×\min \{T^l(i,j),T^t(i,j)\},$ 其中，1≤i≤W,1≤j≤H,W表示立体图像的宽度,H表示立体图像的高度,T^l(i,j)表示L_org中坐标位置为(i,j)的像素点对应的亮度阈值，

表示L_org中坐标位置为(i,j)的像素点的亮度值的均值，

I(i,j)表示L_org中坐标位置为(i,j)的像素点的亮度值，I(i-3+m,j-3+n)表示L_org中坐标位置为(i-3+m,j-3+n)的像素点的亮度值，B(m,n)表示5×5的低通滤波器（如图2a所示）中坐标位置为(m,n)处的值，T^t(i,j)表示L_org中坐标位置为(i,j)的像素点对应的纹理阈值，T^t(i,j)=α(i,j)×G(i,j)+β(i,j)， $\mathrm{\α}(i,j)=0.0001\×\stackrel{\‾}{I(i,j)}+0.115,$ $\mathrm{\β}(i,j)=0.5-0.01\×\stackrel{\‾}{I(i,j)},$ G(i,j)表示L_org中坐标位置为(i,j)的像素点分别通过水平方向、垂直方向、45°方向和135°方向的高通滤波器（分别如图2b、图2c、图2d和图2e所示）滤波后得到的四个值中的最大值，即利用水平方向、垂直方向、45°方向和135°方向4个不同方向的高通滤波器对L_org中坐标位置为(i,j)的像素点进行滤波处理，再从滤波后得到的四个值中取其中的最大值赋值给G(i,j)，C为加权系数，min()为取最小值函数。

获取R_org的视觉阈值图，记为

将R_org的视觉阈值图中坐标位置为(i,j)的像素点的视觉阈值（即人眼能够容忍的失真临界值，该值越大，则人眼能够容忍的失真程度就越大）记为

${\mathrm{JND}}_{\mathrm{org}}^r(i,j)=T^r(i,j)+T^{t\′}(i,j)-C\×\min \{T^r(i,j),T^{t\′}(i,j)\},$ 其中，1≤i≤W,1≤j≤H,W表示立体图像的宽度,H表示立体图像的高度,T^r(i,j)表示R_org中坐标位置为(i,j)的像素点对应的亮度阈值，

表示R_org中坐标位置为(i,j)的像素点的亮度值的均值，

I'(i,j)表示R_org中坐标位置为(i,j)的像素点的亮度值，I'(i-3+m,j-3+n)表示R_org中坐标位置为(i-3+m,j-3+n)的像素点的亮度值，B(m,n)表示5×5的低通滤波器中坐标位置为(m,n)处的值，T^t′(i,j)表示R_org中坐标位置为(i,j)的像素点对应的纹理阈值，T^t′(i,j)=α'(i,j)×G'(i,j)+β'(i,j)， ${\mathrm{\α}}^{\′}(i,j)=0.0001\×\stackrel{\‾}{I^{\′}(i,j)}+0.115,$ ${\mathrm{\β}}^{\′}(i,j)=0.5-0.01\×\stackrel{\‾}{I^{\′}(i,j)},$ G'(i,j)表示R_org中坐标位置为(i,j)的像素点分别通过水平方向、垂直方向、45°方向和135°方向的高通滤波器滤波后得到的四个值中的最大值，C为加权系数，min()为取最小值函数。

在此，由于考虑到亮度掩蔽效应和纹理掩蔽效应的重叠，因此C取值为0.3。

④将L_org与L_dis的差值图D_l分成RGB三个通道的图像，并将L_org与L_dis的差值图D_l的第u个通道的图像记为D_{l_u}；将R_org与R_dis的差值图D_r分成RGB三个通道的图像，并将R_org与R_dis的差值图D_r的第u个通道的图像记为D_{r_u}；将L_org的视觉阈值图

分成RGB三个通道的图像，并将L_org的视觉阈值图

的第u个通道的图像记为将R_org的视觉阈值图

分成RGB三个通道的图像，并将R_org的视觉阈值图

的第u个通道的图像记为

其中，u=1,2,3,u=1表示R通道，u=2表示G通道，u=3表示B通道。

⑤将D_l的RGB三个通道的图像、D_r的RGB三个通道的图像、

的RGB三个通道的图像、

的RGB三个通道的图像分别分割成

个互不重叠的尺寸大小为8×8的图像块，然后对D_l的RGB三个通道的图像、D_r的RGB三个通道的图像、

的RGB三个通道的图像、

的RGB三个通道的图像中的每个图像块进行奇异值分解，得到每个图像块各自对应的奇异值矩阵，将D_l的第u个通道的图像D_{l_u}中的第k个图像块的奇异值矩阵记为S_{l_u_k},将D_r的第u个通道的图像D_{r_u}中的第k个图像块的奇异值矩阵记为S_{r_u_k}，将

的第u个通道的图像

中的第k个图像块的奇异值矩阵记为

将的第u个通道的图像

中的第k个图像块的奇异值矩阵记为

其中，为向下取整符号,

⑥计算D_l的每个通道的图像中的每个图像块与

的对应通道的图像中的对应图像块之间的奇异值距离，将D_l的第u个通道的图像D_{l_u}中的第k个图像块与

的第u个通道的图像

中的第k个图像块之间的奇异值距离记为

$d_{u,k}^l=\sqrt{\underset{x=1}{\overset{8}{\mathrm{\Σ}}}\underset{y=1}{\overset{8}{\mathrm{\Σ}}}{(w\×(S_{l\_u\_k}(x,y)-S_{\mathrm{org}\_u\_k}^l(x,y)))}^2},$ 然后计算L_dis的每个通道的全局失真程度值，将L_dis的第u个通道的全局失真程度值记为Q_l，u，

其中，w表示失真判断值，

w=1时表示D_l的第u个通道的图像D_{l_u}中的第k个图像块中坐标位置为(x,y)的像素点失真，w=0时表示D_l的第u个通道的图像D_{l_u}中的第k个图像块中坐标位置为(x,y)的像素点不失真，S_{l_u_k}(x,y)表示S_{l_u_k}中坐标位置为(x,y)处的奇异值，

表示

中坐标位置为(x,y)处的奇异值，

“||”为取绝对值符号，D_{median_l，u}表示D_l的第u个通道的图像中的所有图像块与

的第u个通道的图像中的所有图像块对应图像块之间的奇异值距离的中值。

⑦计算D_r的每个通道的图像中的每个图像块与

的对应通道的图像中的对应图像块之间的奇异值距离，将D_r的第u个通道的图像D_{r_u}中的第k个图像块与

的第u个通道的图像

中的第k个图像块之间的奇异值距离记为

$d_{u,k}^r=\sqrt{\underset{x=1}{\overset{8}{\mathrm{\Σ}}}\underset{y=1}{\overset{8}{\mathrm{\Σ}}}{(w\×(S_{r\_u\_k}(x,y)-S_{\mathrm{org}\_u\_k}^r(x,y)))}^2},$ 然后计算R_dis的每个通道的全局失真程度值，将R_dis的第u个通道的全局失真程度值记为Q_r，u，

其中，w表示失真判断值，

w=1时表示D_r的第u个通道的图像D_{r_u}中的第k个图像块中坐标位置为(x,y)的像素点失真，w=0时表示D_r的第u个通道的图像D_{r_u}中的第k个图像块中坐标位置为(x,y)的像素点不失真，S_{r_u_k}(x,y)表示S_{r_u_k}中坐标位置为(x,y)处的奇异值，

表示

中坐标位置为(x,y)处的奇异值，

“||”为取绝对值符号，D_{median_r，u}表示D_r的第u个通道的图像中的所有图像块与

的第u个通道的图像中的所有图像块对应图像块之间的奇异值距离的中值。

⑧根据L_dis的每个通道的全局失真程度值和R_dis的每个通道的全局失真程度值，计算S_dis相对于S_org的客观评价尺度度量，记为Q_s，其中，b_u表示第u个通道的权重值，w_l表示在一种失真类型下左视点图像质量在立体图像质量中所占的权重，w_r表示在同一种失真类型下右视点图像质量在立体图像质量中所占的权重，w_l+w_r=1。在此，通过左右视点质量的线性加权能够较好地评价立体图像内容的质量。

在此，w_l和w_r的取值与失真类型有关，当失真类型为高斯模糊失真时，取w_l=0.10,w_r=0.90；当失真类型为JPEG压缩时，取w_l=0.50,w_r=0.50；当失真类型为JPEG2000压缩时，取w_l=0.15,w_r=0.85；当失真类型为白噪声失真时，取w_l=0.20,w_r=0.80；当失真类型为H.264编码失真时，取w_l=0.10,w_r=0.90。

⑨利用现有技术（图3a和图3b所示的垂直和水平算子模板）获取R_org的背景亮度图像和边缘强度图像，分别记为bg_org和eh_org，其中，bg_org和eh_org的分辨率为W×H；然后根据R_org的背景亮度图像bg_org和边缘强度图像eh_org，以R_org为参考图像，获取L_org的全局双目恰可觉察失真阈值图，记为

将L_org的全局双目恰可觉察失真阈值图中坐标位置为(i,j)的像素点的全局双目恰可觉察失真阈值（即人眼能够容忍的最大视差失真）记为

${\mathrm{BJND}}_{\mathrm{org}}^l(i,j)=T_{C,\lim }\left({i,j}^{\′}\right)\×{(1-{\left(\frac{n_r\left({i,j}^{\′}\right)}{T_{C,\lim }\left({i,j}^{\′}\right)}\right)}^{\mathrm{\λ}})}^{1/\mathrm{\λ}},$ 其中，j'=j+d(i,j)，d(i,j)表示L_org中坐标位置为(i,j)的像素点相对于R_org中坐标位置为(i,j)的像素点的水平视差值，L_org中坐标位置为(i,j')的像素点为通过坐标位置为(i,j)的像素点在水平方向上向右移动d(i,j)个像素点获得，T_C，lim(i,j')表示L_org中坐标位置为(i,j')的像素点的对比度掩蔽效应的最大失真阈值，T_C，lim(i,j')=T_C(bg_org(i,j'))+K(bg_org(i,j′))×eh_org(i,j′)，T_C(bg_org(i,j′))表示右视点图像在给定bg_org(i,j')的情况下引发感知差异的最小噪声幅值，K(bg_org(i,j′))表示依据主观实验结果建立的增大因子拟合函数，K(bg_org(i,j'))=-10^(-6)×(0.7×bg_org(i,j')²+32×bg_org(i,j′))+0.07，bg_org(i,j′)表示bg_org中坐标位置为(i,j')的像素点的像素值，eh_org(i,j')表示eh_org中坐标位置为(i,j′)的像素点的像素值，n_r(i,j')表示R_org中坐标位置为(i,j′)的像素点上的噪声幅值，λ为控制主观亮度掩蔽对实验结果影响的参数，在本实施例中，λ的值设为1.25。

在此，也可以通过计算L_org的背景亮度图像和边缘强度图像，再以L_org为参考图像，来获取R_org的全局双目恰可觉察失真阈值图。

在本实施例中，d(i,j)是通过视差匹配软件match-v3.3获得的，在具体获取过程中可将视差搜索范围设置为（-31，31），并以右视点图像为参考图像，获取左视点图像的水平视差值。

在本实施例中，对图1a至图1l所示的12幅无失真的立体图像，利用如图3a和图3b所示的垂直和水平算子模板，计算这12幅原始的立体图像的右视点图像中的每个像素点的背景亮度值和边缘强度值，进而计算左视点图像加入的能够引起双目感知失真的最大随机噪声幅度。

⑩将DD分成RGB三个通道的图像，并将DD的第u个通道的图像记为DD_u；将

分成RGB三个通道的图像，并将

的第u个通道的图像记为

其中，u=1,2,3,u=1表示R通道，u=2表示G通道，u=3表示B通道。

将DD的RGB三个通道的图像、

的RGB三个通道的图像分别分割成

个互不重叠的尺寸大小为8×8的图像块，然后对DD的RGB三个通道的图像、

的RGB三个通道的图像中的每个图像块进行奇异值分解，得到每个图像块各自对应的奇异值矩阵，将DD的第u个通道的图像DD_u中的第k个图像块的奇异值矩阵记为S_{DD_u_k},将

的第u个通道的图像

中的第k个图像块的奇异值矩阵记

其中，

为向下取整符号,

计算DD的每个通道的图像中的每个图像块与

的对应通道的图像中的对应图像块之间的奇异值距离，将DD的第u个通道的图像DD_u中的第k个图像块与的第u个通道的图像中的第k个图像块之间的奇异值距离记为 $d_{u,k}^{\mathrm{DD}}=\sqrt{\underset{x=1}{\overset{8}{\mathrm{\Σ}}}\underset{y=1}{\overset{8}{\mathrm{\Σ}}}{(w^{\′}\×(S_{\mathrm{DD}\_u\_k}(x,y)-S_{\mathrm{org}\_u\_k}^l(x,y)))}^2},$ 然后计算S_dis相对于S_org的立体感知评价度量，记为Q_d， $Q_d=\underset{u=1}{\overset{3}{\mathrm{\Σ}}}{b}_u\×\left(\frac{1}{K}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\right|d_{u,k}^{\mathrm{DD}}-D_{\mathrm{median}\_\mathrm{DD},u}\left|\right),$ 其中，w'表示失真判断值，

w'=1时表示DD的第u个通道的图像DD_u中的第k个图像块中坐标位置为(x,y)的像素点失真，w'=0时表示DD的第u个通道的图像DD_u中的第k个图像块中坐标位置为(x,y)的像素点不失真，S_{DD_u_k}(x,y)表示S_{DD_u_k}中坐标位置为(x,y)处的奇异值，

表示

中坐标位置为(x,y)处的奇异值，

“||”为取绝对值符号，b_u表示第u个通道的权重值，D_{median_DD,u}表示DD的第u个通道的图像DD_u中的所有图像块与

的第u个通道的图像

中的所有图像块对应图像块之间的奇异值距离的中值。

根据S_dis相对于S_org的客观评价尺度度量Q_s和S_dis相对于S_org的立体感知评价度量Q_d，计算S_dis的总体质量评价客观值，记为Q，Q=W_type×Q_s+(1-W_type)×Q_d，其中，W_type表示在同一种失真类型下Q_s的权重值。

在本实施例中，W_type的获取过程为：

采用多幅无失真的立体图像建立其在不同失真类型不同失真程度下的失真立体图像集，该失真立体图像集包括多幅失真的立体图像。

采用主观质量评价方法，获取该失真立体图像集中的每幅失真的立体图像的平均主观评分差值，记为DMOS，DMOS＝100-MOS，其中，MOS表示主观评分均值，DMOS∈[0,100]。

根据步骤①至步骤

的操作过程，采用线性加权的拟合方法拟合该失真立体图像集中的每幅失真的立体图像的平均主观评分差值DMOS及每幅失真的立体图像相对于对应的无失真的立体图像的客观评价尺度度量Q_s和每幅失真的立体图像相对于对应的无失真的立体图像的立体感知评价度量Q_d，得到该种失真类型下Q_s的权重值W_type。在此，针对不同类型失真的立体图像，本发明做了大量的优化实验，取质量客观评价值最好时的权重值W_type，具体实验如下：利用图1a至图1l所示的12幅无失真的立体图像建立了312幅失真的立体图像，对上述312幅失真的立体图像和12幅无失真的立体图像按本发明方法的步骤①至步骤

相同的操作计算得到每幅失真的立体图像相应的Q_d和Q_s；然后采用线性加权得到这312幅失真的立体图像的DMOS与Q_d和Q_s的函数关系式。图4a给出了高斯模糊失真图像与评价指标CC的拟合曲线，图4b给出了JPEG压缩图像与评价指标CC的拟合曲线，图4c给出了JPEG2000压缩图像与评价指标CC的拟合曲线，图4d给出了高斯白噪声失真图像与评价指标CC的拟合曲线，图4e给出了H.264编码失真图像与评价指标CC的拟合曲线，图4a至图4e中横坐标表示不同类型失真立体图像的W_type，纵坐标表示CC值，W_type值的大小决定Q_d和Q_s对立体图像最终的评价值Q的贡献大小。W_type代表不同失真类型下Q_s的权重值，由于人眼对不同的失真敏感度也有所不同，对不同的失真程度也不同，根据这个特性，本发明统计大量的参数，进行重复性的实验，当Q与主观感知之间的一致性最好时，取得不同失真类型的W_type值，即当失真类型为高斯模糊失真时，取W_type=0.82；当失真类型为JPEG压缩时，取W_type=0.52；当失真类型为JPEG2000压缩时，取W_type=0.78；当失真类型为白噪声失真时，取W_type=0.70；当失真类型为H.264编码失真时，取W_type=0.80。

在此具体实施例中，步骤⑧和步骤

中b_u的获取过程如下：

A、采用多幅无失真的立体图像建立其在不同失真类型不同失真程度下的失真立体图像集，该失真立体图像集包括多幅失真的立体图像。

B、采用主观质量评价方法，获取该失真立体图像集中的每幅失真的立体图像的平均主观评分差值，记为DMOS，DMOS＝100-MOS，其中，MOS表示主观评分均值，DMOS∈[0,100]。

C、根据步骤①至步骤⑦的操作过程，采用线性加权的拟合方法拟合该失真立体图像集中的每幅失真的立体图像的平均主观评分差值DMOS及每幅失真的立体图像的左视点图像的第u个通道的全局失真程度值Q_l，u和右视点图像的第u个通道的全局失真程度值Q_r，u，得到每幅失真的立体图像相对于对应的无失真的立体图像的客观评价尺度度量最佳时第u个通道的权重值b_u。

实际上，不同通道的权重值b_u的取值由人眼对红、绿、蓝不同颜色的敏感度决定的，人眼对红光敏感的锥状体占65%，对绿光敏感的锥状体占33%，而对蓝光敏感的锥状体只占2%。因此在此针对不同类型失真的立体图像对，做了大量的优化实验，取质量客观评价(CC)最好时的权重取值。具体实验如下：利用图1a、图1b、图1c、图1d、图1e、图1f、图1g、图1h、图1i、图1j、图1k和图1l所示的12幅无失真的立体图像建立了不同失真类型不同失真程度的失真立体图像集，失真类型包括JPEG压缩、JPEG2000压缩、白噪声失真、高斯模糊失真、H.264编码失真，该失真立体图像集共包括312幅失真的立体图像，其中JPEG压缩的失真的立体图像共60幅，JPEG2000压缩的失真的立体图像共60幅，白噪声失真的立体图像共60幅，高斯模糊失真的立体图像共60幅，H.264编码失真的立体图像共72幅。对上述312幅失真的立体图像采用公知的主观质量评价方法进行主观质量评价，得到这312幅失真的立体图像各自的平均主观评分差值（DMOS，Difference Mean Opinion Scores），即每幅失真的立体图像的主观质量评分值。DMOS为主观评分均值（MOS）和满分（100）的差值，即DMOS=100-MOS。因此，DMOS值越大表示失真的立体图像的质量越差，DMOS值越小表示失真的立体图像的质量越好，且DMOS的取值范围为[0，100]；另一方面，对上述312幅失真的立体图像按本发明方法的步骤①至步骤⑦实施分通道和视觉阈值分析计算奇异值距离得到Q_l，u和Q_r，u；这里，利用评估图像质量评价方法常用的一个客观参量作为评价指标，即非线性回归条件下的Pearson相关系数（Correlation Coefficient，CC），该参数反映失真的立体图像评价函数这一客观模型的精确性，CC值越大，说明评价性能越好，反之亦然；然后采用线性拟合方法拟合这312幅失真的立体图像的DMOS与Q_l，u和Q_r，u，取CC值最大时的b_u值，即 $b_u=\left\{\begin{array}{cc}0.54& u=1\\ 0.38& u=2\\ 0.08& u=3\end{array}\right..$

为说明本发明方法的有效性和可行性，分析本发明方法的客观评价结果与主观评分DMOS之间的相关性。在此，利用评估图像质量评价方法的3个常用客观参量作为评价指标，即非线性回归条件下的CC、Spearman相关系数（Spearman Rank-Order CorrelationCoefficient，ROCC）和RMSE，CC反映所建客观模型预测的精确性，SROCC反映客观模型预测的单调性，RMSE反映立体图像客观评价模型的预测准确性。将按本实施例计算得到的失真的立体图像的总体质量评价客观值Q做四参数Logistic函数非线性拟合，CC和SROCC值越接近1说明客观评价方法与DMOS相关性越好，RMSE值越低说明客观评价方法与DMOS相关性越好。反映准确性和单调性的CC、SROCC和RMSE系数如表1所示，根据表1所列的数据可见，本发明方法的整体混合失真CC值和SROCC值都能达到0.94之上，均方根误差RMSE低于5.9，按本实施例得到的失真的立体图像的总体质量评价客观值Q与主观评分DMOS之间的相关性是很高的，表明客观评价结果与人眼主观感知的结果较为一致，说明了本发明方法的有效性。

表1失真的立体图像的总体质量评价客观值与主观评分之间的相关性

Claims (8)

1.一种基于视觉阈值与通道融合的立体图像客观质量评价方法，其特征在于具体包括以下步骤：

①令S_org为原始的无失真的立体图像，令S_dis为失真的立体图像，将原始的无失真的立体图像S_org的左视点图像记为L_org，将原始的无失真的立体图像S_org的右视点图像记为R_org，将失真的立体图像S_dis的左视点图像记为L_dis，将失真的立体图像S_dis的右视点图像记为R_dis；

②计算L_org与L_dis的差值图，记为D_l，D_l=|L_org-L_dis|,并计算R_org与R_dis的差值图，记为D_r，D_r=|R_org-R_dis|，然后计算L_org与R_org的差值图，记为D_org，D_org=L_org-R_org|，并计算L_dis与R_dis的差值图，记为D_dis，D_dis=|L_dis-R_dis|，再计算D_org与D_dis的差值图，记为DD，DD=|D_org-D_dis|，其中，“||”为取绝对值符号；

③获取L_org的视觉阈值图，记为

将L_org的视觉阈值图

中坐标位置为(i,j)的像素点的视觉阈值记为

${\mathrm{JND}}_{\mathrm{org}}^l(i,j)=T^l(i,j)+T^t(i,j)-C\×\min \{T^l(i,j),T^t(i,j)\},$ 其中，1≤i≤W,1≤j≤H,W表示立体图像的宽度,H表示立体图像的高度,T^l(i,j)表示L_org中坐标位置为(i,j)的像素点对应的亮度阈值，

表示L_org中坐标位置为(i,j)的像素点的亮度值的均值，

I(i,j)表示L_org中坐标位置为(i,j)的像素点的亮度值，I(i-3+m,j-3+n)表示L_org中坐标位置为(i-3+m,j-3+n)的像素点的亮度值，B(m,n)表示5×5的低通滤波器中坐标位置为(m,n)处的值，T^t(i,j)表示L_org中坐标位置为(i,j)的像素点对应的纹理阈值，T^t(i,j)=α(i,j)×G(i,j)+β(i,j)， $\mathrm{\α}(i,j)=0.0001\×\stackrel{\‾}{I(i,j)}+0.115,$ $\mathrm{\β}(i,j)=0.5-0.01\×\stackrel{\‾}{I(i,j)},$ G(i,j)表示L_org中坐标位置为(i,j)的像素点分别通过水平方向、垂直方向、45°方向和135°方向的高通滤波器滤波后得到的四个值中的最大值，C为加权系数，min()为取最小值函数；

获取R_org的视觉阈值图，记为

将R_org的视觉阈值图

中坐标位置为(i,j)的像素点的视觉阈值记为

${\mathrm{JND}}_{\mathrm{org}}^r(i,j)=T^r(i,j)+T^{t\′}(i,j)-C\×\min \{T^r(i,j),T^{t\′}(i,j)\},$ 其中，1≤i≤W,1≤j≤H,W表示立体图像的宽度,H表示立体图像的高度,T^r(i,j)表示R_org中坐标位置为(i,j)的像素点对应的亮度阈值，

表示R_org中坐标位置为(i,j)的像素点的亮度值的均值，

I'(i,j)表示R_org中坐标位置为(i,j)的像素点的亮度值，I'(i-3+m,j-3+n)表示R_org中坐标位置为(i-3+m,j-3+n)的像素点的亮度值，B(m,n)表示5×5的低通滤波器中坐标位置为(m,n)处的值，T^t′(i,j)表示R_org中坐标位置为(i,j)的像素点对应的纹理阈值，T^t′(i,j)=α'(i,j)×G'(i,j)+β'(i,j)， ${\mathrm{\α}}^{\′}(i,j)=0.0001\×\stackrel{\‾}{I^{\′}(i,j)}+0.115,$ ${\mathrm{\β}}^{\′}(i,j)=0.5-0.01\×\stackrel{\‾}{I^{\′}(i,j)},$ G'(i,j)表示R_org中坐标位置为(i,j)的像素点分别通过水平方向、垂直方向、45°方向和135°方向的高通滤波器滤波后得到的四个值中的最大值，C为加权系数，min()为取最小值函数；

④将L_org与L_dis的差值图D_l分成RGB三个通道的图像，并将L_org与L_dis的差值图D_l的第u个通道的图像记为D_{l_u}；将R_org与R_dis的差值图D_r分成RGB三个通道的图像，并将R_org与R_dis的差值图D_r的第u个通道的图像记为D_{r_u}；将L_org的视觉阈值图

分成RGB三个通道的图像，并将L_org的视觉阈值图

的第u个通道的图像记为

将R_org的视觉阈值图

分成RGB三个通道的图像，并将R_org的视觉阈值图

的第u个通道的图像记为

其中，u=1,2,3,u=1表示R通道，u=2表示G通道，u=3表示B通道；

⑤将D_l的RGB三个通道的图像、D_r的RGB三个通道的图像、

的RGB三个通道的图像、

的RGB三个通道的图像分别分割成个互不重叠的尺寸大小为8×8的图像块，然后对D_l的RGB三个通道的图像、D_r的RGB三个通道的图像、

的RGB三个通道的图像、

的RGB三个通道的图像中的每个图像块进行奇异值分解，得到每个图像块各自对应的奇异值矩阵，将D_l的第u个通道的图像D_{l_u}中的第k个图像块的奇异值矩阵记为S_{l_u_k},将D_r的第u个通道的图像D_{r_u}中的第k个图像块的奇异值矩阵记为S_{r_u_k}，将

的第u个通道的图像

中的第k个图像块的奇异值矩阵记为

将

的第u个通道的图像

中的第k个图像块的奇异值矩阵记为其中，

为向下取整符号,

⑥计算D_l的每个通道的图像中的每个图像块与

的对应通道的图像中的对应图像块之间的奇异值距离，将D_l的第u个通道的图像D_{l_u}中的第k个图像块与

的第u个通道的图像中的第k个图像块之间的奇异值距离记为

$d_{u,k}^l=\sqrt{\underset{x=1}{\overset{8}{\mathrm{\Σ}}}\underset{y=1}{\overset{8}{\mathrm{\Σ}}}{(w\×(S_{l\_u\_k}(x,y)-S_{\mathrm{org}\_u\_k}^l(x,y)))}^2},$ 然后计算L_dis的每个通道的全局失真程度值，将L_dis的第u个通道的全局失真程度值记为Q_l，u，

其中，w表示失真判断值，

w=1时表示D_l的第u个通道的图像D_{l_u}中的第k个图像块中坐标位置为(x,y)的像素点失真，w=0时表示D_l的第u个通道的图像D_{l_u}中的第k个图像块中坐标位置为(x,y)的像素点不失真，S_{l_u_k}(x,y)表示S_{l_u_k}中坐标位置为(x,y)处的奇异值，表示

中坐标位置为(x,y)处的奇异值，

“||”为取绝对值符号，D_{median_l，u}表示D_l的第u个通道的图像中的所有图像块与的第u个通道的图像中的所有图像块对应图像块之间的奇异值距离的中值；

⑦计算D_r的每个通道的图像中的每个图像块与

的对应通道的图像中的对应图像块之间的奇异值距离，将D_r的第u个通道的图像D_{r_u}中的第k个图像块与

的第u个通道的图像

中的第k个图像块之间的奇异值距离记为

$d_{u,k}^r=\sqrt{\underset{x=1}{\overset{8}{\mathrm{\Σ}}}\underset{y=1}{\overset{8}{\mathrm{\Σ}}}{(w\×(S_{r\_u\_k}(x,y)-S_{\mathrm{org}\_u\_k}^r(x,y)))}^2},$ 然后计算R_dis的每个通道的全局失真程度值，将R_dis的第u个通道的全局失真程度值记为Q_r，u，

其中，w表示失真判断值，

w=1时表示D_r的第u个通道的图像D_{r_u}中的第k个图像块中坐标位置为(x,y)的像素点失真，w=0时表示D_r的第u个通道的图像D_{r_u}中的第k个图像块中坐标位置为(x,y)的像素点不失真，S_{r_u_k}(x,y)表示S_{r_u_k}中坐标位置为(x,y)处的奇异值，

表示

中坐标位置为(x,y)处的奇异值，

“||”为取绝对值符号，D_{median_r,u}表示D_r的第u个通道的图像中的所有图像块与

的第u个通道的图像中的所有图像块对应图像块之间的奇异值距离的中值；

⑧根据L_dis的每个通道的全局失真程度值和R_dis的每个通道的全局失真程度值，计算S_dis相对于S_org的客观评价尺度度量，记为Q_s，

其中，b_u表示第u个通道的权重值，w_l表示在一种失真类型下左视点图像质量在立体图像质量中所占的权重，w_r表示在同一种失真类型下右视点图像质量在立体图像质量中所占的权重，w_l+w_r=1；

⑨获取R_org的背景亮度图像和边缘强度图像，分别记为bg_org和eh_org；然后根据R_org的背景亮度图像bg_org和边缘强度图像eh_org，以R_org为参考图像，获取L_org的全局双目恰可觉察失真阈值图，记为

将L_org的全局双目恰可觉察失真阈值图中坐标位置为(i,j)的像素点的全局双目恰可觉察失真阈值记为 ${\mathrm{BJND}}_{\mathrm{org}}^l(i,j)=T_{C,\lim }(i,j^{\′})\×{(1-{\left(\frac{n_r(i,j^{\′})}{T_{C,\lim }(i,j^{\′})}\right)}^{\mathrm{\λ}})}^{1/\mathrm{\λ}},$ 其中，j'=j+d(i,j)，d(i,j)表示L_org中坐标位置为(i,j)的像素点相对于R_org中坐标位置为(i,j)的像素点的水平视差值，L_org中坐标位置为(i,j')的像素点为通过坐标位置为(i,j)的像素点在水平方向上向右移动d(i,j)个像素点获得，T_C，lim(i,j')表示L_org中坐标位置为(i,j′)的像素点的对比度掩蔽效应的最大失真阈值，T_C，lim(i,j′)=T_C(bg_org(i,j′))+K(bg_org(i,j′))×eh_org(i,j′)，T_C(bg_org(i,j'))表示右视点图像在给定bg_org(i,j′)的情况下引发感知差异的最小噪声幅值，K(bg_org(i,j'))表示依据主观实验结果建立的增大因子拟合函数，K(bg_org(i,j'))=-10^(-6)×(0.7×bg_org(i,j')2+32×bg_org(i,j′))+0.07，bg_org(i,j′)表示bg_org中坐标位置为(i,j')的像素点的像素值，eh_org(i,j')表示eh_org中坐标位置为(i,j′)的像素点的像素值，nr(i,j')表示R_org中坐标位置为(i,j′)的像素点上的噪声幅值，λ为控制主观亮度掩蔽对实验结果影响的参数；

⑩将DD分成RGB三个通道的图像，并将DD的第u个通道的图像记为DD_u；将

分成RGB三个通道的图像，并将

的第u个通道的图像记为

其中，u=1,2,3,u=1表示R通道，u=2表示G通道，u=3表示B通道；

将DD的RGB三个通道的图像、

的RGB三个通道的图像分别分割成

个互不重叠的尺寸大小为8×8的图像块，然后对DD的RGB三个通道的图像、

的RGB三个通道的图像中的每个图像块进行奇异值分解，得到每个图像块各自对应的奇异值矩阵，将DD的第u个通道的图像DD_u中的第k个图像块的奇异值矩阵记为S_{DD_u_k},将

的第u个通道的图像

中的第k个图像块的奇异值矩阵记为其中，

为向下取整符号,

计算DD的每个通道的图像中的每个图像块与

的对应通道的图像中的对应图像块之间的奇异值距离，将DD的第u个通道的图像DD_u中的第k个图像块与

的第u个通道的图像

中的第k个图像块之间的奇异值距离记为

$d_{u,k}^{\mathrm{DD}}=\sqrt{\underset{x=1}{\overset{8}{\mathrm{\Σ}}}\underset{y=1}{\overset{8}{\mathrm{\Σ}}}{(w^{\′}\×(S_{\mathrm{DD}\_u\_k}(x,y)-S_{\mathrm{org}\_u\_k}^l(x,y)))}^2},$ 然后计算S_dis相对于S_org的立体感知评价度量，记为Q_d， $Q_d=\underset{u=1}{\overset{3}{\mathrm{\Σ}}}{b}_u\×\left(\frac{1}{K}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\right|d_{u,k}^{\mathrm{DD}}-D_{\mathrm{median}\_\mathrm{DD},u}\left|\right),$ 其中，w'表示失真判断值，

w'=1时表示DD的第u个通道的图像DD_u中的第k个图像块中坐标位置为(x,y)的像素点失真，w'=0时表示DD的第u个通道的图像DD_u中的第k个图像块中坐标位置为(x,y)的像素点不失真，S_{DD_u_k}(x,y)表示S_{DD_u_k}中坐标位置为(x,y)处的奇异值，

表示

中坐标位置为(x,y)处的奇异值，“||”为取绝对值符号，b_u表示第u个通道的权重值，D_{median_DD,u}表示DD的第u个通道的图像DD_u中的所有图像块与

的第u个通道的图像

中的所有图像块对应图像块之间的奇异值距离的中值；

根据S_dis相对于S_org的客观评价尺度度量Q_s和S_dis相对于S_org的立体感知评价度量Q_d，计算S_dis的总体质量评价客观值，记为Q，Q=W_type×Q_s+(1-W_type)×Q_d，其中，W_type表示在同一种失真类型下Q_s的权重值。

2.根据权利要求1所述的基于视觉阈值与通道融合的立体图像客观质量评价方法，其特征在于所述的步骤③中C取值为0.3。

3.根据权利要求1或2所述的基于视觉阈值与通道融合的立体图像客观质量评价方法，其特征在于所述的步骤⑧中当失真类型为高斯模糊失真时，取w_l=0.10,w_r=0.90；当失真类型为JPEG压缩时，取w_l=0.50,w_r=0.50；当失真类型为JPEG2000压缩时，取w_l=0.15,w_r=0.85；当失真类型为白噪声失真时，取w_l=0.20,w_r=0.80；当失真类型为H.264编码失真时，取w_l=0.10,w_r=0.90。

4.根据权利要求3所述的基于视觉阈值与通道融合的立体图像客观质量评价方法，其特征在于所述的步骤⑧和所述的步骤

中b_u的获取过程为：

A、采用多幅无失真的立体图像建立其在不同失真类型不同失真程度下的失真立体图像集，该失真立体图像集包括多幅失真的立体图像；

B、采用主观质量评价方法，获取该失真立体图像集中的每幅失真的立体图像的平均主观评分差值，记为DMOS，DMOS＝100-MOS，其中，MOS表示主观评分均值，DMOS∈[0,100]；

C、根据步骤①至步骤⑦的操作过程，采用线性加权的拟合方法拟合该失真立体图像集中的每幅失真的立体图像的平均主观评分差值DMOS及每幅失真的立体图像的左视点图像的第u个通道的全局失真程度值Q_l,u和右视点图像的第u个通道的全局失真程度值Q_r，u，得到每幅失真的立体图像相对于对应的无失真的立体图像的客观评价尺度度量最佳时第u个通道的权重值b_u。

5.根据权利要求4所述的基于视觉阈值与通道融合的立体图像客观质量评价方法，其特征在于所述的步骤⑧和所述的步骤中取 $b_u=\left\{\begin{array}{cc}0.54& u=1\\ 0.38& u=2\\ 0.08& u=3\end{array}\right..$

6.根据权利要求5所述的基于视觉阈值与通道融合的立体图像客观质量评价方法，其特征在于所述的步骤⑨中取λ=1.25。

7.根据权利要求6所述的基于视觉阈值与通道融合的立体图像客观质量评价方法，其特征在于所述的步骤中W_type的获取过程为：

采用多幅无失真的立体图像建立其在不同失真类型不同失真程度下的失真立体图像集，该失真立体图像集包括多幅失真的立体图像；

采用主观质量评价方法，获取该失真立体图像集中的每幅失真的立体图像的平均主观评分差值，记为DMOS，DMOS＝100-MOS，其中，MOS表示主观评分均值，DMOS∈[0,100]；

根据步骤①至步骤

的操作过程，采用线性加权的拟合方法拟合该失真立体图像集中的每幅失真的立体图像的平均主观评分差值DMOS及每幅失真的立体图像相对于对应的无失真的立体图像的客观评价尺度度量Q_s和每幅失真的立体图像相对于对应的无失真的立体图像的立体感知评价度量Q_d，得到该种失真类型下Q_s的权重值W_type。

8.根据权利要求7所述的基于视觉阈值与通道融合的立体图像客观质量评价方法，其特征在于所述的步骤

中当失真类型为高斯模糊失真时，取W_type=0.82；当失真类型为JPEG压缩时，取W_type=0.52；当失真类型为JPEG2000压缩时，取W_type=0.78；当失真类型为白噪声失真时，取W_type=0.70；当失真类型为H.264编码失真时，取W_type=0.80。

Images