CN105069794A - 一种基于双目竞争的全盲立体图像质量评价方法 - Google Patents

Abstract

本发明公开了一种基于双目竞争的全盲立体图像质量评价方法，其包括训练阶段和测试阶段，在训练阶段和测试阶段均充分利用了双目竞争的特性，即获取了左视点图像和右视点图像各自的幅值图像中坐标位置相对应的子块的双目竞争能量、双目竞争方差和双目竞争熵，因此充分考虑到了立体视觉感知特性，有效地提高了客观评价结果与主观感知之间的相关性；通过无监督学习方式构造无失真高斯分布模型和失真高斯分布模型，这样避免了复杂的机器学习训练过程，降低了计算复杂度，并且本发明方法在训练阶段不需要预知各训练失真立体图像及其主观评价值，因此更加适用于实际的应用场合。

Description

一种基于双目竞争的全盲立体图像质量评价方法

技术领域

本发明涉及一种立体图像质量评价方法，尤其是涉及一种基于双目竞争的全盲立体图像质量评价方法。

背景技术

进入二十一世纪以来，随着立体图像/视频系统处理技术的日趋成熟，以及计算机网络与通信技术的快速发展，已引起人们对立体图像/视频系统的强烈需求。相比传统的单视点图像/视频系统，立体图像/视频系统由于能够提供深度信息来增强视觉的真实感，给用户以身临其境的全新视觉体验而越来越受到人们的欢迎，已被认为是下一代媒体主要的发展方向，已引发了学术界、产业界的广泛关注。然而，人们为了获得更好的立体临场感和视觉体验，对立体视觉主观感知质量提出了更高的要求。在立体图像/视频系统中，采集、编码、传输、解码及显示等处理环节都会引入一定失真，这些失真将对立体视觉主观感知质量产生不同程度的影响，因此如何有效地进行无参考质量评价是亟需解决的难点问题。综上，评价立体图像质量，并建立与主观质量评价相一致的客观评价模型显得尤为重要。

目前，研究人员提出了不少针对单视点图像质量的无参考评价方法，然而由于缺乏系统理论深入研究立体视觉感知特性，因此还没有有效地无参考立体图像质量评价方法。现有的无参考立体图像质量评价方法主要是通过机器学习来预测立体图像质量，不仅计算复杂度较高，而且需要测试数据库(包括大量不同失真类型的失真立体图像及相应的主观评价值)，使得该无参考立体图像质量评价方法并不适用于实际的应用场合，存在一定的局限性。因此，如何在评价过程中根据立体视觉感知特性有效地提取特征信息，使得客观评价结果更加符合人类视觉感知系统；以及如何在无参考模型构建中采用全盲方法；都是在无参考质量评价研究中需要重点解决的技术问题。

发明内容

本发明所要解决的技术问题是提供一种基于双目竞争的全盲立体图像质量评价方法，其能够充分考虑到立体视觉感知特性，从而能够有效地提高客观评价结果与主观感知之间的相关性。

本发明解决上述技术问题所采用的技术方案为：一种基于双目竞争的全盲立体图像质量评价方法，其特征在于包括训练阶段和测试阶段；

所述的训练阶段包括以下步骤：

①-1、选取K幅原始的无失真立体图像，将第k幅原始的无失真立体图像的左视点图像和右视点图像对应记为{S_k,org,L(m,n)}和{S_k,org,R(m,n)}，其中，K≥1，1≤k≤K，(m,n)表示原始的无失真立体图像中的像素点的坐标位置，1≤m≤M，1≤n≤N，M表示原始的无失真立体图像的宽度，N表示原始的无失真立体图像的高度，S_k,org,L(m,n)表示{S_k,org,L(m,n)}中坐标位置为(m,n)的像素点的像素值，S_k,org,R(m,n)表示{S_k,org,R(m,n)}中坐标位置为(m,n)的像素点的像素值；

①-2、对每幅原始的无失真立体图像的左视点图像实施log-Gabor滤波，得到每幅原始的无失真立体图像的左视点图像的幅值图像，将{S_k,org,L(m,n)}的幅值图像记为{M_k,org,L(m,n)}，其中，M_k,org,L(m,n)表示{M_k,org,L(m,n)}中坐标位置为(m,n)的像素点的像素值；

同样，对每幅原始的无失真立体图像的右视点图像实施log-Gabor滤波，得到每幅原始的无失真立体图像的右视点图像的幅值图像，将{S_k,org,R(m,n)}的幅值图像记为{M_k,org,R(m,n)}，其中，M_k,org,R(m,n)表示{M_k,org,R(m,n)}中坐标位置为(m,n)的像素点的像素值；

①-3、将每幅原始的无失真立体图像的左视点图像的幅值图像划分成个互不重叠的尺寸大小为mb×nb的子块；然后计算每幅原始的无失真立体图像的左视点图像的幅值图像中的每个子块的能量、方差和熵，将{M_k,org,L(m,n)}中坐标位置为(i,j)的子块的能量、方差和熵对应记为E_k,org,L(i,j)、V_k,org,L(i,j)和Q_k,org,L(i,j)；

同样，将每幅原始的无失真立体图像的右视点图像的幅值图像划分成个互不重叠的尺寸大小为mb×nb的子块；然后计算每幅原始的无失真立体图像的右视点图像的幅值图像中的每个子块的能量、方差和熵，将{M_k,org,R(m,n)}中坐标位置为(i,j)的子块的能量、方差和熵对应记为E_k,org,R(i,j)、V_k,org,R(i,j)和Q_k,org,R(i,j)；

其中，mb和nb对应表示每个子块的宽度和高度，符号为向下取整符号；

①-4、计算每幅原始的无失真立体图像的左视点图像的幅值图像中的每个子块与右视点图像的幅值图像中坐标位置相同的子块的双目竞争能量，将{M_k,org,L(m,n)}中坐标位置为(i,j)的子块与{M_k,org,R(m,n)}中坐标位置为(i,j)的子块的双目竞争能量记为E_k,org,B(i,j)， $E_{k,org,B}(i,j)=\frac{V_{k,org,L}(i,j)}{V_{k,org,L}(i,j)+V_{k,org,R}(i,j)}\×E_{k,org,L}(i,j)+\frac{V_{k,org,R}(i,j)}{V_{k,org,L}(i,j)+V_{k,org,R}(i,j)}\×E_{k,org,L}(i,j);$

并，计算每幅原始的无失真立体图像的左视点图像的幅值图像中的每个子块与右视点图像的幅值图像中坐标位置相同的子块的双目竞争方差，将{M_k,org,L(m,n)}中坐标位置为(i,j)的子块与{M_k,org,R(m,n)}中坐标位置为(i,j)的子块的双目竞争方差记为V_k,org,B(i,j)， $V_{k,org,B}(i,j)=\frac{V_{k,org,L}(i,j)}{V_{k,org,L}(i,j)+V_{k,org,R}(i,j)}\×V_{k,org,L}(i,j)+\frac{V_{k,org,R}(i,j)}{V_{k,org,L}(i,j)+V_{k,org,R}(i,j)}\×V_{k,org,L}(i,j);$

计算每幅原始的无失真立体图像的左视点图像的幅值图像中的每个子块与右视点图像的幅值图像中坐标位置相同的子块的双目竞争熵，将{M_k,org,L(m,n)}中坐标位置为(i,j)的子块与{M_k,org,R(m,n)}中坐标位置为(i,j)的子块的双目竞争熵记为Q_k,org,B(i,j)， $Q_{k,org,B}(i,j)=\frac{V_{k,org,L}(i,j)}{V_{k,org,L}(i,j)+V_{k,org,R}(i,j)}\×Q_{k,org,L}(i,j)+\frac{V_{k,org,R}(i,j)}{V_{k,org,L}(i,j)+V_{k,org,R}(i,j)}\×Q_{k,org,L}(i,j);$

①-5、将所有原始的无失真立体图像的左视点图像的幅值图像与右视点图像的幅值图像中所有坐标位置对应的子块的双目竞争能量的均值、双目竞争方差的均值及双目竞争熵的均值作为输入参数，输入到高斯分布模型中，得到所有原始的无失真立体图像对应的无失真高斯分布模型；

所述的测试阶段包括以下步骤：

②-1、对于任意一幅尺寸大小与选取的原始的无失真立体图像的尺寸大小一致的失真立体图像，将该失真立体图像作为待评价的失真立体图像，将待评价的失真立体图像的左视点图像和右视点图像对应记为{S_dis,L(m,n)}和{S_dis,R(m,n)}，其中，S_dis,L(m,n)表示{S_dis,L(m,n)}中坐标位置为(m,n)的像素点的像素值，S_dis,R(m,n)表示{S_dis,R(m,n)}中坐标位置为(m,n)的像素点的像素值；

②-2、对{S_dis,L(m,n)}实施log-Gabor滤波，得到{S_dis,L(m,n)}的幅值图像，记为{M_dis,L(m,n)}，其中，M_dis,L(m,n)表示{M_dis,L(m,n)}中坐标位置为(m,n)的像素点的像素值；

同样，对{S_dis,R(m,n)}实施log-Gabor滤波，得到{S_dis,R(m,n)}的幅值图像，记为{M_dis,R(m,n)}，其中，M_dis,R(m,n)表示{M_dis,R(m,n)}中坐标位置为(m,n)的像素点的像素值；

②-3、将{M_dis,L(m,n)}划分成个互不重叠的尺寸大小为mb×nb的子块；然后计算{M_dis,L(m,n)}中的每个子块的能量、方差和熵，将{M_dis,L(m,n)}中坐标位置为(i,j)的子块的能量、方差和熵对应记为E_dis,L(i,j)、V_dis,L(i,j)和Q_dis,L(i,j)；

同样，将{M_dis,R(m,n)}划分成个互不重叠的尺寸大小为mb×nb的子块；然后计算{M_dis,R(m,n)}中的每个子块的能量、方差和熵，将{M_dis,R(m,n)}中坐标位置为(i,j)的子块的能量、方差和熵对应记为E_dis,R(i,j)、V_dis,R(i,j)和Q_dis,R(i,j)；

②-4、计算{M_dis,L(m,n)}中的每个子块与{M_dis,R(m,n)}中坐标位置相同的子块的双目竞争能量，将{M_dis,L(m,n)}中坐标位置为(i,j)的子块与{M_dis,R(m,n)}中坐标位置为(i,j)的子块的双目竞争能量记为E_dis,B(i,j)， $E_{dis,B}(i,j)=\frac{V_{dis,L}(i,j)}{V_{dis,L}(i,j)+V_{dis,R}(i,j)}\×E_{dis,L}(i,j)+\frac{V_{dis,R}(i,j)}{V_{dis,L}(i,j)+V_{dis,R}(i,j)}\×E_{dis,L}(i,j);$

并，计算{M_dis,L(m,n)}中的每个子块与{M_dis,R(m,n)}中坐标位置相同的子块的双目竞争方差，将{M_dis,L(m,n)}中坐标位置为(i,j)的子块与{M_dis,R(m,n)}中坐标位置为(i,j)的子块的双目竞争方差记为V_dis,B(i,j)， $V_{dis,B}(i,j)=\frac{V_{dis,L}(i,j)}{V_{dis,L}(i,j)+V_{dis,R}(i,j)}\×V_{dis,L}(i,j)+\frac{V_{dis,R}(i,j)}{V_{dis,L}(i,j)+V_{dis,R}(i,j)}\×V_{dis,L}(i,j);$

计算{M_dis,L(m,n)}中的每个子块与{M_dis,R(m,n)}中坐标位置相同的子块的双目竞争熵，将{M_dis,L(m,n)}中坐标位置为(i,j)的子块与{M_dis,R(m,n)}中坐标位置为(i,j)的子块的双目竞争熵记为Q_dis,B(i,j)， $Q_{dis,B}(i,j)=\frac{V_{dis,L}(i,j)}{V_{dis,L}(i,j)+V_{dis,R}(i,j)}\×Q_{dis,L}(i,j)+\frac{V_{dis,R}(i,j)}{V_{dis,L}(i,j)+V_{dis,R}(i,j)}\×Q_{dis,L}(i,j);$

②-5、将{M_dis,L(m,n)}与{M_dis,R(m,n)}中所有坐标位置对应的子块的双目竞争能量的均值、双目竞争方差的均值和双目竞争熵的均值作为输入参数，输入到高斯分布模型中，得到待评价的失真立体图像对应的失真高斯分布模型；

②-6、采用马氏距离公式衡量步骤①-5得到的所有原始的无失真立体图像对应的无失真高斯分布模型与步骤②-5得到的待评价的失真立体图像对应的失真高斯分布模型之间的误差，将衡量得到的误差作为待评价的失真立体图像的图像质量客观评价预测值。

所述的步骤①-3和所述的步骤②-3中mb的取值范围为[16,M]，nb的取值范围为[16,N]。

与现有技术相比，本发明的优点在于：

1)本发明方法由于充分利用了双目竞争的特性，即获取了左视点图像和右视点图像各自的幅值图像中坐标位置相对应的子块的双目竞争能量、双目竞争方差和双目竞争熵，因此充分考虑到了立体视觉感知特性，有效地提高了客观评价结果与主观感知之间的相关性。

2)本发明方法通过无监督学习方式构造无失真高斯分布模型和失真高斯分布模型，这样避免了复杂的机器学习训练过程，降低了计算复杂度，并且本发明方法在训练阶段不需要预知各训练失真立体图像及其主观评价值，因此更加适用于实际的应用场合。

附图说明

图1为本发明方法的总体实现框图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种基于双目竞争的全盲立体图像质量评价方法，其总体实现框图如图1所示，其包括训练阶段和测试阶段；在训练阶段中，对原始的无失真立体图像的左视点图像和右视点图像分别实施log-Gabor滤波，并对左视点图像和右视点图像各自的幅值图像进行非重叠的分子块处理；然后计算左视点图像和右视点图像各自的幅值图像中的各个子块的能量、方差和熵；接着根据双目竞争原理，对左视点图像和右视点图像各自的幅值图像中对应坐标位置的子块的能量、方差和熵进行融合，得到左视点图像和右视点图像各自的幅值图像中对应坐标位置的子块的双目竞争能量、双目竞争方差和双目竞争熵；最后将所有双目竞争能量的均值、所有双目竞争方差的均值和所有双目竞争熵的均值作为输入参数输入到高斯分布模型中，得到无失真高斯分布模型；在测试阶段中，对于任意一幅待评价的失真立体图像，采用与训练阶段相同的方法获得失真高斯分布模型；再采用马氏距离公式衡量无失真高斯分布模型和失真高斯分布模型之间的误差，将误差作为待评价的失真立体图像的图像质量客观评价预测值。

其中，训练阶段包括以下步骤：

①-1、选取K幅原始的无失真立体图像，将第k幅原始的无失真立体图像的左视点图像和右视点图像对应记为{S_k,org,L(m,n)}和{S_k,org,R(m,n)}，其中，K≥1，在本实施例中取K＝20，1≤k≤K，(m,n)表示原始的无失真立体图像中的像素点的坐标位置，1≤m≤M，1≤n≤N，M表示原始的无失真立体图像的宽度，N表示原始的无失真立体图像的高度，S_k,org,L(m,n)表示{S_k,org,L(m,n)}中坐标位置为(m,n)的像素点的像素值，S_k,org,R(m,n)表示{S_k,org,R(m,n)}中坐标位置为(m,n)的像素点的像素值。

①-2、对每幅原始的无失真立体图像的左视点图像实施log-Gabor滤波，得到每幅原始的无失真立体图像的左视点图像的幅值图像，将{S_k,org,L(m,n)}的幅值图像记为{M_k,org,L(m,n)}，其中，M_k,org,L(m,n)表示{M_k,org,L(m,n)}中坐标位置为(m,n)的像素点的像素值。

同样，对每幅原始的无失真立体图像的右视点图像实施log-Gabor滤波，得到每幅原始的无失真立体图像的右视点图像的幅值图像，将{S_k,org,R(m,n)}的幅值图像记为{M_k,org,R(m,n)}，其中，M_k,org,R(m,n)表示{M_k,org,R(m,n)}中坐标位置为(m,n)的像素点的像素值。

①-3、将每幅原始的无失真立体图像的左视点图像的幅值图像划分成个互不重叠的尺寸大小为mb×nb的子块；然后采用现有技术计算每幅原始的无失真立体图像的左视点图像的幅值图像中的每个子块的能量、方差和熵，将{M_k,org,L(m,n)}中坐标位置为(i,j)的子块的能量、方差和熵对应记为E_k,org,L(i,j)、V_k,org,L(i,j)和Q_k,org,L(i,j)。

同样，将每幅原始的无失真立体图像的右视点图像的幅值图像划分成个互不重叠的尺寸大小为mb×nb的子块；然后采用现有技术计算每幅原始的无失真立体图像的右视点图像的幅值图像中的每个子块的能量、方差和熵，将{M_k,org,R(m,n)}中坐标位置为(i,j)的子块的能量、方差和熵对应记为E_k,org,R(i,j)、V_k,org,R(i,j)和Q_k,org,R(i,j)。

其中，mb和nb对应表示每个子块的宽度和高度，当M×N不能被mb×nb整除时，不能构成一个子块的所有像素点不作处理，符号为向下取整符号。

在此，mb的取值范围为[16,M]，nb的取值范围为[16,N]，即可以将幅值图像划分成尺寸大小为16×16的子块，也可以将整幅幅值图像作为一个子块，而当M×N不能被16×16整除时，对图像右侧和下方多余的像素点不作处理。

①-4、计算每幅原始的无失真立体图像的左视点图像的幅值图像中的每个子块与右视点图像的幅值图像中坐标位置相同的子块的双目竞争能量，将{M_k,org,L(m,n)}中坐标位置为(i,j)的子块与{M_k,org,R(m,n)}中坐标位置为(i,j)的子块的双目竞争能量记为E_k,org,B(i,j)， $E_{k,org,B}(i,j)=\frac{V_{k,org,L}(i,j)}{V_{k,org,L}(i,j)+V_{k,org,R}(i,j)}\×E_{k,org,L}(i,j)+\frac{V_{k,org,R}(i,j)}{V_{k,org,L}(i,j)+V_{k,org,R}(i,j)}\×E_{k,org,L}(i,j).$

并，计算每幅原始的无失真立体图像的左视点图像的幅值图像中的每个子块与右视点图像的幅值图像中坐标位置相同的子块的双目竞争方差，将{M_k,org,L(m,n)}中坐标位置为(i,j)的子块与{M_k,org,R(m,n)}中坐标位置为(i,j)的子块的双目竞争方差记为V_k,org,B(i,j)， $V_{k,org,B}(i,j)=\frac{V_{k,org,L}(i,j)}{V_{k,org,L}(i,j)+V_{k,org,R}(i,j)}\×V_{k,org,L}(i,j)+\frac{V_{k,org,R}(i,j)}{V_{k,org,L}(i,j)+V_{k,org,R}(i,j)}\×V_{k,org,L}(i,j).$

计算每幅原始的无失真立体图像的左视点图像的幅值图像中的每个子块与右视点图像的幅值图像中坐标位置相同的子块的双目竞争熵，将{M_k,org,L(m,n)}中坐标位置为(i,j)的子块与{M_k,org,R(m,n)}中坐标位置为(i,j)的子块的双目竞争熵记为Q_k,org,B(i,j)， $Q_{k,org,B}(i,j)=\frac{V_{k,org,L}(i,j)}{V_{k,org,L}(i,j)+V_{k,org,R}(i,j)}\×Q_{k,org,L}(i,j)+\frac{V_{k,org,R}(i,j)}{V_{k,org,L}(i,j)+V_{k,org,R}(i,j)}\×Q_{k,org,L}(i,j).$

①-5、将所有原始的无失真立体图像的左视点图像的幅值图像与右视点图像的幅值图像中所有坐标位置对应的子块的双目竞争能量的均值、双目竞争方差的均值及双目竞争熵的均值作为输入参数，输入到高斯分布模型中，得到所有原始的无失真立体图像对应的无失真高斯分布模型。

其中，测试阶段包括以下步骤：

②-1、对于任意一幅尺寸大小与选取的原始的无失真立体图像的尺寸大小一致的失真立体图像，将该失真立体图像作为待评价的失真立体图像，将待评价的失真立体图像的左视点图像和右视点图像对应记为{S_dis,L(m,n)}和{S_dis,R(m,n)}，其中，S_dis,L(m,n)表示{S_dis,L(m,n)}中坐标位置为(m,n)的像素点的像素值，S_dis,R(m,n)表示{S_dis,R(m,n)}中坐标位置为(m,n)的像素点的像素值。

②-2、对{S_dis,L(m,n)}实施log-Gabor滤波，得到{S_dis,L(m,n)}的幅值图像，记为{M_dis,L(m,n)}，其中，M_dis,L(m,n)表示{M_dis,L(m,n)}中坐标位置为(m,n)的像素点的像素值。

同样，对{S_dis,R(m,n)}实施log-Gabor滤波，得到{S_dis,R(m,n)}的幅值图像，记为{M_dis,R(m,n)}，其中，M_dis,R(m,n)表示{M_dis,R(m,n)}中坐标位置为(m,n)的像素点的像素值。

②-3、将{M_dis,L(m,n)}划分成个互不重叠的尺寸大小为mb×nb的子块；然后采用现有技术计算{M_dis,L(m,n)}中的每个子块的能量、方差和熵，将{M_dis,L(m,n)}中坐标位置为(i,j)的子块的能量、方差和熵对应记为E_dis,L(i,j)、V_dis,L(i,j)和Q_dis,L(i,j)。

同样，将{M_dis,R(m,n)}划分成个互不重叠的尺寸大小为mb×nb的子块；然后采用现有技术计算{M_dis,R(m,n)}中的每个子块的能量、方差和熵，将{M_dis,R(m,n)}中坐标位置为(i,j)的子块的能量、方差和熵对应记为E_dis,R(i,j)、V_dis,R(i,j)和Q_dis,R(i,j)。

在此，mb的取值范围为[16,M]，nb的取值范围为[16,N]，即可以将幅值图像划分成尺寸大小为16×16的子块，也可以将整幅幅值图像作为一个子块，而当M×N不能被16×16整除时，对图像右侧和下方多余的像素点不作处理。

②-4、计算{M_dis,L(m,n)}中的每个子块与{M_dis,R(m,n)}中坐标位置相同的子块的双目竞争能量，将{M_dis,L(m,n)}中坐标位置为(i,j)的子块与{M_dis,R(m,n)}中坐标位置为(i,j)的子块的双目竞争能量记为E_dis,B(i,j)， $E_{dis,B}(i,j)=\frac{V_{dis,L}(i,j)}{V_{dis,L}(i,j)+V_{dis,R}(i,j)}\×E_{dis,L}(i,j)+\frac{V_{dis,R}(i,j)}{V_{dis,L}(i,j)+V_{dis,R}(i,j)}\×E_{dis,L}(i,j).$

并，计算{M_dis,L(m,n)}中的每个子块与{M_dis,R(m,n)}中坐标位置相同的子块的双目竞争方差，将{M_dis,L(m,n)}中坐标位置为(i,j)的子块与{M_dis,R(m,n)}中坐标位置为(i,j)的子块的双目竞争方差记为V_dis,B(i,j)， $V_{dis,B}(i,j)=\frac{V_{dis,L}(i,j)}{V_{dis,L}(i,j)+V_{dis,R}(i,j)}\×V_{dis,L}(i,j)+\frac{V_{dis,R}(i,j)}{V_{dis,L}(i,j)+V_{dis,R}(i,j)}\×V_{dis,L}(i,j).$

计算{M_dis,L(m,n)}中的每个子块与{M_dis,R(m,n)}中坐标位置相同的子块的双目竞争熵，将{M_dis,L(m,n)}中坐标位置为(i,j)的子块与{M_dis,R(m,n)}中坐标位置为(i,j)的子块的双目竞争熵记为Q_dis,B(i,j)， $Q_{dis,B}(i,j)=\frac{V_{dis,L}(i,j)}{V_{dis,L}(i,j)+V_{dis,R}(i,j)}\×Q_{dis,L}(i,j)+\frac{V_{dis,R}(i,j)}{V_{dis,L}(i,j)+V_{dis,R}(i,j)}\×Q_{dis,L}(i,j).$

②-5、将{M_dis,L(m,n)}与{M_dis,R(m,n)}中所有坐标位置对应的子块的双目竞争能量的均值、双目竞争方差的均值和双目竞争熵的均值作为输入参数，输入到高斯分布模型中，得到待评价的失真立体图像对应的失真高斯分布模型；

②-6、采用现有的马氏距离公式衡量步骤①-5得到的所有原始的无失真立体图像对应的无失真高斯分布模型与步骤②-5得到的待评价的失真立体图像对应的失真高斯分布模型之间的误差，将衡量得到的误差作为待评价的失真立体图像的图像质量客观评价预测值。

为验证本发明方法的可行性和有效性，进行实验。

在此，采用LIVE立体图像库来分析利用本发明方法得到的失真立体图像的图像质量客观评价预测值与平均主观评分差值之间的相关性。这里，利用评估图像质量评价方法的Spearman相关系数(Spearmanrankordercorrelationcoefficient，SROCC)作为评价指标，SROCC反映其单调性。

利用本发明方法计算LIVE立体图像库中的每幅失真立体图像的图像质量客观评价预测值，再利用现有的主观评价方法获得LIVE立体图像库中的每幅失真立体图像的平均主观评分差值。将按本发明方法计算得到的失真立体图像的图像质量客观评价预测值做五参数Logistic函数非线性拟合，SROCC值越高，说明客观评价方法的客观评价结果与平均主观评分差值相关性越好。反映本发明方法的质量评价性能的SROCC相关系数如表1所列。从表1所列的数据可知，按本发明方法得到的失真立体图像的最终的图像质量客观评价预测值与平均主观评分差值之间的相关性是很好的，表明客观评价结果与人眼主观感知的结果较为一致，足以说明本发明方法的可行性和有效性。

表1利用本发明方法得到的失真立体图像的图像质量客观评价预测值与平均主观评分差值之间的相关性

Claims (2)

1.一种基于双目竞争的全盲立体图像质量评价方法，其特征在于包括训练阶段和测试阶段；

所述的训练阶段包括以下步骤：

①-1、选取K幅原始的无失真立体图像，将第k幅原始的无失真立体图像的左视点图像和右视点图像对应记为{S_k,org,L(m,n)}和{S_k,org,R(m,n)}，其中，K≥1，1≤k≤K，(m,n)表示原始的无失真立体图像中的像素点的坐标位置，1≤m≤M，1≤n≤N，M表示原始的无失真立体图像的宽度，N表示原始的无失真立体图像的高度，S_k,org,L(m,n)表示{S_k,org,L(m,n)}中坐标位置为(m,n)的像素点的像素值，S_k,org,R(m,n)表示{S_k,org,R(m,n)}中坐标位置为(m,n)的像素点的像素值；

①-2、对每幅原始的无失真立体图像的左视点图像实施log-Gabor滤波，得到每幅原始的无失真立体图像的左视点图像的幅值图像，将{S_k,org,L(m,n)}的幅值图像记为{M_k,org,L(m,n)}，其中，M_k,org,L(m,n)表示{M_k,org,L(m,n)}中坐标位置为(m,n)的像素点的像素值；

同样，对每幅原始的无失真立体图像的右视点图像实施log-Gabor滤波，得到每幅原始的无失真立体图像的右视点图像的幅值图像，将{S_k,org,R(m,n)}的幅值图像记为{M_k,org,R(m,n)}，其中，M_k,org,R(m,n)表示{M_k,org,R(m,n)}中坐标位置为(m,n)的像素点的像素值；

①-3、将每幅原始的无失真立体图像的左视点图像的幅值图像划分成个互不重叠的尺寸大小为mb×nb的子块；然后计算每幅原始的无失真立体图像的左视点图像的幅值图像中的每个子块的能量、方差和熵，将{M_k,org,L(m,n)}中坐标位置为(i,j)的子块的能量、方差和熵对应记为E_k,org,L(i,j)、V_k,org,L(i,j)和Q_k,org,L(i,j)；

同样，将每幅原始的无失真立体图像的右视点图像的幅值图像划分成个互不重叠的尺寸大小为mb×nb的子块；然后计算每幅原始的无失真立体图像的右视点图像的幅值图像中的每个子块的能量、方差和熵，将{M_k,org,R(m,n)}中坐标位置为(i,j)的子块的能量、方差和熵对应记为E_k,org,R(i,j)、V_k,org,R(i,j)和Q_k,org,R(i,j)；

其中，mb和nb对应表示每个子块的宽度和高度，符号为向下取整符号；

①-4、计算每幅原始的无失真立体图像的左视点图像的幅值图像中的每个子块与右视点图像的幅值图像中坐标位置相同的子块的双目竞争能量，将{M_k,org,L(m,n)}中坐标位置为(i,j)的子块与{M_k,org,R(m,n)}中坐标位置为(i,j)的子块的双目竞争能量记为E_k,org,B(i,j)， $E_{k,org,B}(i,j)=\frac{V_{k,org,L}(i,j)}{V_{k,org,L}(i,j)+V_{k,org,R}(i,j)}\×E_{k,org,L}(i,j)+\frac{V_{k,org,R}(i,j)}{V_{k,org,L}(i,j)+V_{k,org,R}(i,j)}\×E_{k,org,L}(i,j);$

并，计算每幅原始的无失真立体图像的左视点图像的幅值图像中的每个子块与右视点图像的幅值图像中坐标位置相同的子块的双目竞争方差，将{M_k,org,L(m,n)}中坐标位置为(i,j)的子块与{M_k,org,R(m,n)}中坐标位置为(i,j)的子块的双目竞争方差记为V_k,org,B(i,j)， $V_{k,org,B}(i,j)=\frac{V_{k,org,L}(i,j)}{V_{k,org,L}(i,j)+V_{k,org,R}(i,j)}\×V_{k,org,L}(i,j)+\frac{V_{k,org,R}(i,j)}{V_{k,org,L}(i,j)+V_{k,org,R}(i,j)}\×V_{k,org,L}(i,j);$

计算每幅原始的无失真立体图像的左视点图像的幅值图像中的每个子块与右视点图像的幅值图像中坐标位置相同的子块的双目竞争熵，将{M_k,org,L(m,n)}中坐标位置为(i,j)的子块与{M_k,org,R(m,n)}中坐标位置为(i,j)的子块的双目竞争熵记为Q_k,org,B(i,j)， $Q_{k,org,B}(i,j)=\frac{V_{k,org,L}(i,j)}{V_{k,org,L}(i,j)+V_{k,org,R}(i,j)}\×Q_{k,org,L}(i,j)+\frac{V_{k,org,R}(i,j)}{V_{k,org,L}(i,j)+V_{k,org,R}(i,j)}\×Q_{k,org,L}(i,j);$

①-5、将所有原始的无失真立体图像的左视点图像的幅值图像与右视点图像的幅值图像中所有坐标位置对应的子块的双目竞争能量的均值、双目竞争方差的均值及双目竞争熵的均值作为输入参数，输入到高斯分布模型中，得到所有原始的无失真立体图像对应的无失真高斯分布模型；

所述的测试阶段包括以下步骤：

②-1、对于任意一幅尺寸大小与选取的原始的无失真立体图像的尺寸大小一致的失真立体图像，将该失真立体图像作为待评价的失真立体图像，将待评价的失真立体图像的左视点图像和右视点图像对应记为{S_dis,L(m,n)}和{S_dis,R(m,n)}，其中，S_dis,L(m,n)表示{S_dis,L(m,n)}中坐标位置为(m,n)的像素点的像素值，S_dis,R(m,n)表示{S_dis,R(m,n)}中坐标位置为(m,n)的像素点的像素值；

②-2、对{S_dis,L(m,n)}实施log-Gabor滤波，得到{S_dis,L(m,n)}的幅值图像，记为{M_dis,L(m,n)}，其中，M_dis,L(m,n)表示{M_dis,L(m,n)}中坐标位置为(m,n)的像素点的像素值；

同样，对{S_dis,R(m,n)}实施log-Gabor滤波，得到{S_dis,R(m,n)}的幅值图像，记为{M_dis,R(m,n)}，其中，M_dis,R(m,n)表示{M_dis,R(m,n)}中坐标位置为(m,n)的像素点的像素值；

②-3、将{M_dis,L(m,n)}划分成个互不重叠的尺寸大小为mb×nb的子块；然后计算{M_dis,L(m,n)}中的每个子块的能量、方差和熵，将{M_dis,L(m,n)}中坐标位置为(i,j)的子块的能量、方差和熵对应记为E_dis,L(i,j)、V_dis,L(i,j)和Q_dis,L(i,j)；

同样，将{M_dis,R(m,n)}划分成个互不重叠的尺寸大小为mb×nb的子块；然后计算{M_dis,R(m,n)}中的每个子块的能量、方差和熵，将{M_dis,R(m,n)}中坐标位置为(i,j)的子块的能量、方差和熵对应记为E_dis,R(i,j)、V_dis,R(i,j)和Q_dis,R(i,j)；

②-4、计算{M_dis,L(m,n)}中的每个子块与{M_dis,R(m,n)}中坐标位置相同的子块的双目竞争能量，将{M_dis,L(m,n)}中坐标位置为(i,j)的子块与{M_dis,R(m,n)}中坐标位置为(i,j)的子块的双目竞争能量记为E_dis,B(i,j)， $E_{dis,B}(i,j)=\frac{V_{dis,L}(i,j)}{V_{dis,L}(i,j)+V_{dis,R}(i,j)}\×E_{dis,L}(i,j)+\frac{V_{dis,R}(i,j)}{V_{dis,L}(i,j)+V_{dis,R}(i,j)}\×E_{dis,L}(i,j);$

并，计算{M_dis,L(m,n)}中的每个子块与{M_dis,R(m,n)}中坐标位置相同的子块的双目竞争方差，将{M_dis,L(m,n)}中坐标位置为(i,j)的子块与{M_dis,R(m,n)}中坐标位置为(i,j)的子块的双目竞争方差记为V_dis,B(i,j)， $V_{dis,B}(i,j)=\frac{V_{dis,L}(i,j)}{V_{dis,L}(i,j)+V_{dis,R}(i,j)}\×V_{dis,L}(i,j)+\frac{V_{dis,R}(i,j)}{V_{dis,L}(i,j)+V_{dis,R}(i,j)}\×V_{dis,L}(i,j);$

计算{M_dis,L(m,n)}中的每个子块与{M_dis,R(m,n)}中坐标位置相同的子块的双目竞争熵，将{M_dis,L(m,n)}中坐标位置为(i,j)的子块与{M_dis,R(m,n)}中坐标位置为(i,j)的子块的双目竞争熵记为Q_dis,B(i,j)， $Q_{dis,B}(i,j)=\frac{V_{dis,L}(i,j)}{V_{dis,L}(i,j)+V_{dis,R}(i,j)}\×Q_{dis,L}(i,j)+\frac{V_{dis,R}(i,j)}{V_{dis,L}(i,j)+V_{dis,R}(i,j)}\×Q_{dis,L}(i,j);$

②-5、将{M_dis,L(m,n)}与{M_dis,R(m,n)}中所有坐标位置对应的子块的双目竞争能量的均值、双目竞争方差的均值和双目竞争熵的均值作为输入参数，输入到高斯分布模型中，得到待评价的失真立体图像对应的失真高斯分布模型；

②-6、采用马氏距离公式衡量步骤①-5得到的所有原始的无失真立体图像对应的无失真高斯分布模型与步骤②-5得到的待评价的失真立体图像对应的失真高斯分布模型之间的误差，将衡量得到的误差作为待评价的失真立体图像的图像质量客观评价预测值。

2.根据权利要求1所述的一种基于双目竞争的全盲立体图像质量评价方法，其特征在于所述的步骤①-3和所述的步骤②-3中mb的取值范围为[16,M]，nb的取值范围为[16,N]。