CN105282543B - 一种基于立体视觉感知的全盲立体图像质量客观评价方法 - Google Patents

Abstract

本发明公开了一种基于立体视觉感知的全盲立体图像质量客观评价方法，其在训练阶段，先获取每幅原始的无失真立体图像的融合视点图像的去均值归一化图像，然后输入到实证密度函数中得到纹理信息向量，并进行四个方向的滤波处理得到方向信息向量，再将所有纹理信息向量和方向信息向量输入到高斯分布模型中，得到无失真高斯分布模型；在测试阶段，采用相同的方式得到失真高斯分布模型，然后采用马氏距离公式衡量无失真高斯分布模型和失真高斯分布模型之间的误差，将误差作为待评价的失真立体图像的图像质量客观评价预测值；优点是其能够充分考虑到立体视觉感知特性，从而能够有效地提高客观评价结果与主观感知之间的相关性。

Description

一种基于立体视觉感知的全盲立体图像质量客观评价方法

技术领域

本发明涉及一种立体图像质量客观评价方法，尤其是涉及一种基于立体视觉感知的全盲立体图像质量客观评价方法。

背景技术

进入二十一世纪以来，随着立体图像/视频系统处理技术的日趋成熟，以及计算机网络与通信技术的快速发展，已引起人们对立体图像/视频系统的强烈需求。相比传统的单视点图像/视频系统，立体图像/视频系统由于能够提供深度信息来增强视觉的真实感，给用户以身临其境的全新视觉体验而越来越受到人们的欢迎，已被认为是下一代媒体主要的发展方向，已引发了学术界、产业界的广泛关注。然而，人们为了获得更好的立体临场感和视觉体验，对立体视觉主观感知质量提出了更高的要求。在立体图像/视频系统中，采集、编码、传输、解码及显示等处理环节都会引入一定失真，这些失真将对立体视觉主观感知质量产生不同程度的影响，因此如何有效地进行无参考质量评价是亟需解决的难点问题。综上，评价立体图像质量，并建立与主观质量评价相一致的客观评价模型显得尤为重要。

目前，研究人员提出了不少针对单视点图像质量的无参考评价方法，然而由于缺乏系统理论深入研究立体视觉感知特性，因此还没有有效地无参考立体图像质量评价方法。现有的无参考立体图像质量评价方法主要是通过机器学习来预测立体图像质量，不仅计算复杂度较高，而且需要测试数据库(包括大量不同失真类型的失真立体图像及相应的主观评价值)，使得该无参考立体图像质量评价方法并不适用于实际的应用场合，存在一定的局限性。因此，如何深入挖掘立体视觉感知；以及如何在无参考模型构建中采用全盲方法，都是无参考质量评价研究中需要重点解决的技术问题。

发明内容

本发明所要解决的技术问题是提供一种基于立体视觉感知的全盲立体图像质量客观评价方法，其能够充分考虑到立体视觉感知特性，从而能够有效地提高客观评价结果与主观感知之间的相关性。

本发明解决上述技术问题所采用的技术方案为：一种基于立体视觉感知的全盲立体图像质量客观评价方法，其特征在于包括训练阶段和测试阶段两个过程，所述的训练阶段过程的具体步骤如下：

①-1、选取K幅原始的无失真立体图像，其中，K≥1，原始的无失真立体图像的宽度为M，原始的无失真立体图像的高度为N；

①-2、采用双目融合技术对每幅原始的无失真立体图像的左视点图像和右视点图像进行融合，得到每幅原始的无失真立体图像的融合视点图像；

①-3、对每幅原始的无失真立体图像的融合视点图像进行去均值归一化操作，得到每幅原始的无失真立体图像的融合视点图像的去均值归一化图像；

①-4、将每幅原始的无失真立体图像的融合视点图像的去均值归一化图像输入到实证密度函数中，得到每幅原始的无失真立体图像的融合视点图像的去均值归一化图像的纹理信息向量；

①-5、对每幅原始的无失真立体图像的融合视点图像的去均值归一化图像进行四个方向的滤波处理，得到每幅原始的无失真立体图像的融合视点图像的去均值归一化图像的水平方向信息图像、垂直方向信息图像、主对角线方向信息图像和副对角线方向信息图像；然后将每幅原始的无失真立体图像的融合视点图像的去均值归一化图像的水平方向信息图像、垂直方向信息图像、主对角线方向信息图像和副对角线方向信息图像输入到非对称广义高斯分布模型中，得到每幅原始的无失真立体图像的融合视点图像的去均值归一化图像的方向信息向量；

①-6、将所有原始的无失真立体图像的融合视点图像的去均值归一化图像的纹理信息向量和方向信息向量作为输入参数，输入到高斯分布模型中，得到所有原始的无失真立体图像对应的无失真高斯分布模型；

所述的测试阶段过程的具体步骤如下：

②-1、对于任意一幅尺寸大小与步骤①-1中选取的原始的无失真立体图像的尺寸大小一致的失真立体图像，将该失真立体图像作为待评价的失真立体图像；

②-2、采用双目融合技术对待评价的失真立体图像的左视点图像和右视点图像进行融合，得到待评价的失真立体图像的融合视点图像；

②-3、对待评价的失真立体图像的融合视点图像进行去均值归一化操作，得到待评价的失真立体图像的融合视点图像的去均值归一化图像；

②-4、将待评价的失真立体图像的融合视点图像的去均值归一化图像输入到实证密度函数中，得到待评价的失真立体图像的融合视点图像的去均值归一化图像的纹理信息向量；

②-5、对待评价的失真立体图像的融合视点图像的去均值归一化图像进行四个方向的滤波处理，得到待评价的失真立体图像的融合视点图像的去均值归一化图像的水平方向信息图像、垂直方向信息图像、主对角线方向信息图像和副对角线方向信息图像；然后将待评价的失真立体图像的融合视点图像的去均值归一化图像的水平方向信息图像、垂直方向信息图像、主对角线方向信息图像和副对角线方向信息图像输入到非对称广义高斯分布模型中，得到待评价的失真立体图像的融合视点图像的去均值归一化图像的方向信息向量；

②-6、将待评价的失真立体图像的融合视点图像的去均值归一化图像的纹理信息向量和方向信息向量作为输入参数，输入到高斯分布模型中，得到待评价的失真立体图像对应的失真高斯分布模型；

②-7、采用马氏距离公式衡量步骤①-6中得到的所有原始的无失真立体图像对应的无失真高斯分布模型与步骤②-6中得到的待评价的失真立体图像对应的失真高斯分布模型之间的误差，将衡量得到的误差作为待评价的失真立体图像的图像质量客观评价预测值。

所述的步骤①-3中，将第k幅原始的无失真立体图像的融合视点图像的去均值归一化图像记为{G_k,org,L,R(m,n)}，将{G_k,org,L,R(m,n)｝中坐标位置为(m,n)的像素点的像素值记为G_k,org,L,R(m,n)，其中，1≤k≤K，1≤m≤M，1≤n≤N，R_k,org,L,R(m,n)表示第k幅原始的无失真立体图像的融合视点图像{R_k,org,L,R(m,n)｝中坐标位置为(m,n)的像素点的像素值，μ_k,org,L,R表示{R_k,org,L,R(m,n)}中的所有像素点的像素值的均值，σ_k,org,L,R表示{R_k,org,L,R(m,n)}中的所有像素点的像素值的方差。

所述的步骤①-5中，将第k幅原始的无失真立体图像的融合视点图像的去均值归一化图像的水平方向信息图像、垂直方向信息图像、主对角线方向信息图像和副对角线方向信息图像对应记为{H_k,org,L,R(m,n)}、{V_k,org,L,R(m,n)}、{D_k,org,L,R(m,n)}和将{H_k,org,L,R(m,n)}中坐标位置为(m,n)的像素点的像素值记为H_k,org,L,R(m,n)，将{V_k,org,L,R(m,n)}中坐标位置为(m,n)的像素点的像素值记为V_k,org,L,R(m,n)，将{D_k,org,L,R(m,n)}中坐标位置为(m,n)的像素点的像素值记为D_k,org,L,R(m,n)，将中坐标位置为(m,n)的像素点的像素值记为H_k,org,L,R(m,n)＝G_k,org,L,R(m,n)×G_k,org,L,R(m,n+1)，V_k,org,L,R(m,n)＝G_k,org,L,R(m,n)×G_k,org,L,R(m+1,n)，D_k,org,L,R(m,n)＝G_k,org,L,R(m,n)×G_k,org,L,R(m+1,n+1)，其中，1≤k≤K，1≤m≤M，1≤n≤N，G_k,org,L,R(m,n)表示第k幅原始的无失真立体图像的融合视点图像的去均值归一化图像{G_k,org,L,R(m,n)}中坐标位置为(m,n)的像素点的像素值；G_k,org,L,R(m,n+1)表示{G_k,org,L,R(m,n)}中坐标位置为(m,n+1)的像素点的像素值，若n+1>N，则令G_k,org,L,R(m,n+1)＝G_k,org,L,R(m,N)，G_k,org,L,R(m,N)表示{G_k,org,L,R(m,n)}中坐标位置为(m,N)的像素点的像素值；G_k,org,L,R(m+1,n)表示{G_k,org,L,R(m,n)}中坐标位置为(m+1,n)的像素点的像素值，若m+1>M，则令G_k,org,L,R(m+1,n)＝G_k,org,L,R(M,n)，G_k,org,L,R(M,n)表示{G_k,org,L,R(m,n)}中坐标位置为(M,n)的像素点的像素值；G_k,org,L,R(m+1,n+1)表示{G_k,org,L,R(m,n)}中坐标位置为(m+1,n+1)的像素点的像素值，若m+1>M且1≤n+1≤N，则令G_k,org,L,R(m+1,n+1)＝G_k,org,L,R(M,n+1)，若1≤m+1≤M且n+1>N，则令G_k,org,L,R(m+1,n+1)＝G_k,org,L,R(m+1,N)，若m+1>M且n+1>N，则令G_k,org,L,R(m+1,n+1)＝G_k,org,L,R(M,N)，G_k,org,L,R(M,n+1)、G_k,org,L,R(m+1,N)和G_k,org,L,R(M,N)对应表示{G_k,org,L,R(m,n)}中坐标位置为(M,n+1)、(m+1,N)和(M,N)的像素点的像素值；G_k,org,L,R(m+1,n-1)表示{G_k,org,L,R(m,n)}中坐标位置为(m+1,n-1)的像素点的像素值，若m+1>M且1≤n-1≤N，则令G_k,org,L,R(m+1,n-1)＝G_k,org,L,R(M,n-1)，若1≤m+1≤M且n-1<1，则令G_k,org,L,R(m+1,n-1)＝G_k,org,L,R(m+1,1)，若m+1>M且n-1<1，则令G_k,org,L,R(m+1,n-1)＝G_k,org,L,R(M,1)，G_k,org,L,R(M,n-1)、G_k,org,L,R(m+1,1)和G_k,org,L,R(M,1)对应表示{G_k,org,L,R(m,n)}中坐标位置为(M,n-1)、(m+1,1)和(M,1)的像素点的像素值；上述，G_k,org,L,R(m,n+1)＝G_k,org,L,R(m,N)、G_k,org,L,R(m+1,n)＝G_k,org,L,R(M,n)、G_k,org,L,R(m+1,n+1)＝G_k,org,L,R(M,n+1)、G_k,org,L,R(m+1,n+1)＝G_k,org,L,R(m+1,N)、G_k,org,L,R(m+1,n+1)＝G_k,org,L,R(M,N)、G_k,org,L,R(m+1,n-1)＝G_k,org,L,R(M,n-1)、G_k,org,L,R(m+1,n-1)＝G_k,org,L,R(m+1,1)和G_k,org,L,R(m+1,n-1)＝G_k,org,L,R(M,1)中的“＝”为赋值符号。

所述的步骤②-3中，将待评价的失真立体图像的融合视点图像的去均值归一化图像记为{G_dis,L,R(m,n)}，将{G_dis,L,R(m,n)}中坐标位置为(m,n)的像素点的像素值记为G_dis,L,R(m,n)，其中，1≤m≤M，1≤n≤N，R_dis,L,R(m,n)表示待评价的失真立体图像的融合视点图像{R_dis,L,R(m,n)}中坐标位置为(m,n)的像素点的像素值，μ_dis,L,R表示{R_dis,L,R(m,n)}中的所有像素点的像素值的均值，σ_dis,L,R表示{R_dis,L,R(m,n)}中的所有像素点的像素值的方差。

所述的步骤②-5中，将待评价的失真立体图像的融合视点图像的去均值归一化图像的水平方向信息图像、垂直方向信息图像、主对角线方向信息图像和副对角线方向信息图像对应记为{H_dis,L,R(m,n)}、{V_dis,L,R(m,n)}、{D_dis,L,R(m,n)}和将{H_dis,L,R(m,n)}中坐标位置为(m,n)的像素点的像素值记为H_dis,L,R(m,n)，将{V_dis,L,R(m,n)}中坐标位置为(m,n)的像素点的像素值记为V_dis,L,R(m,n)，将{D_dis,L,R(m,n)｝中坐标位置为(m,n)的像素点的像素值记为D_dis,L,R(m,n)，将中坐标位置为(m,n)的像素点的像素值记为H_dis,L,R(m,n)＝G_dis,L,R(m,n)×G_dis,L,R(m,n+1)，

V_dis,L,R(m,n)＝G_dis,L,R(m,n)×G_dis,L,R(m+1,n)，

D_dis,L,R(m,n)＝G_dis,L,R(m,n)×G_dis,L,R(m+1,n+1)，

其中，1≤m≤M，1≤n≤N，G_dis,L,R(m,n)表示待评价的失真立体图像的融合视点图像的去均值归一化图像{G_dis,L,R(m,n)}中坐标位置为(m,n)的像素点的像素值；G_dis,L,R(m,n+1)表示{G_dis,L,R(m,n)}中坐标位置为(m,n+1)的像素点的像素值，若n+1>N，则令G_dis,L,R(m,n+1)＝G_dis,L,R(m,N)，G_dis,L,R(m,N)表示{G_dis,L,R(m,n)}中坐标位置为(m,N)的像素点的像素值；G_dis,L,R(m+1,n)表示{G_dis,L,R(m,n)}中坐标位置为(m+1,n)的像素点的像素值，若m+1>M，则令G_dis,L,R(m+1,n)＝G_dis,L,R(M,n)，G_dis,L,R(M,n)表示{G_dis,L,R(m,n)}中坐标位置为(M,n)的像素点的像素值；G_dis,L,R(m+1,n+1)表示{G_dis,L,R(m,n)｝中坐标位置为(m+1,n+1)的像素点的像素值，若m+1>M且1≤n+1≤N，则令G_dis,L,R(m+1,n+1)＝G_dis,L,R(M,n+1)，若1≤m+1≤M且n+1>N，则令G_dis,L,R(m+1,n+1)＝G_dis,L,R(m+1,N)，若m+1>M且n+1>N，则令G_dis,L,R(m+1,n+1)＝G_dis,L,R(M,N)，G_dis,L,R(M,n+1)、G_dis,L,R(m+1,N)和G_dis,L,R(M,N)对应表示{G_dis,L,R(m,n)}中坐标位置为(M,n+1)、(m+1,N)和(M,N)的像素点的像素值；G_dis,L,R(m+1,n-1)表示{G_dis,L,R(m,n)}中坐标位置为(m+1,n-1)的像素点的像素值，若m+1>M且1≤n-1≤N，则令G_dis,L,R(m+1,n-1)＝G_dis,L,R(M,n-1)，若1≤m+1≤M且n-1<1，则令G_dis,L,R(m+1,n-1)＝G_dis,L,R(m+1,1)，若m+1>M且n-1<1，则令G_dis,L,R(m+1,n-1)＝G_dis,L,R(M,1)，G_dis,L,R(M,n-1)、G_dis,L,R(m+1,1)和G_dis,L,R(M,1)对应表示{G_dis,L,R(m,n)}中坐标位置为(M,n-1)、(m+1,1)和(M,1)的像素点的像素值；上述，G_dis,L,R(m,n+1)＝G_dis,L,R(m,N)、G_dis,L,R(m+1,n)＝G_dis,L,R(M,n)、G_dis,L,R(m+1,n+1)＝G_dis,L,R(M,n+1)、G_dis,L,R(m+1,n+1)＝G_dis,L,R(m+1,N)、G_dis,L,R(m+1,n+1)＝G_dis,L,R(M,N)、G_dis,L,R(m+1,n-1)＝G_dis,L,R(M,n-1)、G_dis,L,R(m+1,n-1)＝G_dis,L,R(m+1,1)和G_dis,L,R(m+1,n-1)＝G_dis,L,R(M,1)中的“＝”为赋值符号。

与现有技术相比，本发明的优点在于：

1)本发明方法由于充分利用了立体视觉感知特性，即获取了原始的无失真立体图像和待评价的失真立体图像各自的融合视点图像的去均值归一化图像的纹理信息向量和方向信息向量，充分考虑到了立体视觉纹理和方向特性，因此有效地提高了客观评价模型的预测性能，即：可以使得到的待评价的失真立体图像的图像质量客观评价预测值能够准确地反映人眼视觉主观感知质量，能够有效地提高客观评价结果与主观感知之间的相关性。

2)本发明方法通过无监督学习方式构造所有原始的无失真立体图像对应的无失真高斯分布模型和待评价的失真立体图像对应的失真高斯分布模型，这样有效地避免了复杂的机器学习训练过程，降低了计算复杂度，并且本发明方法在训练阶段不需要预知各训练失真立体图像及其主观评价值，因此更加适用于实际的应用场合。

附图说明

图1为本发明方法的总体实现框图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种基于立体视觉感知的全盲立体图像质量客观评价方法，其总体实现框图如图1所示，其包括训练阶段和测试阶段两个过程，所述的训练阶段过程的具体步骤如下：

①-1、选取K幅原始的无失真立体图像，其中，K≥1，在本实施例中取K＝20，原始的无失真立体图像的宽度为M，原始的无失真立体图像的高度为N。

①-2、采用现有的双目融合技术对每幅原始的无失真立体图像的左视点图像和右视点图像进行融合，得到每幅原始的无失真立体图像的融合视点图像。

①-3、对每幅原始的无失真立体图像的融合视点图像进行去均值归一化操作，得到每幅原始的无失真立体图像的融合视点图像的去均值归一化图像。

在此具体实施例中，在步骤①-3中，将第k幅原始的无失真立体图像的融合视点图像的去均值归一化图像记为{G_k,org,L,R(m,n)｝，将{G_k,org,L,R(m,n)｝中坐标位置为(m,n)的像素点的像素值记为G_k,org,L,R(m,n)，其中，1≤k≤K，1≤m≤M，1≤n≤N，R_k,org,L,R(m,n)表示第k幅原始的无失真立体图像的融合视点图像{R_k,org,L,R(m,n)}中坐标位置为(m,n)的像素点的像素值，μ_k,org,L,R表示{R_k,org,L,R(m,n)}中的所有像素点的像素值的均值，σ_k,org,L,R表示{R_k,org,L,R(m,n)}中的所有像素点的像素值的方差。

①-4、将每幅原始的无失真立体图像的融合视点图像的去均值归一化图像输入到现有的实证密度函数中，得到每幅原始的无失真立体图像的融合视点图像的去均值归一化图像的纹理信息向量。

①-5、对每幅原始的无失真立体图像的融合视点图像的去均值归一化图像进行四个方向的滤波处理，得到每幅原始的无失真立体图像的融合视点图像的去均值归一化图像的水平方向信息图像、垂直方向信息图像、主对角线方向信息图像和副对角线方向信息图像；然后将每幅原始的无失真立体图像的融合视点图像的去均值归一化图像的水平方向信息图像、垂直方向信息图像、主对角线方向信息图像和副对角线方向信息图像输入到现有的非对称广义高斯分布模型中，得到每幅原始的无失真立体图像的融合视点图像的去均值归一化图像的方向信息向量。

在此具体实施例中，在步骤①-5中，将第k幅原始的无失真立体图像的融合视点图像的去均值归一化图像的水平方向信息图像、垂直方向信息图像、主对角线方向信息图像和副对角线方向信息图像对应记为{H_k,org,L,R(m,n)}、{V_k,org,L,R(m,n)}、{D_k,org,L,R(m,n)｝和将{H_k,org,L,R(m,n)}中坐标位置为(m,n)的像素点的像素值记为H_k,org,L,R(m,n)，将{V_k,org,L,R(m,n)｝中坐标位置为(m,n)的像素点的像素值记为V_k,org,L,R(m,n)，将{D_k,org,L,R(m,n)｝中坐标位置为(m,n)的像素点的像素值记为D_k,org,L,R(m,n)，将中坐标位置为(m,n)的像素点的像素值记为H_k,org,L,R(m,n)＝G_k,org,L,R(m,n)×G_k,org,L,R(m,n+1)，

V_k,org,L,R(m,n)＝G_k,org,L,R(m,n)×G_k,org,L,R(m+1,n)，

D_k,org,L,R(m,n)＝G_k,org,L,R(m,n)×G_k,org,L,R(m+1,n+1)，

其中，1≤k≤K，1≤m≤M，1≤n≤N，G_k,org,L,R(m,n)表示第k幅原始的无失真立体图像的融合视点图像的去均值归一化图像{G_k,org,L,R(m,n)}中坐标位置为(m,n)的像素点的像素值；G_k,org,L,R(m,n+1)表示{G_k,org,L,R(m,n)}中坐标位置为(m,n+1)的像素点的像素值，若n+1>N，则令G_k,org,L,R(m,n+1)＝G_k,org,L,R(m,N)，G_k,org,L,R(m,N)表示{G_k,org,L,R(m,n)}中坐标位置为(m,N)的像素点的像素值；G_k,org,L,R(m+1,n)表示{G_k,org,L,R(m,n)}中坐标位置为(m+1,n)的像素点的像素值，若m+1>M，则令G_k,org,L,R(m+1,n)＝G_k,org,L,R(M,n)，G_k,org,L,R(M,n)表示{G_k,org,L,R(m,n)}中坐标位置为(M,n)的像素点的像素值；G_k,org,L,R(m+1,n+1)表示{G_k,org,L,R(m,n)}中坐标位置为(m+1,n+1)的像素点的像素值，若m+1>M且1≤n+1≤N，则令G_k,org,L,R(m+1,n+1)＝G_k,org,L,R(M,n+1)，若1≤m+1≤M且n+1>N，则令G_k,org,L,R(m+1,n+1)＝G_k,org,L,R(m+1,N)，若m+1>M且n+1>N，则令G_k,org,L,R(m+1,n+1)＝G_k,org,L,R(M,N)，G_k,org,L,R(M,n+1)、G_k,org,L,R(m+1,N)和G_k,org,L,R(M,N)对应表示{G_k,org,L,R(m,n)}中坐标位置为(M,n+1)、(m+1,N)和(M,N)的像素点的像素值；G_k,org,L,R(m+1,n-1)表示{G_k,org,L,R(m,n)}中坐标位置为(m+1,n-1)的像素点的像素值，若m+1>M且1≤n-1≤N，则令G_k,org,L,R(m+1,n-1)＝G_k,org,L,R(M,n-1)，若1≤m+1≤M且n-1<1，则令G_k,org,L,R(m+1,n-1)＝G_k,org,L,R(m+1,1)，若m+1>M且n-1<1，则令G_k,org,L,R(m+1,n-1)＝G_k,org,L,R(M,1)，G_k,org,L,R(M,n-1)、G_k,org,L,R(m+1,1)和G_k,org,L,R(M,1)对应表示{G_k,org,L,R(m,n)}中坐标位置为(M,n-1)、(m+1,1)和(M,1)的像素点的像素值；上述，G_k,org,L,R(m,n+1)＝G_k,org,L,R(m,N)、G_k,org,L,R(m+1,n)＝G_k,org,L,R(M,n)、G_k,org,L,R(m+1,n+1)＝G_k,org,L,R(M,n+1)、G_k,org,L,R(m+1,n+1)＝G_k,org,L,R(m+1,N)、G_k,org,L,R(m+1,n+1)＝G_k,org,L,R(M,N)、G_k,org,L,R(m+1,n-1)＝G_k,org,L,R(M,n-1)、G_k,org,L,R(m+1,n-1)＝G_k,org,L,R(m+1,1)和G_k,org,L,R(m+1,n-1)＝G_k,org,L,R(M,1)中的“＝”为赋值符号。

①-6、将所有原始的无失真立体图像的融合视点图像的去均值归一化图像的纹理信息向量和方向信息向量作为输入参数，输入到现有的高斯分布模型中，得到所有原始的无失真立体图像对应的无失真高斯分布模型。

所述的测试阶段过程的具体步骤如下：

②-1、对于任意一幅尺寸大小与步骤①-1中选取的原始的无失真立体图像的尺寸大小一致的失真立体图像，将该失真立体图像作为待评价的失真立体图像。

②-2、采用现有的双目融合技术对待评价的失真立体图像的左视点图像和右视点图像进行融合，得到待评价的失真立体图像的融合视点图像。

②-3、对待评价的失真立体图像的融合视点图像进行去均值归一化操作，得到待评价的失真立体图像的融合视点图像的去均值归一化图像。

在此具体实施例中，在步骤②-3中，将待评价的失真立体图像的融合视点图像的去均值归一化图像记为{G_dis,L,R(m,n)}，将{G_dis,L,R(m,n)}中坐标位置为(m,n)的像素点的像素值记为G_dis,L,R(m,n)，其中，1≤m≤M，1≤n≤N，R_dis,L,R(m,n)表示待评价的失真立体图像的融合视点图像{R_dis,L,R(m,n)}中坐标位置为(m,n)的像素点的像素值，μ_dis,L,R表示{R_dis,L,R(m,n)}中的所有像素点的像素值的均值，σ_dis,L,R表示{R_dis,L,R(m,n)｝中的所有像素点的像素值的方差。

②-4、将待评价的失真立体图像的融合视点图像的去均值归一化图像输入到现有的实证密度函数中，得到待评价的失真立体图像的融合视点图像的去均值归一化图像的纹理信息向量。

②-5、对待评价的失真立体图像的融合视点图像的去均值归一化图像进行四个方向的滤波处理，得到待评价的失真立体图像的融合视点图像的去均值归一化图像的水平方向信息图像、垂直方向信息图像、主对角线方向信息图像和副对角线方向信息图像；然后将待评价的失真立体图像的融合视点图像的去均值归一化图像的水平方向信息图像、垂直方向信息图像、主对角线方向信息图像和副对角线方向信息图像输入到现有的非对称广义高斯分布模型中，得到待评价的失真立体图像的融合视点图像的去均值归一化图像的方向信息向量。

在此具体实施例中，在步骤②-5中，将待评价的失真立体图像的融合视点图像的去均值归一化图像的水平方向信息图像、垂直方向信息图像、主对角线方向信息图像和副对角线方向信息图像对应记为{H_dis,L,R(m,n)}、{V_dis,L,R(m,n)}、{D_dis,L,R(m,n)}和将{H_dis,L,R(m,n)}中坐标位置为(m,n)的像素点的像素值记为H_dis,L,R(m,n)，将{V_dis,L,R(m,n)}中坐标位置为(m,n)的像素点的像素值记为V_dis,L,R(m,n)，将{D_dis,L,R(m,n)}中坐标位置为(m,n)的像素点的像素值记为D_dis,L,R(m,n)，将中坐标位置为(m,n)的像素点的像素值记为H_dis,L,R(m,n)＝G_dis,L,R(m,n)×G_dis,L,R(m,n+1)，V_dis,L,R(m,n)＝G_dis,L,R(m,n)×G_dis,L,R(m+1,n)，D_dis,L,R(m,n)＝G_dis,L,R(m,n)×G_dis,L,R(m+1,n+1)，其中，1≤m≤M，1≤n≤N，G_dis,L,R(m,n)表示待评价的失真立体图像的融合视点图像的去均值归一化图像{G_dis,L,R(m,n)}中坐标位置为(m,n)的像素点的像素值；G_dis,L,R(m,n+1)表示{G_dis,L,R(m,n)}中坐标位置为(m,n+1)的像素点的像素值，若n+1>N，则令G_dis,L,R(m,n+1)＝G_dis,L,R(m,N)，G_dis,L,R(m,N)表示{G_dis,L,R(m,n)}中坐标位置为(m,N)的像素点的像素值；G_dis,L,R(m+1,n)表示{G_dis,L,R(m,n)}中坐标位置为(m+1,n)的像素点的像素值，若m+1>M，则令G_dis,L,R(m+1,n)＝G_dis,L,R(M,n)，G_dis,L,R(M,n)表示{G_dis,L,R(m,n)}中坐标位置为(M,n)的像素点的像素值；G_dis,L,R(m+1,n+1)表示{G_dis,L,R(m,n)}中坐标位置为(m+1,n+1)的像素点的像素值，若m+1>M且1≤n+1≤N，则令G_dis,L,R(m+1,n+1)＝G_dis,L,R(M,n+1)，若1≤m+1≤M且n+1>N，则令G_dis,L,R(m+1,n+1)＝G_dis,L,R(m+1,N)，若m+1>M且n+1>N，则令G_dis,L,R(m+1,n+1)＝G_dis,L,R(M,N)，G_dis,L,R(M,n+1)、G_dis,L,R(m+1,N)和G_dis,L,R(M,N)对应表示{G_dis,L,R(m,n)}中坐标位置为(M,n+1)、(m+1,N)和(M,N)的像素点的像素值；G_dis,L,R(m+1,n-1)表示{G_dis,L,R(m,n)}中坐标位置为(m+1,n-1)的像素点的像素值，若m+1>M且1≤n-1≤N，则令G_dis,L,R(m+1,n-1)＝G_dis,L,R(M,n-1)，若1≤m+1≤M且n-1<1，则令G_dis,L,R(m+1,n-1)＝G_dis,L,R(m+1,1)，若m+1>M且n-1<1，则令G_dis,L,R(m+1,n-1)＝G_dis,L,R(M,1)，G_dis,L,R(M,n-1)、G_dis,L,R(m+1,1)和G_dis,L,R(M,1)对应表示{G_dis,L,R(m,n)}中坐标位置为(M,n-1)、(m+1,1)和(M,1)的像素点的像素值；上述，G_dis,L,R(m,n+1)＝G_dis,L,R(m,N)、G_dis,L,R(m+1,n)＝G_dis,L,R(M,n)、G_dis,L,R(m+1,n+1)＝G_dis,L,R(M,n+1)、G_dis,L,R(m+1,n+1)＝G_dis,L,R(m+1,N)、G_dis,L,R(m+1,n+1)＝G_dis,L,R(M,N)、G_dis,L,R(m+1,n-1)＝G_dis,L,R(M,n-1)、G_dis,L,R(m+1,n-1)＝G_dis,L,R(m+1,1)和G_dis,L,R(m+1,n-1)＝G_dis,L,R(M,1)中的“＝”为赋值符号。

②-6、将待评价的失真立体图像的融合视点图像的去均值归一化图像的纹理信息向量和方向信息向量作为输入参数，输入到现有的高斯分布模型中，得到待评价的失真立体图像对应的失真高斯分布模型。

②-7、采用现有的马氏距离公式衡量步骤①-6中得到的所有原始的无失真立体图像对应的无失真高斯分布模型与步骤②-6中得到的待评价的失真立体图像对应的失真高斯分布模型之间的误差，将衡量得到的误差作为待评价的失真立体图像的图像质量客观评价预测值。

为验证本发明方法的可行性和有效性，进行实验。

在此，采用LIVE立体图像库来分析利用本发明方法得到的失真立体图像的图像质量客观评价预测值与平均主观评分差值之间的相关性。这里，利用评估图像质量评价方法的Spearman相关系数(Spearman rank order correlation coefficient，SROCC)作为评价指标，SROCC反映客观评价结果的单调性。

利用本发明方法计算LIVE立体图像库中的每幅失真立体图像的图像质量客观评价预测值，再利用现有的主观评价方法获得LIVE立体图像库中的每幅失真立体图像的平均主观评分差值。将按本发明方法计算得到的失真立体图像的图像质量客观评价预测值做五参数Logistic函数非线性拟合，SROCC值越高，说明客观评价方法的客观评价结果与平均主观评分差值之间的相关性越好。反映本发明方法的质量评价性能的SROCC相关系数如表1所列。从表1所列的数据可知，按本发明方法得到的失真立体图像的最终的图像质量客观评价预测值与平均主观评分差值之间的相关性是很好的，表明客观评价结果与人眼主观感知的结果较为一致，足以说明本发明方法的可行性和有效性。

表1利用本发明方法得到的失真立体图像的图像质量客观评价预测值与平均主观评分差值之间的相关性

Claims (5)

1.一种基于立体视觉感知的全盲立体图像质量客观评价方法，其特征在于包括训练阶段和测试阶段两个过程，所述的训练阶段过程的具体步骤如下：

①-1、选取K幅原始的无失真立体图像，其中，K≥1，原始的无失真立体图像的宽度为M，原始的无失真立体图像的高度为N；

①-2、采用双目融合技术对每幅原始的无失真立体图像的左视点图像和右视点图像进行融合，得到每幅原始的无失真立体图像的融合视点图像；

①-3、对每幅原始的无失真立体图像的融合视点图像进行去均值归一化操作，得到每幅原始的无失真立体图像的融合视点图像的去均值归一化图像；

①-4、将每幅原始的无失真立体图像的融合视点图像的去均值归一化图像输入到实证密度函数中，得到每幅原始的无失真立体图像的融合视点图像的去均值归一化图像的纹理信息向量；

①-5、对每幅原始的无失真立体图像的融合视点图像的去均值归一化图像进行四个方向的滤波处理，得到每幅原始的无失真立体图像的融合视点图像的去均值归一化图像的水平方向信息图像、垂直方向信息图像、主对角线方向信息图像和副对角线方向信息图像；然后将每幅原始的无失真立体图像的融合视点图像的去均值归一化图像的水平方向信息图像、垂直方向信息图像、主对角线方向信息图像和副对角线方向信息图像输入到非对称广义高斯分布模型中，得到每幅原始的无失真立体图像的融合视点图像的去均值归一化图像的方向信息向量；

①-6、将所有原始的无失真立体图像的融合视点图像的去均值归一化图像的纹理信息向量和方向信息向量作为输入参数，输入到高斯分布模型中，得到所有原始的无失真立体图像对应的无失真高斯分布模型；

所述的测试阶段过程的具体步骤如下：

②-1、对于任意一幅尺寸大小与步骤①-1中选取的原始的无失真立体图像的尺寸大小一致的失真立体图像，将该失真立体图像作为待评价的失真立体图像；

②-2、采用双目融合技术对待评价的失真立体图像的左视点图像和右视点图像进行融合，得到待评价的失真立体图像的融合视点图像；

②-3、对待评价的失真立体图像的融合视点图像进行去均值归一化操作，得到待评价的失真立体图像的融合视点图像的去均值归一化图像；

②-4、将待评价的失真立体图像的融合视点图像的去均值归一化图像输入到实证密度函数中，得到待评价的失真立体图像的融合视点图像的去均值归一化图像的纹理信息向量；

②-5、对待评价的失真立体图像的融合视点图像的去均值归一化图像进行四个方向的滤波处理，得到待评价的失真立体图像的融合视点图像的去均值归一化图像的水平方向信息图像、垂直方向信息图像、主对角线方向信息图像和副对角线方向信息图像；然后将待评价的失真立体图像的融合视点图像的去均值归一化图像的水平方向信息图像、垂直方向信息图像、主对角线方向信息图像和副对角线方向信息图像输入到非对称广义高斯分布模型中，得到待评价的失真立体图像的融合视点图像的去均值归一化图像的方向信息向量；

②-6、将待评价的失真立体图像的融合视点图像的去均值归一化图像的纹理信息向量和方向信息向量作为输入参数，输入到高斯分布模型中，得到待评价的失真立体图像对应的失真高斯分布模型；

②-7、采用马氏距离公式衡量步骤①-6中得到的所有原始的无失真立体图像对应的无失真高斯分布模型与步骤②-6中得到的待评价的失真立体图像对应的失真高斯分布模型之间的误差，将衡量得到的误差作为待评价的失真立体图像的图像质量客观评价预测值。

2.根据权利要求1所述的一种基于立体视觉感知的全盲立体图像质量客观评价方法，其特征在于所述的步骤①-3中，将第k幅原始的无失真立体图像的融合视点图像的去均值归一化图像记为{G_k,org,L,R(m,n)}，将{G_k,org,L,R(m,n)}中坐标位置为(m,n)的像素点的像素值记为G_k,org,L,R(m,n)， $G_{k,org,L,R}(m,n)=\frac{R_{k,org,L,R}(m,n)-{\mathrm{\&mu;}}_{k,org,L,R}}{{\mathrm{\&sigma;}}_{k,org,L,R}+1},$ 其中，1≤k≤K，1≤m≤M，1≤n≤N，R_k,org,L,R(m,n)表示第k幅原始的无失真立体图像的融合视点图像{R_k,org,L,R(m,n)}中坐标位置为(m,n)的像素点的像素值，μ_k,org,L,R表示{R_k,org,L,R(m,n)}中的所有像素点的像素值的均值，σ_k,org,L,R表示{R_k,org,L,R(m,n)}中的所有像素点的像素值的方差。

3.根据权利要求1或2所述的一种基于立体视觉感知的全盲立体图像质量客观评价方法，其特征在于所述的步骤①-5中，将第k幅原始的无失真立体图像的融合视点图像的去均值归一化图像的水平方向信息图像、垂直方向信息图像、主对角线方向信息图像和副对角线方向信息图像对应记为{H_k,org,L,R(m,n)}、{V_k,org,L,R(m,n)}、{D_k,org,L,R(m,n)}和将{H_k,org,L,R(m,n)}中坐标位置为(m,n)的像素点的像素值记为H_k,org,L,R(m,n)，将{V_k,org,L,R(m,n)}中坐标位置为(m,n)的像素点的像素值记为V_k,org,L,R(m,n)，将{D_k,org,L,R(m,n)}中坐标位置为(m,n)的像素点的像素值记为D_k,org,L,R(m,n)，将中坐标位置为(m,n)的像素点的像素值记为H_k,org,L,R(m,n)＝G_k,org,L,R(m,n)×G_k,org,L,R(m,n+1)，V_k,org,L,R(m,n)＝G_k,org,L,R(m,n)×G_k,org,L,R(m+1,n)，D_k,org,L,R(m,n)＝G_k,org,L,R(m,n)×G_k,org,L,R(m+1,n+1)， ${\hat{D}}_{k,org,L,R}(m,n)=G_{k,org,L,R}(m,n)\&times;G_{k,org,L,R}(m+1,n-1),$ 其中，1≤k≤K，1≤m≤M，1≤n≤N，G_k,org,L,R(m,n)表示第k幅原始的无失真立体图像的融合视点图像的去均值归一化图像{G_k,org,L,R(m,n)}中坐标位置为(m,n)的像素点的像素值；G_k,org,L,R(m,n+1)表示{G_k,org,L,R(m,n)}中坐标位置为(m,n+1)的像素点的像素值，若n+1>N，则令G_k,org,L,R(m,n+1)＝G_k,org,L,R(m,N)，G_k,org,L,R(m,N)表示{G_k,org,L,R(m,n)}中坐标位置为(m,N)的像素点的像素值；G_k,org,L,R(m+1,n)表示{G_k,org,L,R(m,n)}中坐标位置为(m+1,n)的像素点的像素值，若m+1>M，则令G_k,org,L,R(m+1,n)＝G_k,org,L,R(M,n)，G_k,org,L,R(M,n)表示{G_k,org,L,R(m,n)}中坐标位置为(M,n)的像素点的像素值；G_k,org,L,R(m+1,n+1)表示{G_k,org,L,R(m,n)}中坐标位置为(m+1,n+1)的像素点的像素值，若m+1>M且1≤n+1≤N，则令G_k,org,L,R(m+1,n+1)＝G_k,org,L,R(M,n+1)，若1≤m+1≤M且n+1>N，则令G_k,org,L,R(m+1,n+1)＝G_k,org,L,R(m+1,N)，若m+1>M且n+1>N，则令G_k,org,L,R(m+1,n+1)＝G_k,org,L,R(M,N)，G_k,org,L,R(M,n+1)、G_k,org,L,R(m+1,N)和G_k,org,L,R(M,N)对应表示{G_k,org,L,R(m,n)}中坐标位置为(M,n+1)、(m+1,N)和(M,N)的像素点的像素值；G_k,org,L,R(m+1,n-1)表示{G_k,org,L,R(m,n)}中坐标位置为(m+1,n-1)的像素点的像素值，若m+1>M且1≤n-1≤N，则令G_k,org,L,R(m+1,n-1)＝G_k,org,L,R(M,n-1)，若1≤m+1≤M且n-1<1，则令G_k,org,L,R(m+1,n-1)＝G_k,org,L,R(m+1,1)，若m+1>M且n-1<1，则令G_k,org,L,R(m+1,n-1)＝G_k,org,L,R(M,1)，G_k,org,L,R(M,n-1)、G_k,org,L,R(m+1,1)和G_k,org,L,R(M,1)对应表示{G_k,org,L,R(m,n)}中坐标位置为(M,n-1)、(m+1,1)和(M,1)的像素点的像素值；上述，G_k,org,L,R(m,n+1)＝G_k,org,L,R(m,N)、G_k,org,L,R(m+1,n)＝G_k,org,L,R(M,n)、G_k,org,L,R(m+1,n+1)＝G_k,org,L,R(M,n+1)、G_k,org,L,R(m+1,n+1)＝G_k,org,L,R(m+1,N)、G_k,org,L,R(m+1,n+1)＝G_k,org,L,R(M,N)、G_k,org,L,R(m+1,n-1)＝G_k,org,L,R(M,n-1)、G_k,org,L,R(m+1,n-1)＝G_k,org,L,R(m+1,1)和G_k,org,L,R(m+1,n-1)＝G_k,org,L,R(M,1)中的“＝”为赋值符号。

4.根据权利要求1所述的一种基于立体视觉感知的全盲立体图像质量客观评价方法，其特征在于所述的步骤②-3中，将待评价的失真立体图像的融合视点图像的去均值归一化图像记为{G_dis,L,R(m,n)}，将{G_dis,L,R(m,n)}中坐标位置为(m,n)的像素点的像素值记为G_dis,L,R(m,n)， $G_{dis,L,R}(m,n)=\frac{R_{dis,L,R}(m,n)-{\mathrm{\&mu;}}_{dis,L,R}}{{\mathrm{\&sigma;}}_{dis,L,R}+1},$ 其中，1≤m≤M，1≤n≤N，R_dis,L,R(m,n)表示待评价的失真立体图像的融合视点图像{R_dis,L,R(m,n)}中坐标位置为(m,n)的像素点的像素值，μ_dis,L,R表示{R_dis,L,R(m,n)}中的所有像素点的像素值的均值，σ_dis,L,R表示{R_dis,L,R(m,n)}中的所有像素点的像素值的方差。

5.根据权利要求1或4所述的一种基于立体视觉感知的全盲立体图像质量客观评价方法，其特征在于所述的步骤②-5中，将待评价的失真立体图像的融合视点图像的去均值归一化图像的水平方向信息图像、垂直方向信息图像、主对角线方向信息图像和副对角线方向信息图像对应记为{H_dis,L,R(m,n)}、{V_dis,L,R(m,n)}、{D_dis,L,R(m,n)}和将{H_dis,L,R(m,n)}中坐标位置为(m,n)的像素点的像素值记为H_dis,L,R(m,n)，将{V_dis,L,R(m,n)}中坐标位置为(m,n)的像素点的像素值记为V_dis,L,R(m,n)，将{D_dis,L,R(m,n)}中坐标位置为(m,n)的像素点的像素值记为D_dis,L,R(m,n)，将中坐标位置为(m,n)的像素点的像素值记为H_dis,L,R(m,n)＝G_dis,L,R(m,n)×G_dis,L,R(m,n+1)，V_dis,L,R(m,n)＝G_dis,L,R(m,n)×G_dis,L,R(m+1,n)，D_dis,L,R(m,n)＝G_dis,L,R(m,n)×G_dis,L,R(m+1,n+1)， ${\hat{D}}_{dis,L,R}(m,n)=G_{dis,L,R}(m,n)\&times;G_{dis,L,R}(m+1,n-1),$ 其中，1≤m≤M，1≤n≤N，G_dis,L,R(m,n)表示待评价的失真立体图像的融合视点图像的去均值归一化图像{G_dis,L,R(m,n)}中坐标位置为(m,n)的像素点的像素值；G_dis,L,R(m,n+1)表示{G_dis,L,R(m,n)}中坐标位置为(m,n+1)的像素点的像素值，若n+1>N，则令G_dis,L,R(m,n+1)＝G_dis,L,R(m,N)，G_dis,L,R(m,N)表示{G_dis,L,R(m,n)}中坐标位置为(m,N)的像素点的像素值；G_dis,L,R(m+1,n)表示{G_dis,L,R(m,n)}中坐标位置为(m+1,n)的像素点的像素值，若m+1>M，则令G_dis,L,R(m+1,n)＝G_dis,L,R(M,n)，G_dis,L,R(M,n)表示{G_dis,L,R(m,n)}中坐标位置为(M,n)的像素点的像素值；G_dis,L,R(m+1,n+1)表示{G_dis,L,R(m,n)}中坐标位置为(m+1,n+1)的像素点的像素值，若m+1>M且1≤n+1≤N，则令G_dis,L,R(m+1,n+1)＝G_dis,L,R(M,n+1)，若1≤m+1≤M且n+1>N，则令G_dis,L,R(m+1,n+1)＝G_dis,L,R(m+1,N)，若m+1>M且n+1>N，则令G_dis,L,R(m+1,n+1)＝G_dis,L,R(M,N)，G_dis,L,R(M,n+1)、G_dis,L,R(m+1,N)和G_dis,L,R(M,N)对应表示{G_dis,L,R(m,n)}中坐标位置为(M,n+1)、(m+1,N)和(M,N)的像素点的像素值；G_dis,L,R(m+1,n-1)表示{G_dis,L,R(m,n)}中坐标位置为(m+1,n-1)的像素点的像素值，若m+1>M且1≤n-1≤N，则令G_dis,L,R(m+1,n-1)＝G_dis,L,R(M,n-1)，若1≤m+1≤M且n-1<1，则令G_dis,L,R(m+1,n-1)＝G_dis,L,R(m+1,1)，若m+1>M且n-1<1，则令G_dis,L,R(m+1,n-1)＝G_dis,L,R(M,1)，G_dis,L,R(M,n-1)、G_dis,L,R(m+1,1)和G_dis,L,R(M,1)对应表示{G_dis,L,R(m,n)}中坐标位置为(M,n-1)、(m+1,1)和(M,1)的像素点的像素值；上述，G_dis,L,R(m,n+1)＝G_dis,L,R(m,N)、G_dis,L,R(m+1,n)＝G_dis,L,R(M,n)、G_dis,L,R(m+1,n+1)＝G_dis,L,R(M,n+1)、G_dis,L,R(m+1,n+1)＝G_dis,L,R(m+1,N)、G_dis,L,R(m+1,n+1)＝G_dis,L,R(M,N)、G_dis,L,R(m+1,n-1)＝G_dis,L,R(M,n-1)、G_dis,L,R(m+1,n-1)＝G_dis,L,R(m+1,1)和G_dis,L,R(m+1,n-1)＝G_dis,L,R(M,1)中的“＝”为赋值符号。