CN105357519A - 基于自相似度特征的无参考立体图像质量客观评价方法 - Google Patents

Abstract

本发明公开了一种基于自相似度特征的无参考立体图像质量客观评价方法，其采用双目融合模型，对左视点图像和右视点图像进入融合，得到的融合图像能够很好地模拟双目视觉感知特性；在充分利用了双目视觉感知特性的基础上，采用计算自相似度图像的方法获取双目视觉感知方向特征信息，因此能有效地提高客观评价结果与主观感知之间的相关性；采用机器学习的方法模拟视觉记忆检索功能，使客观评价值能更加准确预测失真立体图像的质量。

Description

基于自相似度特征的无参考立体图像质量客观评价方法

技术领域

本发明涉及一种立体图像质量客观评价方法，尤其是涉及一种基于自相似度特征的无参考立体图像质量客观评价方法。

背景技术

进入二十一世纪以来，随着立体图像/视频系统处理技术的日趋成熟，以及计算机网络与通信技术的快速发展，已引起人们对立体图像/视频系统的强烈需求。相比传统的单视点图像/视频系统，立体图像/视频系统由于能够提供深度信息来增强视觉的真实感，给用户以身临其境的全新视觉体验而越来越受到人们的欢迎，已被认为是下一代媒体主要的发展方向，已引发了学术界、产业界的广泛关注。然而，人们为了获得更好的立体临场感和视觉体验，对立体视觉主观感知质量提出了更高的要求。在立体图像/视频系统中，采集、编码、传输、解码及显示等处理环节都会引入一定失真，这些失真将对立体视觉主观感知质量产生不同程度的影响，因此如何有效地进行无参考质量评价是亟需解决的难点问题。综上，评价立体图像质量，并建立与主观质量评价相一致的客观评价模型显得尤为重要。

目前，研究人员提出了不少针对单视点视觉质量的无参考评价方法，然而由于缺乏系统理论深入研究立体视觉感知特性，因此还没有有效地无参考立体图像质量评价方法。相比单视点视觉质量无参考评价模型，无参考立体图像质量评价模型需要考虑不同失真类型立体掩蔽效应以及与之相关的双目竞争/抑制和双目融合等立体感知因素对视觉质量的影响。因此，不能简单地把现有的单视点视觉质量无参考评价模型直接扩展到无参考立体图像质量评价方法中。现有的无参考质量客观评价方法主要是通过机器学习来预测评价模型的，但针对立体图像，现有的立体图像评价方法还是平面图像评价方法的简单扩展，并没有考虑双目视觉特性，因此，如何在评价过程中有效地提取特征信息，在评价过程中进行双目视觉特性结合，使得客观评价结果更加符合人类视觉感知系统，是立体图像进行客观质量评价过程中需要研究解决的问题。

发明内容

本发明所要解决的技术问题是提供一种基于自相似度特征的无参考立体图像质量客观评价方法，其能够充分考虑到立体视觉感知特性，从而能够有效地提高客观评价结果与主观感知之间的相关性。

本发明解决上述技术问题所采用的技术方案为：一种基于自相似度特征的无参考立体图像质量客观评价方法，其特征在于包括以下步骤：

①令S_dis表示待评价的失真立体图像，将S_dis的左视点图像记为{L_dis(x,y)}，将S_dis的右视点图像记为{R_dis(x,y)}，其中，1≤x≤W,1≤y≤H，W表示S_dis的宽度，H表示S_dis的高度，L_dis(x,y)表示{L_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，R_dis(x,y)表示{R_dis(x,y)}中坐标位置为(x,y)的像素点的像素值；

②采用双目融合技术对{L_dis(x,y)}和{R_dis(x,y)}进行融合，得到S_dis的融合图像，记为{C_dis(x,y)}，其中，C_dis(x,y)表示{C_dis(x,y)}中坐标位置为(x,y)的像素点的像素值；

③对{C_dis(x,y)}进行去均值归一化操作，得到{C_dis(x,y)}的去均值归一化图像，记为{C_dis,dnt(x,y)}，其中，C_dis,dnt(x,y)表示{C_dis,dnt(x,y)}中坐标位置为(x,y)的像素点的像素值；

④对{C_dis,dnt(x,y)}进行四个方向的滤波处理，得到{C_dis,dnt(x,y)}的水平方向信息图像、垂直方向信息图像、主对角线方向信息图像和副对角线方向信息图像，对应记为{H_dis(x,y)}、{V_dis(x,y)}、{D_dis(x,y)}和其中，H_dis(x,y)表示{H_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，V_dis(x,y)表示{V_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，D_dis(x,y)表示{D_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值；

⑤计算{C_dis(x,y)}与{H_dis(x,y)}之间的自相似度图像，记为{H_dis,sim(x,y)}；同样，计算{C_dis(x,y)}与{V_dis(x,y)}之间的自相似度图像，记为{V_dis,sim(x,y)}；计算{C_dis(x,y)}与{D_dis(x,y)}之间的自相似度图像，记为{D_dis,sim(x,y)}；计算{C_dis(x,y)}与之间的自相似度图像，记为其中，H_dis,sim(x,y)表示{H_dis,sim(x,y)}中坐标位置为(x,y)的像素点的像素值，V_dis,sim(x,y)表示{V_dis,sim(x,y)}中坐标位置为(x,y)的像素点的像素值，D_dis,sim(x,y)表示{D_dis,sim(x,y)}中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值；

⑥采用局部二值化模式操作对{H_dis,sim(x,y)}进行处理，得到{H_dis,sim(x,y)}的局部二值化模式图像，记为{H_dis,sim,lbp(x,y)}；同样，采用局部二值化模式操作对{V_dis,sim(x,y)}进行处理，得到{V_dis,sim(x,y)}的局部二值化模式图像，记为{V_dis,sim,lbp(x,y)}；采用局部二值化模式操作对{D_dis,sim(x,y)}进行处理，得到{D_dis,sim(x,y)}的局部二值化模式图像，记为{D_dis,sim,lbp(x,y)}；采用局部二值化模式操作对进行处理，得到的局部二值化模式图像，记为其中，H_dis,sim,lbp(x,y)表示{H_dis,sim,lbp(x,y)}中坐标位置为(x,y)的像素点的像素值，V_dis,sim,lbp(x,y)表示{V_dis,sim,lbp(x,y)}中坐标位置为(x,y)的像素点的像素值，D_dis,sim,lbp(x,y)表示{D_dis,sim,lbp(x,y)}中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值；

⑦采用直方图统计方法对{H_dis,sim,lbp(x,y)}进行统计操作，得到{H_dis,sim,lbp(x,y)}的直方图统计特征向量，记为H_{dis,sim,lbp,hist}；同样，采用直方图统计方法对{V_dis,sim,lbp(x,y)}进行统计操作，得到{V_dis,sim,lbp(x,y)}的直方图统计特征向量，记为V_{dis,sim,lbp,hist}；采用直方图统计方法对{D_dis,sim,lbp(x,y)}进行统计操作，得到{D_dis,sim,lbp(x,y)}的直方图统计特征向量，记为D_{dis,sim,lbp,hist}；采用直方图统计方法对进行统计操作，得到的直方图统计特征向量，记为其中，H_{dis,sim,lbp,hist}、V_{dis,sim,lbp,hist}、D_{dis,sim,lbp,hist}和的维数均为1×m′维，H_{dis,sim,lbp,hist}中的第m个元素为H_{dis,sim,lbp,hist}(m)，V_{dis,sim,lbp,hist}中的第m个元素为V_{dis,sim,lbp,hist}(m)，D_{dis,sim,lbp,hist}中的第m个元素为D_{dis,sim,lbp,hist}(m)，中的第m个元素为1≤m≤m′，m′＝P+2，P表示局部二值化模式操作中的领域参数；

⑧采用n″幅原始的无失真立体图像，建立其在不同失真类型不同失真程度下的失真立体图像集合，将该失真立体图像集合作为训练集，训练集包括多幅失真立体图像；然后利用主观质量评价方法评价出训练集中的每幅失真立体图像的主观评分，将训练集中的第j幅失真立体图像的主观评分记为DMOS_j；再按照步骤①至步骤⑦的操作，以相同的方式获取训练集中的每幅失真立体图像对应的四个直方图统计特征向量，将训练集中的第j幅失真立体图像对应的四个直方图统计特征向量依次记为H_{dis,sim,lbp,hist,j}、V_{dis,sim,lbp,hist,j}、D_{dis,sim,lbp,hist,j}和其中，n″>1，j的初始值为1，1≤j≤N′，N′表示训练集中包含的失真立体图像的总幅数，0≤DMOS_j≤100，H_{dis,sim,lbp,hist,j}、V_{dis,sim,lbp,hist,j}、D_{dis,sim,lbp,hist,j}和的维数均为1×m′维，H_{dis,sim,lbp,hist,j}中的第m个元素为H_{dis,sim,lbp,hist,j}(m)，V_{dis,sim,lbp,hist,j}中的第m个元素为V_{dis,sim,lbp,hist,j}(m)，D_{dis,sim,lbp,hist,j}中的第m个元素为D_{dis,sim,lbp,hist,j}(m)，中的第m个元素为1≤m≤m′，m′＝P+2，P表示局部二值化模式操作中的领域参数；

⑨利用支持向量回归对训练集中的所有失真立体图像各自的主观评分及对应的四个直方图统计特征向量进行训练，使得经过训练得到的回归函数值与主观评分之间的误差最小，拟合得到最优的权值矢量W^opt和最优的偏置项b^opt；接着利用W^opt和b^opt构造得到支持向量回归训练模型；再根据支持向量回归训练模型，对H_{dis,sim,lbp,hist}、V_{dis,sim,lbp,hist}、D_{dis,sim,lbp,hist}和进行测试，预测得到S_dis的客观质量评价预测值，记为Q，Q＝f(x)，其中，Q是x的函数，f()为函数表示形式，x为输入变量，x表示H_{dis,sim,lbp,hist}、V_{dis,sim,lbp,hist}、D_{dis,sim,lbp,hist}和(W^opt)^T为W^opt的转置矢量，为x的线性函数。

所述的步骤③中的其中，μ_dis表示{C_dis(x,y)}中的所有像素点的像素值的均值，σ_dis表示{C_dis(x,y)}中的所有像素点的像素值的方差。

所述的步骤④中的H_dis(x,y)＝C_dis,dnt(x,y)×C_dis,dnt(x,y+1)，V_dis(x,y)＝C_dis,dnt(x,y)×C_dis,dnt(x+1,y)，D_dis(x,y)＝C_dis,dnt(x,y)×C_dis,dnt(x+1,y+1)， ${\hat{D}}_{\mathrm{dis}}(x,y)=C_{\mathrm{dis},\mathrm{dnt}}(x,y)\&times;C_{\mathrm{dis},\mathrm{dnt}}(x+1,y-1)$ 其中，若1<y+1≤H，则C_dis,dnt(x,y+1)表示{C_dis,dnt(x,y)}中坐标位置为(x,y+1)的像素点的像素值，若y+1>H，则令C_dis,dnt(x,y+1)＝C_dis,dnt(x,H)，C_dis,dnt(x,H)表示{C_dis,dnt(x,y)}中坐标位置为(x,H)的像素点的像素值；若1<x+1≤W，则C_dis,dnt(x+1,y)表示{C_dis,dnt(x,y)}中坐标位置为(x+1,y)的像素点的像素值，若x+1>W，则令C_dis,dnt(x+1,y)＝C_dis,dnt(W,y)，C_dis,dnt(W,y)表示{C_dis,dnt(x,y)}中坐标位置为(W,y)的像素点的像素值；若1<x+1≤W且1<y+1≤H，则C_dis,dnt(x+1,y+1)表示{C_dis,dnt(x,y)}中坐标位置为(x+1,y+1)的像素点的像素值，若1<x+1≤W且y+1>H，则令C_dis,dnt(x+1,y+1)＝C_dis,dnt(x+1,H)，若x+1>W且1<y+1≤H，则令C_dis,dnt(x+1,y+1)＝C_dis,dnt(W,y+1)，若x+1>W且y+1>H，则令C_dis,dnt(x+1,y+1)＝C_dis,dnt(W,H)，C_dis,dnt(x+1,H)、C_dis,dnt(W,y+1)和C_dis,dnt(W,H)对应表示{C_dis,dnt(x,y)}中坐标位置为(x+1,H)、(W,y+1)和(W,H)的像素点的像素值；若1<x+1≤W且1≤y-1<H，则C_dis,dnt(x+1,y-1)表示{C_dis,dnt(x,y)}中坐标位置为(x+1,y-1)的像素点的像素值，若1<x+1≤W且y-1<1，则令C_dis,dnt(x+1,y-1)＝C_dis,dnt(x+1,1)，若x+1>W且1≤y-1<H，则令C_dis,dnt(x+1,y-1)＝C_dis,dnt(W,y-1)，若x+1>W且y-1<1，则令C_dis,dnt(x+1,y-1)＝C_dis,dnt(W,1)，C_dis,dnt(x+1,1)、C_dis,dnt(W,y-1)和C_dis,dnt(W,1)对应表示{C_dis,dnt(x,y)}中坐标位置为(x+1,1)、(W,y-1)和(W,1)的像素点的像素值；上述，C_dis,dnt(x,y+1)＝C_dis,dnt(x,H)、C_dis,dnt(x+1,y)＝C_dis,dnt(W,y)、C_dis,dnt(x+1,y+1)＝C_dis,dnt(x+1,H)、C_dis,dnt(x+1,y+1)＝C_dis,dnt(W,y+1)、C_dis,dnt(x+1,y+1)＝C_dis,dnt(W,H)、C_dis,dnt(x+1,y-1)＝C_dis,dnt(x+1,1)、C_dis,dnt(x+1,y-1)＝C_dis,dnt(W,y-1)和C_dis,dnt(x+1,y-1)＝C_dis,dnt(W,1)中的“＝”为赋值符号。

所述的步骤⑤中的 $H_{dis,sim}(x,y)=\frac{2\&times;C_{dis}(x,y)\&times;H_{dis}(x,y)+C}{{\left(C_{dis}\right(x,y\left)\right)}^2+{\left(H_{dis}\right(x,y\left)\right)}^2+C},$ $V_{dis,sim}(x,y)=\frac{2\&times;C_{dis}(x,y)\&times;V_{dis}(x,y)+C}{{\left(C_{dis}\right(x,y\left)\right)}^2+{\left(V_{dis}\right(x,y\left)\right)}^2+C},D_{dis,sim}(x,y)=\frac{2\&times;C_{dis}(x,y)\&times;D_{dis}(x,y)+C}{{\left(C_{dis}\right(x,y\left)\right)}^2+{\left(D_{dis}\right(x,y\left)\right)}^2+C},$ ${\hat{D}}_{dis,sim}(x,y)=\frac{2\&times;C_{dis}(x,y)\&times;{\hat{D}}_{dis}(x,y)+C}{{\left(C_{dis}\right(x,y\left)\right)}^2+{\left({\hat{D}}_{dis}\right(x,y\left)\right)}^2+C},$ 其中，C为控制参数。

所述的步骤⑥中的局部二值化模式操作中的领域参数P取值为8，且局部半径参数R取值为1。

与现有技术相比，本发明的优点在于：

1)本发明方法采用双目融合模型，对左视点图像和右视点图像进入融合，得到的融合图像能够很好地模拟双目视觉感知特性。

2)本发明方法在充分利用了双目视觉感知特性的基础上，采用计算自相似度图像的方法获取双目视觉感知方向特征信息，因此能有效地提高客观评价结果与主观感知之间的相关性。

3)本发明方法采用机器学习的方法模拟视觉记忆检索功能，使客观评价值能更加准确预测失真立体图像的质量。

附图说明

图1为本发明方法的总体实现框图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种基于自相似度特征的无参考立体图像质量客观评价方法，其总体实现框图如图1所示，其处理过程为：首先，对待评价的失真立体图像的左视点图像和右视点图像进行融合，得到融合图像；其次，对融合图像进行去均值归一化操作，再对得到的去均值归一化图像进行四个方向的滤波处理，得到水平方向信息图像、垂直方向信息图像、主对角线方向信息图像和副对角线方向信息图像；接着，分别求取融合图像与水平方向信息图像、垂直方向信息图像、主对角线方向信息图像和副对角线方向信息图像之间的自相似度图像；之后采用局部二值化模式操作对四幅自相似度图像进行处理，得到各自的局部二值化模式图像，再对四幅局部二值化模式图像进行统计操作，得到各自的直方图统计特征向量；最后，根据待评价的失真立体图像对应的四个直方图统计特征向量，采用支持向量回归预测得到待评价的失真立体图像的客观质量评价预测值。

本发明的无参考立体图像质量评价方法包括以下步骤：

①令S_dis表示待评价的失真立体图像，将S_dis的左视点图像记为{L_dis(x,y)}，将S_dis的右视点图像记为{R_dis(x,y)}，其中，1≤x≤W,1≤y≤H，W表示S_dis的宽度，H表示S_dis的高度，L_dis(x,y)表示{L_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，R_dis(x,y)表示{R_dis(x,y)}中坐标位置为(x,y)的像素点的像素值。

②采用现有的双目融合技术对{L_dis(x,y)}和{R_dis(x,y)}进行融合，得到S_dis的融合图像，记为{C_dis(x,y)}，其中，C_dis(x,y)表示{C_dis(x,y)}中坐标位置为(x,y)的像素点的像素值。

③对{C_dis(x,y)}进行去均值归一化操作，得到{C_dis(x,y)}的去均值归一化图像，记为{C_dis,dnt(x,y)}，其中，C_dis,dnt(x,y)表示{C_dis,dnt(x,y)}中坐标位置为(x,y)的像素点的像素值，μ_dis表示{C_dis(x,y)}中的所有像素点的像素值的均值，σ_dis表示{C_dis(x,y)}中的所有像素点的像素值的方差。

④对{C_dis,dnt(x,y)}进行四个方向的滤波处理，得到{C_dis,dnt(x,y)}的水平方向信息图像、垂直方向信息图像、主对角线方向信息图像和副对角线方向信息图像，对应记为{H_dis(x,y)}、{V_dis(x,y)}、{D_dis(x,y)}和其中，H_dis(x,y)表示{H_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，V_dis(x,y)表示{V_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，D_dis(x,y)表示{D_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值,H_dis(x,y)＝C_dis,dnt(x,y)×C_dis,dnt(x,y+1)，V_dis(x,y)＝C_dis,dnt(x,y)×C_dis,dnt(x+1,y)，D_dis(x,y)＝C_dis,dnt(x,y)×C_dis,dnt(x+1,y+1)， ${\hat{D}}_{dis}(x,y)=C_{dis,dnt}(x,y)\&times;C_{dis,dnt}(x+1,y-1),$ 若1<y+1≤H，则C_dis,dnt(x,y+1)表示{C_dis,dnt(x,y)}中坐标位置为(x,y+1)的像素点的像素值，若y+1>H，则令C_dis,dnt(x,y+1)＝C_dis,dnt(x,H)，C_dis,dnt(x,H)表示{C_dis,dnt(x,y)}中坐标位置为(x,H)的像素点的像素值；若1<x+1≤W，则C_dis,dnt(x+1,y)表示{C_dis,dnt(x,y)}中坐标位置为(x+1,y)的像素点的像素值，若x+1>W，则令C_dis,dnt(x+1,y)＝C_dis,dnt(W,y)，C_dis,dnt(W,y)表示{C_dis,dnt(x,y)}中坐标位置为(W,y)的像素点的像素值；若1<x+1≤W且1<y+1≤H，则C_dis,dnt(x+1,y+1)表示{C_dis,dnt(x,y)}中坐标位置为(x+1,y+1)的像素点的像素值，若1<x+1≤W且y+1>H，则令C_dis,dnt(x+1,y+1)＝C_dis,dnt(x+1,H)，若x+1>W且1<y+1≤H，则令C_dis,dnt(x+1,y+1)＝C_dis,dnt(W,y+1)，若x+1>W且y+1>H，则令C_dis,dnt(x+1,y+1)＝C_dis,dnt(W,H)，C_dis,dnt(x+1,H)、C_dis,dnt(W,y+1)和C_dis,dnt(W,H)对应表示{C_dis,dnt(x,y)}中坐标位置为(x+1,H)、(W,y+1)和(W,H)的像素点的像素值；若1<x+1≤W且1≤y-1<H，则C_dis,dnt(x+1,y-1)表示{C_dis,dnt(x,y)}中坐标位置为(x+1,y-1)的像素点的像素值，若1<x+1≤W且y-1<1，则令C_dis,dnt(x+1,y-1)＝C_dis,dnt(x+1,1)，若x+1>W且1≤y-1<H，则令C_dis,dnt(x+1,y-1)＝C_dis,dnt(W,y-1)，若x+1>W且y-1<1，则令C_dis,dnt(x+1,y-1)＝C_dis,dnt(W,1)，C_dis,dnt(x+1,1)、C_dis,dnt(W,y-1)和C_dis,dnt(W,1)对应表示{C_dis,dnt(x,y)}中坐标位置为(x+1,1)、(W,y-1)和(W,1)的像素点的像素值；上述，C_dis,dnt(x,y+1)＝C_dis,dnt(x,H)、C_dis,dnt(x+1,y)＝C_dis,dnt(W,y)、C_dis,dnt(x+1,y+1)＝C_dis,dnt(x+1,H)、C_dis,dnt(x+1,y+1)＝C_dis,dnt(W,y+1)、C_dis,dnt(x+1,y+1)＝C_dis,dnt(W,H)、C_dis,dnt(x+1,y-1)＝C_dis,dnt(x+1,1)、C_dis,dnt(x+1,y-1)＝C_dis,dnt(W,y-1)和C_dis,dnt(x+1,y-1)＝C_dis,dnt(W,1)中的“＝”为赋值符号。

⑤计算{C_dis(x,y)}与{H_dis(x,y)}之间的自相似度图像，记为{H_dis,sim(x,y)}；同样，计算{C_dis(x,y)}与{V_dis(x,y)}之间的自相似度图像，记为{V_dis,sim(x,y)}；计算{C_dis(x,y)}与{D_dis(x,y)}之间的自相似度图像，记为{D_dis,sim(x,y)}；计算{C_dis(x,y)}与之间的自相似度图像，记为其中，H_dis,sim(x,y)表示{H_dis,sim(x,y)}中坐标位置为(x,y)的像素点的像素值，V_dis,sim(x,y)表示{V_dis,sim(x,y)}中坐标位置为(x,y)的像素点的像素值，D_dis,sim(x,y)表示{D_dis,sim(x,y)}中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值， $H_{dis,sim}(x,y)=\frac{2\&times;C_{dis}(x,y)\&times;H_{dis}(x,y)+C}{{\left(C_{dis}\right(x,y\left)\right)}^2+{\left(H_{dis}\right(x,y\left)\right)}^2+C},V_{dis,sim}(x,y)=\frac{2\&times;C_{dis}(x,y)\&times;V_{dis}(x,y)+C}{{\left(C_{dis}\right(x,y\left)\right)}^2+{\left(V_{dis}\right(x,y\left)\right)}^2+C},$ $D_{dis,sim}(x,y)=\frac{2\&times;C_{dis}(x,y)\&times;D_{dis}(x,y)+C}{{\left(C_{dis}\right(x,y\left)\right)}^2+{\left(D_{dis}\right(x,y\left)\right)}^2+C},{\hat{D}}_{dis,sim}(x,y)=\frac{2\&times;C_{dis}(x,y)\&times;{\hat{D}}_{dis}(x,y)+C}{{\left(C_{dis}\right(x,y\left)\right)}^2+{\left({\hat{D}}_{dis}\right(x,y\left)\right)}^2+C},$

C为控制参数，在本实施例中取C＝0.0001。

⑥采用现有的局部二值化模式(LocalBinaryPattern)操作对{H_dis,sim(x,y)}进行处理，得到{H_dis,sim(x,y)}的局部二值化模式图像，记为{H_dis,sim,lbp(x,y)}；同样，采用现有的局部二值化模式操作对{V_dis,sim(x,y)}进行处理，得到{V_dis,sim(x,y)}的局部二值化模式图像，记为{V_dis,sim,lbp(x,y)}；采用现有的局部二值化模式操作对{D_dis,sim(x,y)}进行处理，得到{D_dis,sim(x,y)}的局部二值化模式图像，记为{D_dis,sim,lbp(x,y)}；采用现有的局部二值化模式操作对进行处理，得到的局部二值化模式图像，记为其中，H_dis,sim,lbp(x,y)表示{H_dis,sim,lbp(x,y)}中坐标位置为(x,y)的像素点的像素值，V_dis,sim,lbp(x,y)表示{V_dis,sim,lbp(x,y)}中坐标位置为(x,y)的像素点的像素值，D_dis,sim,lbp(x,y)表示{D_dis,sim,lbp(x,y)}中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值。

在本实施例中，局部二值化模式操作中的领域参数P取值为8，且局部半径参数R取值为1。

⑦采用现有的直方图统计方法对{H_dis,sim,lbp(x,y)}进行统计操作，得到{H_dis,sim,lbp(x,y)}的直方图统计特征向量，记为H_{dis,sim,lbp,hist}；同样，采用现有的直方图统计方法对{V_dis,sim,lbp(x,y)}进行统计操作，得到{V_dis,sim,lbp(x,y)}的直方图统计特征向量，记为V_{dis,sim,lbp,hist}；采用现有的直方图统计方法对{D_dis,sim,lbp(x,y)}进行统计操作，得到{D_dis,sim,lbp(x,y)}的直方图统计特征向量，记为D_{dis,sim,lbp,hist}；采用现有的直方图统计方法对进行统计操作，得到的直方图统计特征向量，记为其中，H_{dis,sim,lbp,hist}、V_{dis,sim,lbp,hist}、D_{dis,sim,lbp,hist}和的维数均为1×m′维，H_{dis,sim,lbp,hist}中的第m个元素为H_{dis,sim,lbp,hist}(m)，V_{dis,sim,lbp,hist}中的第m个元素为V_{dis,sim,lbp,hist}(m)，D_{dis,sim,lbp,hist}中的第m个元素为D_{dis,sim,lbp,hist}(m)，中的第m个元素为1≤m≤m′，m′＝P+2，P表示局部二值化模式操作中的领域参数。

⑧采用n″幅原始的无失真立体图像，建立其在不同失真类型不同失真程度下的失真立体图像集合，将该失真立体图像集合作为训练集，训练集包括多幅失真立体图像；然后利用现有的主观质量评价方法评价出训练集中的每幅失真立体图像的主观评分，将训练集中的第j幅失真立体图像的主观评分记为DMOS_j；再按照步骤①至步骤⑦的操作，以相同的方式获取训练集中的每幅失真立体图像对应的四个直方图统计特征向量，将训练集中的第j幅失真立体图像对应的四个直方图统计特征向量依次记为H_{dis,sim,lbp,hist,j}、V_{dis,sim,lbp,hist,j}、D_{dis,sim,lbp,hist,j}和其中，n″>1，如取n″＝3，j的初始值为1，1≤j≤N′，N′表示训练集中包含的失真立体图像的总幅数，0≤DMOS_j≤100，H_{dis,sim,lbp,hist,j}、V_{dis,sim,lbp,hist,j}、D_{dis,sim,lbp,hist,j}和的维数均为1×m′维，H_{dis,sim,lbp,hist,j}中的第m个元素为H_{dis,sim,lbp,hist,j}(m)，V_{dis,sim,lbp,hist,j}中的第m个元素为V_{dis,sim,lbp,hist,j}(m)，D_{dis,sim,lbp,hist,j}中的第m个元素为D_{dis,sim,lbp,hist,j}(m)，中的第m个元素为1≤m≤m′，m′＝P+2，P表示局部二值化模式操作中的领域参数。

⑨支持向量回归(SupportVectorRegression，SVR)是基于结构风险最小化准则的新型机器学习方法和统计学理论，其可以有效地抑制过拟合问题，因此本发明利用支持向量回归对训练集中的所有失真立体图像各自的主观评分及对应的四个直方图统计特征向量进行训练，使得经过训练得到的回归函数值与主观评分之间的误差最小，拟合得到最优的权值矢量W^opt和最优的偏置项b^opt；接着利用W^opt和b^opt构造得到支持向量回归训练模型；再根据支持向量回归训练模型，对H_{dis,sim,lbp,hist}、V_{dis,sim,lbp,hist}、D_{dis,sim,lbp,hist}和进行测试，预测得到S_dis的客观质量评价预测值，记为Q，Q＝f(x)，其中，Q是x的函数，f()为函数表示形式，x为输入变量，x表示H_{dis,sim,lbp,hist}、V_{dis,sim,lbp,hist}、D_{dis,sim,lbp,hist}和(W^opt)^T为W^opt的转置矢量，为x的线性函数。

为了进一步验证本发明方法的可行性和有效性，进行实验。

在此，采用LIVE立体图像失真库来分析利用本发明方法得到的失真立体图像的客观质量评价预测值与主观评分之间的相关性。这里，利用评估图像质量评价方法的3个常用客观参量作为评价指标，即非线性回归条件下的Pearson相关系数(Pearsonlinearcorrelationcoefficient，PLCC)、Spearman相关系数(Spearmanrankordercorrelationcoefficient，SROCC)、均方误差(rootmeansquarederror，RMSE)，PLCC和RMSE反映失真立体图像的客观质量评价预测值的准确性，SROCC反映其单调性。

利用本发明方法计算LIVE立体图像失真库中的每幅失真立体图像的客观质量评价预测值，再利用现有的主观评价方法获得LIVE立体图像失真库中的每幅失真立体图像的主观评分。将按本发明方法计算得到的失真立体图像的客观质量评价预测值做五参数Logistic函数非线性拟合，PLCC和SROCC值越高，RMSE值越低说明客观评价方法的客观评价结果与平均主观评分差值之间的相关性越好。反映本发明方法的质量评价性能的PLCC、SROCC和RMSE相关系数如表1所列。从表1所列的数据可知，按本发明方法得到的失真立体图像的客观质量评价预测值与平均主观评分差值之间的相关性是很好的，表明客观评价结果与人眼主观感知的结果较为一致，足以说明本发明方法的可行性和有效性。

表1利用本发明方法得到的失真立体图像的客观质量评价预测值与平均主观评分差值之间的相关性

Claims (5)

1.一种基于自相似度特征的无参考立体图像质量客观评价方法，其特征在于包括以下步骤：

①令S_dis表示待评价的失真立体图像，将S_dis的左视点图像记为{L_dis(x,y)}，将S_dis的右视点图像记为{R_dis(x,y)}，其中，1≤x≤W,1≤y≤H，W表示S_dis的宽度，H表示S_dis的高度，L_dis(x,y)表示{L_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，R_dis(x,y)表示{R_dis(x,y)}中坐标位置为(x,y)的像素点的像素值；

②采用双目融合技术对{L_dis(x,y)}和{R_dis(x,y)}进行融合，得到S_dis的融合图像，记为{C_dis(x,y)}，其中，C_dis(x,y)表示{C_dis(x,y)}中坐标位置为(x,y)的像素点的像素值；

③对{C_dis(x,y)}进行去均值归一化操作，得到{C_dis(x,y)}的去均值归一化图像，记为{C_dis,dnt(x,y)}，其中，C_dis,dnt(x,y)表示{C_dis,dnt(x,y)}中坐标位置为(x,y)的像素点的像素值；

④对{C_dis,dnt(x,y)}进行四个方向的滤波处理，得到{C_dis,dnt(x,y)}的水平方向信息图像、垂直方向信息图像、主对角线方向信息图像和副对角线方向信息图像，对应记为{H_dis(x,y)}、{V_dis(x,y)}、{D_dis(x,y)}和其中，H_dis(x,y)表示{H_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，V_dis(x,y)表示{V_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，D_dis(x,y)表示{D_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值；

⑤计算{C_dis(x,y)}与{H_dis(x,y)}之间的自相似度图像，记为{H_dis,sim(x,y)}；同样，计算{C_dis(x,y)}与{V_dis(x,y)}之间的自相似度图像，记为{V_dis,sim(x,y)}；计算{C_dis(x,y)}与{D_dis(x,y)}之间的自相似度图像，记为{D_dis,sim(x,y)}；计算{C_dis(x,y)}与之间的自相似度图像，记为其中，H_dis,sim(x,y)表示{H_dis,sim(x,y)}中坐标位置为(x,y)的像素点的像素值，V_dis,sim(x,y)表示{V_dis,sim(x,y)}中坐标位置为(x,y)的像素点的像素值，D_dis,sim(x,y)表示{D_dis,sim(x,y)}中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值；

⑥采用局部二值化模式操作对{H_dis,sim(x,y)}进行处理，得到{H_dis,sim(x,y)}的局部二值化模式图像，记为{H_dis,sim,lbp(x,y)}；同样，采用局部二值化模式操作对{V_dis,sim(x,y)}进行处理，得到{V_dis,sim(x,y)}的局部二值化模式图像，记为{V_dis,sim,lbp(x,y)}；采用局部二值化模式操作对{D_dis,sim(x,y)}进行处理，得到{D_dis,sim(x,y)}的局部二值化模式图像，记为{D_dis,sim,lbp(x,y)}；采用局部二值化模式操作对进行处理，得到的局部二值化模式图像，记为其中，H_dis,sim,lbp(x,y)表示{H_dis,sim,lbp(x,y)}中坐标位置为(x,y)的像素点的像素值，V_dis,sim,lbp(x,y)表示{V_dis,sim,lbp(x,y)}中坐标位置为(x,y)的像素点的像素值，D_dis,sim,lbp(x,y)表示{D_dis,sim,lbp(x,y)}中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值；

⑦采用直方图统计方法对{H_dis,sim,lbp(x,y)}进行统计操作，得到{H_dis,sim,lbp(x,y)}的直方图统计特征向量，记为H_{dis,sim,lbp,hist}；同样，采用直方图统计方法对{V_dis,sim,lbp(x,y)}进行统计操作，得到{V_dis,sim,lbp(x,y)}的直方图统计特征向量，记为V_{dis,sim,lbp,hist}；采用直方图统计方法对{D_dis,sim,lbp(x,y)}进行统计操作，得到{D_dis,sim,lbp(x,y)}的直方图统计特征向量，记为D_{dis,sim,lbp,hist}；采用直方图统计方法对进行统计操作，得到的直方图统计特征向量，记为其中，H_{dis,sim,lbp,hist}、V_{dis,sim,lbp,hist}、D_{dis,sim,lbp,hist}和的维数均为1×m'维，H_{dis,sim,lbp,hist}中的第m个元素为H_{dis,sim,lbp,hist}(m)，V_{dis,sim,lbp,hist}中的第m个元素为V_{dis,sim,lbp,hist}(m)，D_{dis,sim,lbp,hist}中的第m个元素为D_{dis,sim,lbp,hist}(m)，中的第m个元素为1≤m≤m'，m'＝P+2，P表示局部二值化模式操作中的领域参数；

⑧采用n”幅原始的无失真立体图像，建立其在不同失真类型不同失真程度下的失真立体图像集合，将该失真立体图像集合作为训练集，训练集包括多幅失真立体图像；然后利用主观质量评价方法评价出训练集中的每幅失真立体图像的主观评分，将训练集中的第j幅失真立体图像的主观评分记为DMOS_j；再按照步骤①至步骤⑦的操作，以相同的方式获取训练集中的每幅失真立体图像对应的四个直方图统计特征向量，将训练集中的第j幅失真立体图像对应的四个直方图统计特征向量依次记为H_{dis,sim,lbp,hist,j}、V_{dis,sim,lbp,hist,j}、D_{dis,sim,lbp,hist,j}和其中，n”>1，j的初始值为1，1≤j≤N'，N'表示训练集中包含的失真立体图像的总幅数，0≤DMOS_j≤100，H_{dis,sim,lbp,hist,j}、V_{dis,sim,lbp,hist,j}、D_{dis,sim,lbp,hist,j}和的维数均为1×m'维，H_{dis,sim,lbp,hist,j}中的第m个元素为H_{dis,sim,lbp,hist,j}(m)，V_{dis,sim,lbp,hist,j}中的第m个元素为V_{dis,sim,lbp,hist,j}(m)，D_{dis,sim,lbp,hist,j}中的第m个元素为D_{dis,sim,lbp,hist,j}(m)，中的第m个元素为1≤m≤m'，m'＝P+2，P表示局部二值化模式操作中的领域参数；

⑨利用支持向量回归对训练集中的所有失真立体图像各自的主观评分及对应的四个直方图统计特征向量进行训练，使得经过训练得到的回归函数值与主观评分之间的误差最小，拟合得到最优的权值矢量W^opt和最优的偏置项b^opt；接着利用W^opt和b^opt构造得到支持向量回归训练模型；再根据支持向量回归训练模型，对H_{dis,sim,lbp,hist}、V_{dis,sim,lbp,hist}、D_{dis,sim,lbp,hist}和进行测试，预测得到S_dis的客观质量评价预测值，记为Q，Q＝f(x)，其中，Q是x的函数，f()为函数表示形式，x为输入变量，x表示H_{dis,sim,lbp,hist}、V_{dis,sim,lbp,hist}、D_{dis,sim,lbp,hist}和(W^opt)^T为W^opt的转置矢量，为x的线性函数。

2.根据权利要求1所述的基于自相似度特征的无参考立体图像质量客观评价方法，其特征在于所述的步骤③中的其中，μ_dis表示{C_dis(x,y)}中的所有像素点的像素值的均值，σ_dis表示{C_dis(x,y)}中的所有像素点的像素值的方差。

3.根据权利要求1或2所述的基于自相似度特征的无参考立体图像质量客观评价方法，其特征在于所述的步骤④中的H_dis(x,y)＝C_dis,dnt(x,y)×C_dis,dnt(x,y+1)，V_dis(x,y)＝C_dis,dnt(x,y)×C_dis,dnt(x+1,y)，D_dis(x,y)＝C_dis,dnt(x,y)×C_dis,dnt(x+1,y+1)， ${\hat{D}}_{dis}(x,y)=C_{dis,dnt}(x,y)\&times;C_{dis,dnt}(x+1,y-1),$ 其中，若1<y+1≤H，则C_dis,dnt(x,y+1)表示{C_dis,dnt(x,y)}中坐标位置为(x,y+1)的像素点的像素值，若y+1>H，则令C_dis,dnt(x,y+1)＝C_dis,dnt(x,H)，C_dis,dnt(x,H)表示{C_dis,dnt(x,y)}中坐标位置为(x,H)的像素点的像素值；若1<x+1≤W，则C_dis,dnt(x+1,y)表示{C_dis,dnt(x,y)}中坐标位置为(x+1,y)的像素点的像素值，若x+1>W，则令C_dis,dnt(x+1,y)＝C_dis,dnt(W,y)，C_dis,dnt(W,y)表示{C_dis,dnt(x,y)}中坐标位置为(W,y)的像素点的像素值；若1<x+1≤W且1<y+1≤H，则C_dis,dnt(x+1,y+1)表示{C_dis,dnt(x,y)}中坐标位置为(x+1,y+1)的像素点的像素值，若1<x+1≤W且y+1>H，则令C_dis,dnt(x+1,y+1)＝C_dis,dnt(x+1,H)，若x+1>W且1<y+1≤H，则令C_dis,dnt(x+1,y+1)＝C_dis,dnt(W,y+1)，若x+1>W且y+1>H，则令C_dis,dnt(x+1,y+1)＝C_dis,dnt(W,H)，C_dis,dnt(x+1,H)、C_dis,dnt(W,y+1)和C_dis,dnt(W,H)对应表示{C_dis,dnt(x,y)}中坐标位置为(x+1,H)、(W,y+1)和(W,H)的像素点的像素值；若1<x+1≤W且1≤y-1<H，则C_dis,dnt(x+1,y-1)表示{C_dis,dnt(x,y)}中坐标位置为(x+1,y-1)的像素点的像素值，若1<x+1≤W且y-1<1，则令C_dis,dnt(x+1,y-1)＝C_dis,dnt(x+1,1)，若x+1>W且1≤y-1<H，则令C_dis,dnt(x+1,y-1)＝C_dis,dnt(W,y-1)，若x+1>W且y-1<1，则令C_dis,dnt(x+1,y-1)＝C_dis,dnt(W,1)，C_dis,dnt(x+1,1)、C_dis,dnt(W,y-1)和C_dis,dnt(W,1)对应表示{C_dis,dnt(x,y)}中坐标位置为(x+1,1)、(W,y-1)和(W,1)的像素点的像素值；上述，C_dis,dnt(x,y+1)＝C_dis,dnt(x,H)、C_dis,dnt(x+1,y)＝C_dis,dnt(W,y)、C_dis,dnt(x+1,y+1)＝C_dis,dnt(x+1,H)、C_dis,dnt(x+1,y+1)＝C_dis,dnt(W,y+1)、C_dis,dnt(x+1,y+1)＝C_dis,dnt(W,H)、C_dis,dnt(x+1,y-1)＝C_dis,dnt(x+1,1)、C_dis,dnt(x+1,y-1)＝C_dis,dnt(W,y-1)和C_dis,dnt(x+1,y-1)＝C_dis,dnt(W,1)中的“＝”为赋值符号。

4.根据权利要求3所述的基于自相似度特征的无参考立体图像质量客观评价方法，其特征在于所述的步骤⑤中的 $H_{dis,sim}(x,y)=\frac{2\&times;C_{dis}(x,y)\&times;H_{dis}(x,y)+C}{{\left(C_{dis}\right(x,y\left)\right)}^2+{\left(H_{dis}\right(x,y\left)\right)}^2+C},$ $V_{dis,sim}(x,y)=\frac{2\&times;C_{dis}(x,y)\&times;V_{dis}(x,y)+C}{{\left(C_{dis}\right(x,y\left)\right)}^2+{\left(V_{dis}\right(x,y\left)\right)}^2+C},D_{dis,sim}(x,y)=\frac{2\&times;C_{dis}(x,y)\&times;D_{dis}(x,y)+C}{{\left(C_{dis}\right(x,y\left)\right)}^2+{\left(D_{dis}\right(x,y\left)\right)}^2+C},$ ${\hat{D}}_{dis,sim}(x,y)=\frac{2\&times;C_{dis}(x,y)\&times;{\hat{D}}_{dis}(x,y)+C}{{\left(C_{dis}\right(x,y\left)\right)}^2+{\left({\hat{D}}_{dis}\right(x,y\left)\right)}^2+C},$ 其中，C为控制参数。

5.根据权利要求4所述的基于自相似度特征的无参考立体图像质量客观评价方法，其特征在于所述的步骤⑥中的局部二值化模式操作中的领域参数P取值为8，且局部半径参数R取值为1。