CN105376563A - 基于双目融合特征相似度的无参考立体图像质量评价方法 - Google Patents

Abstract

本发明公开了一种基于双目融合特征相似度的无参考立体图像质量评价方法，其通过对待评价的失真立体图像的左视点图像和右视点图像分别进行Gabor滤波和LOG滤波，得到左右视点融合图像和左右视点融合视觉特征图；然后计算左右视点融合图像与左右视点融合视觉特征图之间的自相似度图像；再获取自相似度图像的量化图像的直方图统计特征向量和自相似度图像的局部二值化模式图像的直方图统计特征向量；最后获取待评价的失真立体图像的客观质量评价预测值；优点是其能够充分考虑到立体视觉感知特性，从而能够有效地提高客观评价结果与主观感知之间的相关性。

Description

基于双目融合特征相似度的无参考立体图像质量评价方法

技术领域

本发明涉及一种立体图像质量客观评价方法，尤其是涉及一种基于双目融合特征相似度的无参考立体图像质量评价方法。

背景技术

进入二十一世纪以来，随着立体图像/视频系统处理技术的日趋成熟，以及计算机网络与通信技术的快速发展，已引起人们对立体图像/视频系统的强烈需求。相比传统的单视点图像/视频系统，立体图像/视频系统由于能够提供深度信息来增强视觉的真实感，给用户以身临其境的全新视觉体验而越来越受到人们的欢迎，已被认为是下一代媒体主要的发展方向，已引发了学术界、产业界的广泛关注。然而，人们为了获得更好的立体临场感和视觉体验，对立体视觉主观感知质量提出了更高的要求。在立体图像/视频系统中，采集、编码、传输、解码及显示等处理环节都会引入一定失真，这些失真将对立体视觉主观感知质量产生不同程度的影响，因此如何有效地进行无参考质量评价是亟需解决的难点问题。综上，评价立体图像质量，并建立与主观质量评价相一致的客观评价模型显得尤为重要。

目前，研究人员提出了不少针对单视点视觉质量的无参考评价方法，然而由于缺乏系统理论深入研究立体视觉感知特性，因此还没有有效地无参考立体图像质量评价方法。相比单视点视觉质量无参考评价模型，无参考立体图像质量评价模型需要考虑不同失真类型立体掩蔽效应以及与之相关的双目竞争/抑制和双目融合等立体感知因素对视觉质量的影响。因此，不能简单地把现有的单视点视觉质量无参考评价模型直接扩展到无参考立体图像质量评价方法中。现有的无参考质量客观评价方法主要是通过机器学习来预测评价模型的，但针对立体图像，现有的立体图像评价方法还是平面图像评价方法的简单扩展，并没有考虑双目视觉特性，因此，如何在评价过程中有效地提取特征信息，在评价过程中进行双目视觉特性结合，使得客观评价结果更加符合人类视觉感知系统，是立体图像进行客观质量评价过程中需要研究解决的问题。

发明内容

本发明所要解决的技术问题是提供一种基于双目融合特征相似度的无参考立体图像质量评价方法，其能够充分考虑到立体视觉感知特性，从而能够有效地提高客观评价结果与主观感知之间的相关性。

本发明解决上述技术问题所采用的技术方案为：一种基于双目融合特征相似度的无参考立体图像质量评价方法，其特征在于包括以下步骤：

①令S_dis表示待评价的失真立体图像，将S_dis的左视点图像记为{L_dis(x,y)}，将S_dis的右视点图像记为{R_dis(x,y)}；然后采用块匹配方法，计算{L_dis(x,y)}与{R_dis(x,y)}之间的视差图像，记为{d_dis(x,y)}；其中，1≤x≤W,1≤y≤H，W表示S_dis的宽度，H表示S_dis的高度，L_dis(x,y)表示{L_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，R_dis(x,y)表示{R_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，d_dis(x,y)表示{d_dis(x,y)}中坐标位置为(x,y)的像素点的像素值；

②采用Gabor滤波方法对{L_dis(x,y)}进行操作，得到左视点响应图，记为{G_L,dis(x,y)}；并采用LOG滤波方法对{L_dis(x,y)}进行操作，得到左视点视觉特征图，记为{F_L,dis(x,y)}；其中，G_L,dis(x,y)表示{G_L,dis(x,y)}中坐标位置为(x,y)的像素点的像素值，F_L,dis(x,y)表示{F_L,dis(x,y)}中坐标位置为(x,y)的像素点的像素值；

同样，采用Gabor滤波方法对{R_dis(x,y)}进行操作，得到右视点响应图，记为{G_R,dis(x,y)}；并采用LOG滤波方法对{R_dis(x,y)}进行操作，得到右视点视觉特征图，记为{F_R,dis(x,y)}；其中，G_R,dis(x,y)表示{G_R,dis(x,y)}中坐标位置为(x,y)的像素点的像素值，F_R,dis(x,y)表示{F_R,dis(x,y)}中坐标位置为(x,y)的像素点的像素值；

③根据{L_dis(x,y)}和{R_dis(x,y)}、{G_L,dis(x,y)}和{G_R,dis(x,y)}、{d_dis(x,y)}，计算S_dis的左右视点融合图像，记为{R_L,R,dis(x,y)}，其中，R_L,R,dis(x,y)表示{R_L,R,dis(x,y)}中坐标位置为(x,y)的像素点的像素值；

④根据{F_L,dis(x,y)}和{F_R,dis(x,y)}、{G_L,dis(x,y)}和{G_R,dis(x,y)}、{d_dis(x,y)}，计算S_dis的左右视点融合视觉特征图，记为{F_L,R,dis(x,y)}，其中，F_L,R,dis(x,y)表示{F_L,R,dis(x,y)}中坐标位置为(x,y)的像素点的像素值；

⑤计算{R_L,R,dis(x,y)}与{F_L,R,dis(x,y)}之间的自相似度图像，记为{H_dis,sim(x,y)}，其中，H_dis,sim(x,y)表示{H_dis,sim(x,y)}中坐标位置为(x,y)的像素点的像素值；

⑥采用量化方法对{H_dis,sim(x,y)}进行处理，得到{H_dis,sim(x,y)}的量化图像，记为{H_dis,sim,Q(x,y)}；并采用局部二值化模式操作对{H_dis,sim(x,y)}进行处理，得到{H_dis,sim(x,y)}的局部二值化模式图像，记为{H_dis,sim,lbp(x,y)}；其中，H_dis,sim,Q(x,y)表示{H_dis,sim,Q(x,y)}中坐标位置为(x,y)的像素点的像素值，H_dis,sim,lbp(x,y)表示{H_dis,sim,lbp(x,y)}中坐标位置为(x,y)的像素点的像素值；

⑦采用直方图统计方法对{H_dis,sim,Q(x,y)}进行统计操作，得到{H_dis,sim,Q(x,y)}的直方图统计特征向量，记为H_{dis,sim,Q,hist}；同样，采用直方图统计方法对{H_dis,sim,lbp(x,y)}进行统计操作，得到{H_dis,sim,lbp(x,y)}的直方图统计特征向量，记为H_{dis,sim,lbp,hist}；其中，H_{dis,sim,Q,hist}的维数为1×m'维，H_{dis,sim,Q,hist}中的第m个元素为H_{dis,sim,Q,hist}(m)，H_{dis,sim,lbp,hist}的维数为1×m'维，H_{dis,sim,lbp,hist}中的第m个元素为H_{dis,sim,lbp,hist}(m)，1≤m≤m'，m'＝P+2，P表示局部二值化模式操作中的领域参数；

⑧采用n”幅原始的无失真立体图像，建立其在不同失真类型不同失真程度下的失真立体图像集合，将该失真立体图像集合作为训练集，训练集包括多幅失真立体图像；然后利用主观质量评价方法评价出训练集中的每幅失真立体图像的平均主观评分值，将训练集中的第j幅失真立体图像的平均主观评分值记为DMOS_j；再按照步骤①至步骤⑦的操作，以相同的方式获取训练集中的每幅失真立体图像对应的自相似度图像的量化图像的直方图统计特征向量和自相似度图像的局部二值化模式图像的直方图统计特征向量，将训练集中的第j幅失真立体图像对应的自相似度图像的量化图像的直方图统计特征向量和自相似度图像的局部二值化模式图像的直方图统计特征向量分别记为H_j,sim,Q,hist和H_{j,sim,lbp,hist}；其中，n”>1，1≤j≤N'，N'表示训练集中包含的失真立体图像的总幅数，0≤DMOS_j≤100，H_j,sim,Q,hist和H_{j,sim,lbp,hist}的维数均为1×m'维；

⑨计算S_dis对应的直方图统计特征向量与训练集中的每幅失真立体图像对应的直方图统计特征向量之间的距离，将S_dis对应的直方图统计特征向量与训练集中的第j幅失真立体图像对应的直方图统计特征向量之间的距离记为D_dis,j，D_dis,j＝|H_{dis,sim,Q,hist}-H_j,sim,Q,hist|+|H_{dis,sim,lbp,hist}-H_{j,sim,lbp,hist}|，并将这N'个距离构成的集合记为{D_dis,j|1≤j≤N'}，其中，符号“||”为取绝对值符号；然后对{D_dis,j|1≤j≤N'}中的所有距离按从小到大的顺序排列，将排列后的集合记为{D'_dis,j|1≤j≤N'}；接着获取{D'_dis,j|1≤j≤N'}中的前K个距离各自对应的训练集中的失真立体图像的平均主观评分值，并将这K个平均主观评分值构成的集合记为{DMOS'₁,DMOS'₂,…,DMOS'_K}，其中，1≤K≤N'，DMOS'₁,DMOS'₂,…,DMOS'_K对应表示{D'_dis,j|1≤j≤N'}中的第1个距离对应的训练集中的失真立体图像的平均主观评分值、第2个距离对应的训练集中的失真立体图像的平均主观评分值、…、第K个距离对应的训练集中的失真立体图像的平均主观评分值。

⑩计算S_dis的客观质量评价预测值，记为Q_dis，其中，D'_dis,k表示{D'_dis,j|1≤j≤N'}中的第k个距离，DMOS'_k表示D'_dis,k对应的训练集中的失真立体图像的平均主观评分值。

所述的步骤③中的

$R_{L,R,dis}\left(x,y\right)=L_{dis}\left(x,y\right)\×\frac{G_{L,dis}\left(x,y\right)}{G_{L,dis}\left(x,y\right)+G_{R,dis}\left(x,y\right)}+R_{dis}\left(x+d_{dis}\left(x,y\right),y\right)\×\frac{G_{R,dis}\left(x+d_{dis}\left(x,y\right),y\right)}{G_{L,dis}\left(x,y\right)+G_{R,dis}\left(x+d_{dis}\left(x,y\right),y\right)}$ ，其中，R_dis(x+d_dis(x,y),y)表示{R_dis(x,y)}中坐标位置为(x+d_dis(x,y),y)的像素点的像素值，G_R,dis(x+d_dis(x,y),y)表示{G_R,dis(x,y)}中坐标位置为(x+d_dis(x,y),y)的像素点的像素值。

所述的步骤④中的 $F_{L,R,dis}\left(x,y\right)=F_{L,dis}\left(x,y\right)\×\frac{G_{L,dis}\left(x,y\right)}{G_{L,dis}\left(x,y\right)+G_{R,dis}\left(x,y\right)}+F_{R,dis}\left(x+d_{dis}\left(x,y\right),y\right)\×\frac{G_{R,dis}\left(x+d_{dis}\left(x,y\right),y\right)}{G_{L,dis}\left(x,y\right)+G_{R,dis}\left(x+d_{dis}\left(x,y\right),y\right)}$ ，其中，F_R,dis(x+d_dis(x,y),y)表示{F_R,dis(x,y)}中坐标位置为(x+d_dis(x,y),y)的像素点的像素值，G_R,dis(x+d_dis(x,y),y)表示{G_R,dis(x,y)}中坐标位置为(x+d_dis(x,y),y)的像素点的像素值。

所述的步骤⑤中的 $H_{dis,sim}(x,y)=\frac{2\×R_{L,R,dis}(x,y)\×F_{L,R,dis}(x,y)+C}{{\left(R_{L,R,dis}\right(x,y\left)\right)}^2+{\left(F_{L,R,dis}\right(x,y\left)\right)}^2+C},$ 其中，C为控制参数。

所述的步骤⑥中的局部二值化模式操作中的领域参数P取值为8，且局部半径参数R取值为1。

与现有技术相比，本发明的优点在于：

1)本发明方法采用双目融合模型，对左视点图像和右视点图像进行融合，得到左右视点融合图像；同时对左视点视觉特征图和右视点视觉特征图进行融合，得到左右视点融合视觉特征图，得到的左右视点融合图像和左右视点融合视觉特征图能够很好的模拟双目(立体)视觉感知特性。

2)本发明方法在充分利用了双目视觉感知特性的基础上，获取了左右视点融合图像与左右视点融合视觉特征图之间的自相似度图像，自相似度图像作为双目视觉感知特性信息能够有效地表示主观视觉特性，因此能有效地提高客观评价结果与主观感知之间的相关性。

附图说明

图1为本发明方法的总体实现框图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种基于双目融合特征相似度的无参考立体图像质量评价方法，其总体实现框图如图1所示，其包括以下步骤：

①令S_dis表示待评价的失真立体图像，将S_dis的左视点图像记为{L_dis(x,y)}，将S_dis的右视点图像记为{R_dis(x,y)}；然后采用现有的块匹配方法，计算{L_dis(x,y)}与{R_dis(x,y)}之间的视差图像，记为{d_dis(x,y)}；其中，1≤x≤W,1≤y≤H，W表示S_dis的宽度，H表示S_dis的高度，L_dis(x,y)表示{L_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，R_dis(x,y)表示{R_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，d_dis(x,y)表示{d_dis(x,y)}中坐标位置为(x,y)的像素点的像素值。

②采用现有的Gabor滤波方法对{L_dis(x,y)}进行操作，得到左视点响应图，记为{G_L,dis(x,y)}；然后采用现有的LOG(LaplacianofGaussian)滤波方法对{L_dis(x,y)}进行操作，得到左视点视觉特征图，记为{F_L,dis(x,y)}；其中，G_L,dis(x,y)表示{G_L,dis(x,y)}中坐标位置为(x,y)的像素点的像素值，F_L,dis(x,y)表示{F_L,dis(x,y)}中坐标位置为(x,y)的像素点的像素值。

同样，采用现有的Gabor滤波方法对{R_dis(x,y)}进行操作，得到右视点响应图，记为{G_R,dis(x,y)}；然后采用现有的LOG(LaplacianofGaussian)滤波方法对{R_dis(x,y)}进行操作，得到右视点视觉特征图，记为{F_R,dis(x,y)}；其中，G_R,dis(x,y)表示{G_R,dis(x,y)}中坐标位置为(x,y)的像素点的像素值，F_R,dis(x,y)表示{F_R,dis(x,y)}中坐标位置为(x,y)的像素点的像素值。

③根据{L_dis(x,y)}和{R_dis(x,y)}、{G_L,dis(x,y)}和{G_R,dis(x,y)}、{d_dis(x,y)}，计算S_dis的左右视点融合图像，记为{R_L,R,dis(x,y)}，其中，R_L,R,dis(x,y)表示{R_L,R,dis(x,y)}中坐标位置为(x,y)的像素点的像素值。

在此具体实施例中，步骤③中的 $R_{L,R,dis}\left(x,y\right)=L_{dis}\left(x,y\right)\×\frac{G_{L,dis}\left(x,y\right)}{G_{L,dis}\left(x,y\right)+G_{R,dis}\left(x,y\right)}+R_{dis}\left(x+d_{dis}\left(x,y\right),y\right)\×\frac{G_{R,dis}\left(x+d_{dis}\left(x,y\right),y\right)}{G_{L,dis}\left(x,y\right)+G_{R,dis}\left(x+d_{dis}\left(x,y\right),y\right)}$ ，其中，R_dis(x+d_dis(x,y),y)表示{R_dis(x,y)}中坐标位置为(x+d_dis(x,y),y)的像素点的像素值，G_R,dis(x+d_dis(x,y),y)表示{G_R,dis(x,y)}中坐标位置为(x+d_dis(x,y),y)的像素点的像素值。

④根据{F_L,dis(x,y)}和{F_R,dis(x,y)}、{G_L,dis(x,y)}和{G_R,dis(x,y)}、{d_dis(x,y)}，计算S_dis的左右视点融合视觉特征图，记为{F_L,R,dis(x,y)}，其中，F_L,R,dis(x,y)表示{F_L,R,dis(x,y)}中坐标位置为(x,y)的像素点的像素值。

在此具体实施例中，步骤④中的 $F_{L,R,dis}\left(x,y\right)=F_{L,dis}\left(x,y\right)\×\frac{G_{L,dis}\left(x,y\right)}{G_{L,dis}\left(x,y\right)+G_{R,dis}\left(x,y\right)}+F_{R,dis}\left(x+d_{dis}\left(x,y\right),y\right)\×\frac{G_{R,dis}\left(x+d_{dis}\left(x,y\right),y\right)}{G_{L,dis}\left(x,y\right)+G_{R,dis}\left(x+d_{dis}\left(x,y\right),y\right)}$ ，其中，F_R,dis(x+d_dis(x,y),y)表示{F_R,dis(x,y)}中坐标位置为(x+d_dis(x,y),y)的像素点的像素值，G_R,dis(x+d_dis(x,y),y)表示{G_R,dis(x,y)}中坐标位置为(x+d_dis(x,y),y)的像素点的像素值。

⑤计算{R_L,R,dis(x,y)}与{F_L,R,dis(x,y)}之间的自相似度图像，记为{H_dis,sim(x,y)}，其中，H_dis,sim(x,y)表示{H_dis,sim(x,y)}中坐标位置为(x,y)的像素点的像素值。

在此具体实施例中，步骤⑤中的 $H_{dis,sim}(x,y)=\frac{2\×R_{L,R,dis}(x,y)\×F_{L,R,dis}(x,y)+C}{{\left(R_{L,R,dis}\right(x,y\left)\right)}^2+{\left(F_{L,R,dis}\right(x,y\left)\right)}^2+C},$ 其中，C为控制参数，在本实施例中取C＝0.0001。

⑥采用现有的量化方法对{H_dis,sim(x,y)}进行处理，得到{H_dis,sim(x,y)}的量化图像，记为{H_dis,sim,Q(x,y)}；并采用现有的局部二值化模式(LocalBinaryPattern)操作对{H_dis,sim(x,y)}进行处理，得到{H_dis,sim(x,y)}的局部二值化模式图像，记为{H_dis,sim,lbp(x,y)}；其中，H_dis,sim,Q(x,y)表示{H_dis,sim,Q(x,y)}中坐标位置为(x,y)的像素点的像素值，H_dis,sim,lbp(x,y)表示{H_dis,sim,lbp(x,y)}中坐标位置为(x,y)的像素点的像素值。

在本实施例中，步骤⑥中的局部二值化模式操作中的领域参数P取值为8，且局部半径参数R取值为1。

⑦采用现有的直方图统计方法对{H_dis,sim,Q(x,y)}进行统计操作，得到{H_dis,sim,Q(x,y)}的直方图统计特征向量，记为H_{dis,sim,Q,hist}；同样，采用现有的直方图统计方法对{H_dis,sim,lbp(x,y)}进行统计操作，得到{H_dis,sim,lbp(x,y)}的直方图统计特征向量，记为H_{dis,sim,lbp,hist}；其中，H_{dis,sim,Q,hist}的维数为1×m'维，H_{dis,sim,Q,hist}中的第m个元素为H_{dis,sim,Q,hist}(m)，H_{dis,sim,lbp,hist}的维数为1×m'维，H_{dis,sim,lbp,hist}中的第m个元素为H_{dis,sim,lbp,hist}(m)，1≤m≤m'，m'＝P+2，P表示局部二值化模式操作中的领域参数。

⑧采用n”幅原始的无失真立体图像，建立其在不同失真类型不同失真程度下的失真立体图像集合，将该失真立体图像集合作为训练集，训练集包括多幅失真立体图像；然后利用现有的主观质量评价方法评价出训练集中的每幅失真立体图像的平均主观评分值，将训练集中的第j幅失真立体图像的平均主观评分值记为DMOS_j；再按照步骤①至步骤⑦的操作，以相同的方式获取训练集中的每幅失真立体图像对应的自相似度图像的量化图像的直方图统计特征向量和自相似度图像的局部二值化模式图像的直方图统计特征向量，将训练集中的第j幅失真立体图像对应的自相似度图像的量化图像的直方图统计特征向量和自相似度图像的局部二值化模式图像的直方图统计特征向量分别记为H_j,sim,Q,hist和H_{j,sim,lbp,hist}；其中，n”>1，1≤j≤N'，N'表示训练集中包含的失真立体图像的总幅数，在本实施例中N'≥10，0≤DMOS_j≤100，H_j,sim,Q,hist和H_{j,sim,lbp,hist}的维数均为1×m'维。

在此，H_j,sim,Q,hist和H_{j,sim,lbp,hist}的获取过程为：

A1、令S_j表示训练集中的第j幅失真立体图像，将S_j的左视点图像记为{L_j(x',y')}，将S_j的右视点图像记为{R_j(x',y')}；然后采用现有的块匹配方法，计算{L_j(x',y')}与{R_j(x',y')}之间的视差图像，记为{d_j(x',y')}；其中，1≤x'≤W',1≤y'≤H'，W'表示训练集中的失真立体图像的宽度，H'表示训练集中的失真立体图像的高度，L_j(x',y')表示{L_j(x',y')}中坐标位置为(x',y')的像素点的像素值，R_j(x',y')表示{R_j(x',y')}中坐标位置为(x',y')的像素点的像素值，d_j(x',y')表示{d_j(x',y')}中坐标位置为(x',y')的像素点的像素值。

A2、采用现有的Gabor滤波方法对{L_j(x',y')}进行操作，得到左视点响应图，记为{G_L,j(x',y')}；然后采用现有的LOG(LaplacianofGaussian)滤波方法对{L_j(x',y')}进行操作，得到左视点视觉特征图，记为{F_L,j(x',y')}；其中，G_L,j(x',y')表示{G_L,j(x',y')}中坐标位置为(x',y')的像素点的像素值，F_L,j(x',y')表示{F_L,j(x',y')}中坐标位置为(x',y')的像素点的像素值。

同样，采用现有的Gabor滤波方法对{R_j(x',y')}进行操作，得到右视点响应图，记为{G_R,j(x',y')}；然后采用现有的LOG(LaplacianofGaussian)滤波方法对{R_j(x',y')}进行操作，得到右视点视觉特征图，记为{F_R,j(x',y')}；其中，G_R,j(x',y')表示{G_R,j(x',y')}中坐标位置为(x',y')的像素点的像素值，F_R,j(x',y')表示{F_R,j(x',y')}中坐标位置为(x',y')的像素点的像素值。

A3、根据{L_j(x',y')}和{R_j(x',y')}、{G_L,j(x',y')}和{G_R,j(x',y')}、{d_j(x',y')}，计算S_j的左右视点融合图像，记为{R_L,R,j(x',y')}，其中，R_L,R,j(x',y')表示{R_L,R,j(x',y')}中坐标位置为(x',y')的像素点的像素值。

在此具体实施例中，步骤A3中的 $R_{L,R,j}(x^{\′},y^{\′})=L_j(x^{\′},y^{\′})\×\frac{G_{L,j}(x^{\′},y^{\′})}{G_{L,j}{x}^{\′},y^{\′}+G_{R,j}(x^{\′},y^{\′})}+R_j(x^{\′}+d_j(x^{\′},y^{\′}),y^{\′})\×\frac{G_{R,j}(x^{\′}+d_j(x^{\′},y^{\′}),y^{\′})}{G_{L,j}(x^{\′},y^{\′})+G_{R,j}(x^{\′}+d_j(x^{\′},y^{\′}),y^{\′})}$ ，其中，R_j(x'+d_j(x',y'),y')表示{R_j(x',y')}中坐标位置为(x'+d_j(x',y'),y')的像素点的像素值，G_R,j(x'+d_j(x',y'),y')表示{G_R,j(x',y')}中坐标位置为(x'+d_j(x',y'),y')的像素点的像素值。

A4、根据{F_L,j(x',y')}和{F_R,j(x',y')}、{G_L,j(x',y')}和{G_R,j(x',y')}、{d_j(x',y')}，计算S_j的左右视点融合视觉特征图，记为{F_L,R,j(x',y')}，其中，F_L,R,j(x',y')表示{F_L,R,j(x',y')}中坐标位置为(x',y')的像素点的像素值。

在此具体实施例中，步骤A4中的 $F_{L,R,j}(x^{\′},y^{\′})=F_{L,j}(x^{\′},y^{\′})\×\frac{G_{L,j}(x^{\′},y^{\′})}{G_{L,j}(x^{\′},y^{\′})+G_{R,j}(x^{\′},y^{\′})}+F_{R,j}(x^{\′}+d_j(x^{\′},y^{\′}),y^{\′})\×\frac{G_{R,j}(x^{\′}+d_j(x^{\′},y^{\′}),y^{\′})}{G_{L,j}(x^{\′},y^{\′})+G_{R,j}(x^{\′}+d_j(x^{\′},y^{\′}),y^{\′})}$ ，其中，F_R,j(x'+d_j(x',y'),y')表示{F_R,j(x',y')}中坐标位置为(x'+d_j(x',y'),y')的像素点的像素值，G_R,j(x'+d_j(x',y'),y')表示{G_R,j(x',y')}中坐标位置为(x'+d_j(x',y'),y')的像素点的像素值。

A5、计算{R_L,R,j(x',y')}与{F_L,R,j(x',y')}之间的自相似度图像，记为{H_j,sim(x',y')}，其中，H_j,sim(x,y)表示{H_j,sim(x',y')}中坐标位置为(x',y')的像素点的像素值。

在此具体实施例中，步骤A5中的 $H_{j,sim}(x^{\′},y^{\′})=\frac{2\×R_{L,R,j}(x^{\′},y^{\′})\×F_{L,R,j}(x^{\′},y^{\′})+C}{{\left(R_{L,R,j}\right(x^{\′},y^{\′}\left)\right)}^2+{\left(F_{L,R,j}\right(x^{\′},y^{\′}\left)\right)}^2+C},$ 其中，C为控制参数，在本实施例中取C＝0.0001。

A6、采用现有的量化方法对{H_j,sim(x',y')}进行处理，得到{H_j,sim(x',y')}的量化图像，记为{H_j,sim,Q(x',y')}；并采用现有的局部二值化模式(LocalBinaryPattern)操作对{H_j,sim(x',y')}进行处理，得到{H_j,sim(x',y')}的局部二值化模式图像，记为{H_j,sim,lbp(x',y')}；其中，H_j,sim,Q(x',y')表示{H_j,sim,Q(x',y')}中坐标位置为(x',y')的像素点的像素值，H_j,sim,lbp(x',y')表示{H_j,sim,lbp(x',y')}中坐标位置为(x',y')的像素点的像素值。

在本实施例中，步骤A6中的局部二值化模式操作中的领域参数P取值为8，且局部半径参数R取值为1。

A7、采用现有的直方图统计方法对{H_j,sim,Q(x',y')}进行统计操作，得到{H_j,sim,Q(x',y')}的直方图统计特征向量，记为H_j,sim,Q,hist；同样，采用现有的直方图统计方法对{H_j,sim,lbp(x',y')}进行统计操作，得到{H_j,sim,lbp(x',y')}的直方图统计特征向量，记为H_{j,sim,lbp,hist}；其中，H_j,sim,Q,hist的维数为1×m'维，H_{j,sim,lbp,hist}的维数为1×m'维，m'＝P+2，P表示局部二值化模式操作中的领域参数。

⑨计算S_dis对应的直方图统计特征向量与训练集中的每幅失真立体图像对应的直方图统计特征向量之间的距离，将S_dis对应的直方图统计特征向量与训练集中的第j幅失真立体图像对应的直方图统计特征向量之间的距离记为D_dis,j，D_dis,j＝|H_{dis,sim,Q,hist}-H_j,sim,Q,hist|+|H_{dis,sim,lbp,hist}-H_{j,sim,lbp,hist}|，并将这N'个距离构成的集合记为{D_dis,j|1≤j≤N'}，其中，符号“||”为取绝对值符号；然后对{D_dis,j|1≤j≤N'}中的所有距离按从小到大的顺序排列，将排列后的集合记为{D'_dis,j|1≤j≤N'}；接着获取{D'_dis,j|1≤j≤N'}中的前K个距离各自对应的训练集中的失真立体图像的平均主观评分值，并将这K个平均主观评分值构成的集合记为{DMOS'₁,DMOS'₂,…,DMOS'_K}，其中，1≤K≤N'，在本实施例中取K＝10，DMOS'₁,DMOS'₂,…,DMOS'_K对应表示{D'_dis,j|1≤j≤N'}中的第1个距离对应的训练集中的失真立体图像的平均主观评分值、第2个距离对应的训练集中的失真立体图像的平均主观评分值、…、第K个距离对应的训练集中的失真立体图像的平均主观评分值。

⑩计算S_dis的客观质量评价预测值，记为Q_dis，其中，D'_dis,k表示{D'_dis,j|1≤j≤N'}中的第k个距离，DMOS'_k表示D'_dis,k对应的训练集中的失真立体图像的平均主观评分值。

为了进一步验证本发明方法的可行性和有效性，进行实验。

在此，采用LIVE立体图像失真库来分析利用本发明方法得到的失真立体图像的客观质量评价预测值与平均主观评分值之间的相关性。这里，利用评估图像质量评价方法的3个常用客观参量作为评价指标，即非线性回归条件下的Pearson相关系数(Pearsonlinearcorrelationcoefficient，PLCC)、Spearman相关系数(Spearmanrankordercorrelationcoefficient，SROCC)、均方误差(rootmeansquarederror，RMSE)，PLCC和RMSE反映失真立体图像的客观质量评价预测值的准确性，SROCC反映其单调性。

利用本发明方法计算LIVE立体图像失真库中的每幅失真立体图像的客观质量评价预测值，再利用现有的主观质量评价方法获得LIVE立体图像失真库中的每幅失真立体图像的平均主观评分值。将按本发明方法计算得到的失真立体图像的客观质量评价预测值做五参数Logistic函数非线性拟合，PLCC和SROCC值越高，RMSE值越低说明客观评价方法的客观评价结果与平均主观评分值之间的相关性越好。反映本发明方法的质量评价性能的PLCC、SROCC和RMSE相关系数如表1所列。从表1所列的数据可知，按本发明方法得到的失真立体图像的客观质量评价预测值与平均主观评分值之间的相关性是很好的，表明客观评价结果与人眼主观感知的结果较为一致，足以说明本发明方法的可行性和有效性。

表1利用本发明方法得到的LIVE立体图像失真库中的失真立体图像的客观质量评价预测值与平均主观评分值之间的相关性

Claims (5)

1.一种基于双目融合特征相似度的无参考立体图像质量评价方法，其特征在于包括以下步骤：

①令S_dis表示待评价的失真立体图像，将S_dis的左视点图像记为{L_dis(x,y)}，将S_dis的右视点图像记为{R_dis(x,y)}；然后采用块匹配方法，计算{L_dis(x,y)}与{R_dis(x,y)}之间的视差图像，记为{d_dis(x,y)}；其中，1≤x≤W,1≤y≤H，W表示S_dis的宽度，H表示S_dis的高度，L_dis(x,y)表示{L_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，R_dis(x,y)表示{R_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，d_dis(x,y)表示{d_dis(x,y)}中坐标位置为(x,y)的像素点的像素值；

②采用Gabor滤波方法对{L_dis(x,y)}进行操作，得到左视点响应图，记为{G_L,dis(x,y)}；并采用LOG滤波方法对{L_dis(x,y)}进行操作，得到左视点视觉特征图，记为{F_L,dis(x,y)}；其中，G_L,dis(x,y)表示{G_L,dis(x,y)}中坐标位置为(x,y)的像素点的像素值，F_L,dis(x,y)表示{F_L,dis(x,y)}中坐标位置为(x,y)的像素点的像素值；

同样，采用Gabor滤波方法对{R_dis(x,y)}进行操作，得到右视点响应图，记为{G_R,dis(x,y)}；并采用LOG滤波方法对{R_dis(x,y)}进行操作，得到右视点视觉特征图，记为{F_R,dis(x,y)}；其中，G_R,dis(x,y)表示{G_R,dis(x,y)}中坐标位置为(x,y)的像素点的像素值，F_R,dis(x,y)表示{F_R,dis(x,y)}中坐标位置为(x,y)的像素点的像素值；

③根据{L_dis(x,y)}和{R_dis(x,y)}、{G_L,dis(x,y)}和{G_R,dis(x,y)}、{d_dis(x,y)}，计算S_dis的左右视点融合图像，记为{R_L,R,dis(x,y)}，其中，R_L,R,dis(x,y)表示{R_L,R,dis(x,y)}中坐标位置为(x,y)的像素点的像素值；

④根据{F_L,dis(x,y)}和{F_R,dis(x,y)}、{G_L,dis(x,y)}和{G_R,dis(x,y)}、{d_dis(x,y)}，计算S_dis的左右视点融合视觉特征图，记为{F_L,R,dis(x,y)}，其中，F_L,R,dis(x,y)表示{F_L,R,dis(x,y)}中坐标位置为(x,y)的像素点的像素值；

⑤计算{R_L,R,dis(x,y)}与{F_L,R,dis(x,y)}之间的自相似度图像，记为{H_dis,sim(x,y)}，其中，H_dis,sim(x,y)表示{H_dis,sim(x,y)}中坐标位置为(x,y)的像素点的像素值；

⑥采用量化方法对{H_dis,sim(x,y)}进行处理，得到{H_dis,sim(x,y)}的量化图像，记为{H_dis,sim,Q(x,y)}；并采用局部二值化模式操作对{H_dis,sim(x,y)}进行处理，得到{H_dis,sim(x,y)}的局部二值化模式图像，记为{H_dis,sim,lbp(x,y)}；其中，H_dis,sim,Q(x,y)表示{H_dis,sim,Q(x,y)}中坐标位置为(x,y)的像素点的像素值，H_dis,sim,lbp(x,y)表示{H_dis,sim,lbp(x,y)}中坐标位置为(x,y)的像素点的像素值；

⑦采用直方图统计方法对{H_dis,sim,Q(x,y)}进行统计操作，得到{H_dis,sim,Q(x,y)}的直方图统计特征向量，记为H_{dis,sim,Q,hist}；同样，采用直方图统计方法对{H_dis,sim,lbp(x,y)}进行统计操作，得到{H_dis,sim,lbp(x,y)}的直方图统计特征向量，记为H_{dis,sim,lbp,hist}；其中，H_{dis,sim,Q,hist}的维数为1×m'维，H_{dis,sim,Q,hist}中的第m个元素为H_{dis,sim,Q,hist}(m)，H_{dis,sim,lbp,hist}的维数为1×m'维，H_{dis,sim,lbp,hist}中的第m个元素为H_{dis,sim,lbp,hist}(m)，1≤m≤m'，m'＝P+2，P表示局部二值化模式操作中的领域参数；

⑧采用n”幅原始的无失真立体图像，建立其在不同失真类型不同失真程度下的失真立体图像集合，将该失真立体图像集合作为训练集，训练集包括多幅失真立体图像；然后利用主观质量评价方法评价出训练集中的每幅失真立体图像的平均主观评分值，将训练集中的第j幅失真立体图像的平均主观评分值记为DMOS_j；再按照步骤①至步骤⑦的操作，以相同的方式获取训练集中的每幅失真立体图像对应的自相似度图像的量化图像的直方图统计特征向量和自相似度图像的局部二值化模式图像的直方图统计特征向量，将训练集中的第j幅失真立体图像对应的自相似度图像的量化图像的直方图统计特征向量和自相似度图像的局部二值化模式图像的直方图统计特征向量分别记为H_j,sim,Q,hist和H_{j,sim,lbp,hist}；其中，n”>1，1≤j≤N'，N'表示训练集中包含的失真立体图像的总幅数，0≤DMOS_j≤100，H_j,sim,Q,hist和H_{j,sim,lbp,hist}的维数均为1×m'维；

⑨计算S_dis对应的直方图统计特征向量与训练集中的每幅失真立体图像对应的直方图统计特征向量之间的距离，将S_dis对应的直方图统计特征向量与训练集中的第j幅失真立体图像对应的直方图统计特征向量之间的距离记为D_dis,j，D_dis,j＝|H_{dis,sim,Q,hist}-H_j,sim,Q,hist|+|H_{dis,sim,lbp,hist}-H_{j,sim,lbp,hist}|，并将这N'个距离构成的集合记为{D_dis,j|1≤j≤N'}，其中，符号“||”为取绝对值符号；然后对{D_dis,j|1≤j≤N'}中的所有距离按从小到大的顺序排列，将排列后的集合记为{D'_dis,j|1≤j≤N'}；接着获取{D'_dis,j|1≤j≤N'}中的前K个距离各自对应的训练集中的失真立体图像的平均主观评分值，并将这K个平均主观评分值构成的集合记为{DMOS'₁,DMOS'₂,…,DMOS'_K}，其中，1≤K≤N'，DMOS'₁,DMOS'₂,…,DMOS'_K对应表示{D'_dis,j|1≤j≤N'}中的第1个距离对应的训练集中的失真立体图像的平均主观评分值、第2个距离对应的训练集中的失真立体图像的平均主观评分值、…、第K个距离对应的训练集中的失真立体图像的平均主观评分值。

⑩计算S_dis的客观质量评价预测值，记为Q_dis，其中，D'_dis,k表示{D'_dis,j|1≤j≤N'}中的第k个距离，DMOS'_k表示D'_dis,k对应的训练集中的失真立体图像的平均主观评分值。

2.根据权利要求1所述的基于双目融合特征相似度的无参考立体图像质量评价方法，其特征在于所述的步骤③中的 $R_{L,R,dis}\left(x,y\right)=L_{dis}\left(x,y\right)\×\frac{G_{L,dis}\left(x,y\right)}{G_{L,dis}\left(x,y\right)+G_{R,dis}\left(x,y\right)}+R_{dis}\left(x+d_{dis}\left(x,y\right),y\right)\×\frac{G_{R,dis}\left(x+d_{dis}\left(x,y\right),y\right)}{G_{L,dis}\left(x,y\right)+G_{R,dis}\left(x+d_{dis}\left(x,y\right),y\right)}$ ，其中，R_dis(x+d_dis(x,y),y)表示{R_dis(x,y)}中坐标位置为(x+d_dis(x,y),y)的像素点的像素值，G_R,dis(x+d_dis(x,y),y)表示{G_R,dis(x,y)}中坐标位置为(x+d_dis(x,y),y)的像素点的像素值。

3.根据权利要求1或2所述的基于双目融合特征相似度的无参考立体图像质量评价方法，其特征在于所述的步骤④中的 $F_{L,R,dis}\left(x,y\right)=F_{L,dis}\left(x,y\right)\×\frac{G_{L,dis}\left(x,y\right)}{G_{L,dis}\left(x,y\right)+G_{R,dis}\left(x,y\right)}+F_{R,dis}\left(x+d_{dis}\left(x,y\right),y\right)\×\frac{G_{R,dis}\left(x+d_{dis}\left(x,y\right),y\right)}{G_{L,dis}\left(x,y\right)+G_{R,dis}\left(x+d_{dis}\left(x,y\right),y\right)}$ ，其中，F_R,dis(x+d_dis(x,y),y)表示{F_R,dis(x,y)}中坐标位置为(x+d_dis(x,y),y)的像素点的像素值，G_R,dis(x+ddis(x,y),y)表示{G_R,dis(x,y)}中坐标位置为(x+d_dis(x,y),y)的像素点的像素值。

4.根据权利要求3所述的基于双目融合特征相似度的无参考立体图像质量评价方法，其特征在于所述的步骤⑤中的 $H_{dis,sim}(x,y)=\frac{2\×R_{L,R,dis}(x,y)\×F_{L,R,dis}(x,y)+C}{{\left(R_{L,R,dis}\right(x,y\left)\right)}^2+{\left(F_{L,R,dis}\right(x,y\left)\right)}^2+C},$ 其中，C为控制参数。

5.根据权利要求4所述的基于双目融合特征相似度的无参考立体图像质量评价方法，其特征在于所述的步骤⑥中的局部二值化模式操作中的领域参数P取值为8，且局部半径参数R取值为1。