CN105979253B

CN105979253B - 基于广义回归神经网络的无参考立体图像质量评价方法

Info

Publication number: CN105979253B
Application number: CN201610300453.5A
Authority: CN
Inventors: 周武杰; 张爽爽; 潘婷; 蔡星宇; 顾鹏笠; 郑飘飘; 岑岗; 王中鹏; 周扬; 吴茗蔚; 邱薇薇; 陈芳妮; 郑卫红; 陈寿法; 陶坚; 葛丁飞
Original assignee: Zhejiang Lover Health Science and Technology Development Co Ltd
Current assignee: Jiaxing Zhixu Information Technology Co ltd
Priority date: 2016-05-06
Filing date: 2016-05-06
Publication date: 2017-11-28
Anticipated expiration: 2036-05-06
Also published as: CN105979253A

Abstract

本发明公开了一种基于广义回归神经网络的无参考立体图像质量评价方法，其根据待评价的失真立体图像的左、右视点图像各自的幅值图像和相位图像及左、右视点图像之间的视差图像，获取左右视点双目能量图像，进一步得到双目能量调制后的归一化直方图统计特征向量；对于训练集中的每幅失真立体图像，以相同的方式获得特征向量，对训练集中的所有失真立体图像各自的主观评分和特征向量进行训练，得到广义回归神经网络训练模型，最后对待评价的失真立体图像的双目能量调制后的归一化直方图统计特征向量进行测试，得到客观质量评价预测值；优点是能够充分考虑到立体视觉感知特性，从而能够有效地提高客观评价结果与主观感知之间的相关性。

Description

基于广义回归神经网络的无参考立体图像质量评价方法

技术领域

本发明涉及一种立体图像质量客观评价方法，尤其是涉及一种基于广义回归神经网络的无参考立体图像质量评价方法。

背景技术

进入二十一世纪以来，随着立体图像/视频系统处理技术的日趋成熟，以及计算机网络与通信技术的快速发展，已引起人们对立体图像/视频系统的强烈需求。相比传统的单视点图像/视频系统，立体图像/视频系统由于能够提供深度信息来增强视觉的真实感，给用户以身临其境的全新视觉体验而越来越受到人们的欢迎，已被认为是下一代媒体主要的发展方向，已引发了学术界、产业界的广泛关注。然而，人们为了获得更好的立体临场感和视觉体验，对立体视觉主观感知质量提出了更高的要求。在立体图像/视频系统中，采集、编码、传输、解码及显示等处理环节都会引入一定失真，这些失真将对立体视觉主观感知质量产生不同程度的影响，由于在大多数的应用系统中原始无失真参考图像是不可得的，因此如何有效地进行无参考质量评价是亟需解决的难点问题。综上，评价立体图像质量，并建立与主观质量评价相一致的客观评价模型显得尤为重要。

目前，研究人员提出了不少针对单视点视觉质量无参考评价方法，然而由于缺乏系统理论深入研究立体视觉感知特性，因此还没有有效地无参考立体图像质量评价方法。相比单视点视觉质量无参考评价模型，无参考立体图像质量评价模型需要考虑不同失真类型立体掩蔽效应以及与之相关的双目竞争/抑制和双目融合等立体感知因素对视觉质量的影响。因此，不能简单地把现有的单视点视觉质量无参考评价模型直接扩展到无参考立体图像质量评价方法中。现有的无参考质量客观评价方法主要是通过机器学习来预测评价模型的，但针对立体图像，现有的无参考立体图像质量评价方法还是平面图像评价方法的简单扩展，并没有考虑双目视觉特性，因此，如何在评价过程中有效地提取特征信息，在评价过程中进行双目视觉特性结合，使得客观评价结果更加符合人类视觉感知系统，是无参考立体图像进行客观质量评价过程中需要研究解决的问题。

发明内容

本发明所要解决的技术问题是提供一种基于广义回归神经网络的无参考立体图像质量评价方法，其能够充分考虑到立体视觉感知特性，从而能够有效地提高客观评价结果与主观感知之间的相关性。

本发明解决上述技术问题所采用的技术方案为：一种基于广义回归神经网络的无参考立体图像质量评价方法，其特征在于包括以下步骤：

①令S_dis表示待评价的失真立体图像，将S_dis的左视点图像记为{L_dis(x,y)}，将S_dis的右视点图像记为{R_dis(x,y)}，其中，1≤x≤W,1≤y≤H，W表示S_dis的宽度，H表示S_dis的高度，L_dis(x,y)表示{L_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，R_dis(x,y)表示{R_dis(x,y)}中坐标位置为(x,y)的像素点的像素值；

②分别对{L_dis(x,y)}和{R_dis(x,y)}实施log-Gabor滤波，得到{L_dis(x,y)}和{R_dis(x,y)}各自的幅值图像和相位图像，将{L_dis(x,y)}的幅值图像和相位图像对应记为{G_{L_dis}(x,y)}和{P_{L_dis}(x,y)}，将{R_dis(x,y)}的幅值图像和相位图像对应记为{G_{R_dis}(x,y)}和{P_{R_dis}(x,y)}，其中，G_{L_dis}(x,y)表示{G_{L_dis}(x,y)}中坐标位置为(x,y)的像素点的像素值，P_{L_dis}(x,y)表示{P_{L_dis}(x,y)}中坐标位置为(x,y)的像素点的像素值，G_{R_dis}(x,y)表示{G_{R_dis}(x,y)}中坐标位置为(x,y)的像素点的像素值，P_{R_dis}(x,y)表示{P_{R_dis}(x,y)}中坐标位置为(x,y)的像素点的像素值；

③采用块匹配方法计算{L_dis(x,y)}与{R_dis(x,y)}之间的视差图像，记为{d_dis(x,y)}，其中，d_dis(x,y)表示{d_dis(x,y)}中坐标位置为(x,y)的像素点的像素值；

④根据{G_{L_dis}(x,y)}和{P_{L_dis}(x,y)}、{G_{R_dis}(x,y)}和{P_{R_dis}(x,y)}、{d_dis(x,y)}，计算S_dis的左右视点双目能量图像，记为{F_dis(x,y)}，将{F_dis(x,y)}中坐标位置为(x,y)的像素点的像素值记为F_dis(x,y)，，其中，G_{R_dis}(x+d_dis(x,y),y)表示{G_{R_dis}(x,y)}中坐标位置为(x+d_dis(x,y),y)的像素点的像素值，P_{R_dis}(x+d_dis(x,y),y)表示{P_{R_dis}(x,y)}中坐标位置为(x+d_dis(x,y),y)的像素点的像素值，cos()为取余弦函数；

⑤采用局部二值化模式操作对{F_dis(x,y)}进行处理，得到{F_dis(x,y)}的旋转不变性局部二值化模式图像，记为{LBP_riu(x,y)}，其中，LBP_riu(x,y)表示{LBP_riu(x,y)}中坐标位置为(x,y)的像素点的像素值；

⑥根据{F_dis(x,y)}和{LBP_riu(x,y)}，计算S_dis的双目能量调制后的归一化直方图统计特征向量，记为H，将H中的第m个元素记为H(m)，其中，H的维数为1×m'维，m'＝P+2，P表示步骤⑤中的局部二值化模式操作中的领域参数，1≤m≤m'，f()为统计函数表示形式，

⑦采用n”幅原始的无失真立体图像，建立其在不同失真类型不同失真程度下的失真立体图像集合，该失真立体图像集合包括多幅失真立体图像；然后利用主观质量评价方法分别评价出该失真立体图像集合中的每幅失真立体图像的主观评分，将该失真立体图像集合中的第j幅失真立体图像的主观评分记为DMOS_j；再按照步骤①至步骤⑥的操作，以相同的方式获取该失真立体图像集合中的每幅失真立体图像的双目能量调制后的归一化直方图统计特征向量，将该失真立体图像集合中的第j幅失真立体图像的双目能量调制后的归一化直方图统计特征向量记为H_j；其中，n”>1，1≤j≤N'，N'表示该失真立体图像集合中包含的失真立体图像的总幅数，0≤DMOS_j≤100，H_j的维数为1×m'维，m'＝P+2，P表示步骤⑤中的局部二值化模式操作中的领域参数；

⑧将该失真立体图像集合作为训练集；然后利用广义回归神经网络对训练集中的所有失真立体图像各自的主观评分和双目能量调制后的归一化直方图统计特征向量进行训练，使得经过训练得到的回归函数值与主观评分之间的误差最小，得到广义回归神经网络训练模型；再根据广义回归神经网络训练模型，对S_dis的双目能量调制后的归一化直方图统计特征向量H进行测试，预测得到S_dis的客观质量评价预测值。

所述的步骤⑤中的局部二值化模式操作中的领域参数P取值为8、局部半径参数R取值为1。

与现有技术相比，本发明的优点在于：

1)本发明方法考虑了双目融合视觉特性，利用这些特性获取双目能量调制后的归一化直方图统计特征向量来模拟双目视觉感知，使得本发明方法能够充分考虑到立体视觉感知特性。

2)本发明方法在充分利用了双目视觉感知特性的基础上，采用左右视点双目能量图像对其旋转不变性局部二值化模式图像进行调制，得到的双目能量调制后的归一化直方图统计特征向量能够有效地表示主观视觉特性，因此能有效地提高客观评价结果与主观感知之间的相关性。

附图说明

图1为本发明方法的总体实现框图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种基于广义回归神经网络的无参考立体图像质量评价方法，其总体实现框图如图1所示，其包括以下步骤：

①令S_dis表示待评价的失真立体图像，将S_dis的左视点图像记为{L_dis(x,y)}，将S_dis的右视点图像记为{R_dis(x,y)}，其中，1≤x≤W,1≤y≤H，W表示S_dis的宽度，H表示S_dis的高度，L_dis(x,y)表示{L_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，R_dis(x,y)表示{R_dis(x,y)}中坐标位置为(x,y)的像素点的像素值。

②分别对{L_dis(x,y)}和{R_dis(x,y)}实施log-Gabor滤波，得到{L_dis(x,y)}和{R_dis(x,y)}各自的幅值图像和相位图像，将{L_dis(x,y)}的幅值图像和相位图像对应记为{G_{L_dis}(x,y)}和{P_{L_dis}(x,y)}，将{R_dis(x,y)}的幅值图像和相位图像对应记为{G_{R_dis}(x,y)}和{P_{R_dis}(x,y)}，其中，G_{L_dis}(x,y)表示{G_{L_dis}(x,y)}中坐标位置为(x,y)的像素点的像素值，P_{L_dis}(x,y)表示{P_{L_dis}(x,y)}中坐标位置为(x,y)的像素点的像素值，G_{R_dis}(x,y)表示{G_{R_dis}(x,y)}中坐标位置为(x,y)的像素点的像素值，P_{R_dis}(x,y)表示{P_{R_dis}(x,y)}中坐标位置为(x,y)的像素点的像素值。

③采用块匹配方法计算{L_dis(x,y)}与{R_dis(x,y)}之间的视差图像，记为{d_dis(x,y)}，其中，d_dis(x,y)表示{d_dis(x,y)}中坐标位置为(x,y)的像素点的像素值。

④根据{G_{L_dis}(x,y)}和{P_{L_dis}(x,y)}、{G_{R_dis}(x,y)}和{P_{R_dis}(x,y)}、{d_dis(x,y)}，计算S_dis的左右视点双目能量图像，记为{F_dis(x,y)}，将{F_dis(x,y)}中坐标位置为(x,y)的像素点的像素值记为F_dis(x,y)，，其中，G_{R_dis}(x+d_dis(x,y),y)表示{G_{R_dis}(x,y)}中坐标位置为(x+d_dis(x,y),y)的像素点的像素值，P_{R_dis}(x+d_dis(x,y),y)表示{P_{R_dis}(x,y)}中坐标位置为(x+d_dis(x,y),y)的像素点的像素值，cos()为取余弦函数。

⑤采用现有的局部二值化模式操作对{F_dis(x,y)}进行处理，得到{F_dis(x,y)}的旋转不变性局部二值化模式图像，记为{LBP_riu(x,y)}，其中，LBP_riu(x,y)表示{LBP_riu(x,y)}中坐标位置为(x,y)的像素点的像素值。

在本实施例中，步骤⑤中的局部二值化模式操作中的领域参数P取值为8、局部半径参数R取值为1。

⑥根据{F_dis(x,y)}和{LBP_riu(x,y)}，计算S_dis的双目能量调制后的归一化直方图统计特征向量，记为H，将H中的第m个元素记为H(m)，其中，H的维数为1×m'维，m'＝P+2，P表示步骤⑤中的局部二值化模式操作中的领域参数，在本实施例中取P＝8，1≤m≤m'，f()为统计函数表示形式，

⑦采用n”幅原始的无失真立体图像，建立其在不同失真类型不同失真程度下的失真立体图像集合，该失真立体图像集合包括多幅失真立体图像；然后利用现有的主观质量评价方法分别评价出该失真立体图像集合中的每幅失真立体图像的主观评分，将该失真立体图像集合中的第j幅失真立体图像的主观评分记为DMOS_j；再按照步骤①至步骤⑥的操作，以相同的方式获取该失真立体图像集合中的每幅失真立体图像的双目能量调制后的归一化直方图统计特征向量，将该失真立体图像集合中的第j幅失真立体图像的双目能量调制后的归一化直方图统计特征向量记为H_j；其中，n”>1，如取n”＝10，1≤j≤N'，N'表示该失真立体图像集合中包含的失真立体图像的总幅数，0≤DMOS_j≤100，H_j的维数为1×m'维，m'＝P+2，P表示步骤⑤中的局部二值化模式操作中的领域参数，在本实施例中取P＝8。

⑧广义回归神经网络(GRNN)具有很强的非线性映射能力和柔性网络结构以及高度的容错性和鲁棒性，应用于解决非线性问题，因此本发明将该失真立体图像集合作为训练集；然后利用广义回归神经网络对训练集中的所有失真立体图像各自的主观评分和双目能量调制后的归一化直方图统计特征向量进行训练，使得经过训练得到的回归函数值与主观评分之间的误差最小，得到广义回归神经网络训练模型；再根据广义回归神经网络训练模型，对S_dis的双目能量调制后的归一化直方图统计特征向量H进行测试，预测得到S_dis的客观质量评价预测值。

为了进一步验证本发明方法的可行性和有效性，进行实验。

在此，采用LIVE立体图像失真库来分析利用本发明方法得到的失真立体图像的客观质量评价预测值与主观评分之间的相关性。这里，利用评估图像质量评价方法的3个常用客观参量作为评价指标，即非线性回归条件下的Pearson相关系数(Pearson linearcorrelation coefficient，PLCC)、Spearman相关系数(Spearman rank ordercorrelation coefficient，SROCC)、均方误差(root mean squared error，RMSE)，PLCC和RMSE反映失真立体图像的客观质量评价预测值的准确性，SROCC反映其单调性。

利用本发明方法计算LIVE立体图像失真库中的每幅失真立体图像的客观质量评价预测值，再利用现有的主观质量评价方法获得LIVE立体图像失真库中的每幅失真立体图像的主观评分。将按本发明方法计算得到的失真立体图像的客观质量评价预测值做五参数Logistic函数非线性拟合，PLCC和SROCC值越高，RMSE值越低说明客观评价方法的客观评价结果与主观评分相关性越好。反映本发明方法的质量评价性能的PLCC、SROCC和RMSE相关系数如表1所列。从表1所列的数据可知，按本发明方法得到的失真立体图像的最终的客观质量评价预测值与主观评分之间的相关性是很好的，表明客观评价结果与人眼主观感知的结果较为一致，足以说明本发明方法的可行性和有效性。

表1利用本发明方法得到的失真立体图像的客观质量评价预测值与主观评分之间的相关性

Claims

1.一种基于广义回归神经网络的无参考立体图像质量评价方法，其特征在于包括以下步骤：

④根据{G_{L_dis}(x,y)}和{P_{L_dis}(x,y)}、{G_{R_dis}(x,y)}和{P_{R_dis}(x,y)}、{d_dis(x,y)}，计算S_dis的左右视点双目能量图像，记为{F_dis(x,y)}，将{F_dis(x,y)}中坐标位置为(x,y)的像素点的像素值记为F_dis(x,y)，

，

其中，G_{R_dis}(x+d_dis(x,y),y)表示{G_{R_dis}(x,y)}中坐标位置为(x+d_dis(x,y),y)的像素点的像素值，P_{R_dis}(x+d_dis(x,y),y)表示{P_{R_dis}(x,y)}中坐标位置为(x+d_dis(x,y),y)的像素点的像素值，cos()为取余弦函数；

⑥根据{F_dis(x,y)}和{LBP_riu(x,y)}，计算S_dis的双目能量调制后的归一化直方图统计特征向量，记为H，将H中的第m个元素记为H(m)，其中，H的维数为1×m′维，m′＝P+2，P表示步骤⑤中的局部二值化模式操作中的领域参数，1≤m≤m′，f()为统计函数表示形式，

⑦采用n″幅原始的无失真立体图像，建立其在不同失真类型不同失真程度下的失真立体图像集合，该失真立体图像集合包括多幅失真立体图像；然后利用主观质量评价方法分别评价出该失真立体图像集合中的每幅失真立体图像的主观评分，将该失真立体图像集合中的第j幅失真立体图像的主观评分记为DMOS_j；再按照步骤①至步骤⑥的操作，以相同的方式获取该失真立体图像集合中的每幅失真立体图像的双目能量调制后的归一化直方图统计特征向量，将该失真立体图像集合中的第j幅失真立体图像的双目能量调制后的归一化直方图统计特征向量记为H_j；其中，n″>1，1≤j≤N′，N′表示该失真立体图像集合中包含的失真立体图像的总幅数，0≤DMOS_j≤100，H_j的维数为1×m′维，m′＝P+2，P表示步骤⑤中的局部二值化模式操作中的领域参数；

2.根据权利要求1所述的基于广义回归神经网络的无参考立体图像质量评价方法，其特征在于所述的步骤⑤中的局部二值化模式操作中的领域参数P取值为8、局部半径参数R取值为1。