CN108520510A - 一种基于整体和局部分析的无参考立体图像质量评价方法 - Google Patents

Abstract

本发明公开了一种基于整体和局部分析的无参考立体图像质量评价方法，步骤(1)、利用立体图像的左右视图的视差信息产生反映人眼对立体图像在脑海中成像的感官体验的独眼图；步骤(2)、以立体图像的原始左右视图和产生的独眼图作为整体信息输入，构建一个基于卷积神经网络的整体质量评价模型，得到立体图像的整体质量评价分数；步骤(3)、将立体图像的左右原始视图和产生的独眼图分别分割成重叠的小块作为局部信息输入，构建一个基于卷积神经网络的局部质量评价模型，得到立体图像的局部细节质量评价分数；步骤(4)、得到对失真图片最终的评价结果。与现有技术相比，本发明能够对立体图质量实现与人眼一致的评价效果。

Description

一种基于整体和局部分析的无参考立体图像质量评价方法

技术领域

本发明涉及图像处理、机器学习，图像质量评价等多种领域，特别是涉及一种立体图像质量的评价方法。

背景技术

近年来，得益于互联网、计算机和通信技术的高速发展，人类已经步入了信息化的时代。其中图像作为视觉信息的载体，已经成为人们日常的生活、工作和娱乐中最普遍的信息传播方式。图像相对于文字、声音等信息载体能够给人们提供更加清楚和真实的感官体验。特别是随着3维(Three-Dimensional，3D)显示技术的快速发展，3DTV、3D电影、虚拟现实游戏、远程教育、虚拟视点合成等等已经走进人们日常的生活和娱乐。这些传统视觉领域和3D技术的应用给人们提供了超越以往观看2D图像的体验，提供了更加真实的立体感觉。但是图像在传输和存储的过程中不可避免的会受到损失，从而影响图像的发展和应用。

3D立体图像区别于传统的2D平面图像，立体图像包含平面图像所不具有的视差深度信息。一般来说，3D立体图像是由两台相机模拟人眼的距离拍摄得到分别对应于人的左右眼观测到的两张略有差异的图像组成的。左右两幅视图视差的存在使得图像产生了深度立体信息。人的双眼具有双目视差原理，双目通过左右视点接受来自同一场景的信息，然后在大脑中融合成立体图像。在提供远超过平面图像的体验的同时，观看立体图像对图像的质量要求更高。在观看体验效果差的立体图像，有可能会产生晕眩、恶心难受等现象。所以如何准确的对立体图像的质量进行评估是立体图像应用发展中的一个重要课题。

近年来，深度学习技术逐渐兴起，并在机器视觉的相关领域取得不错的成绩。作为深度学习模型的一种，卷积神经网络(Convolutional Neural Network)是一种端对端的架构，它的输入直接就是原始图像，然后通过深度学习自动提取图像的高维特征信息，最后根据提取到的信息对结果给予准确的预测。将卷积神经网络(Convolutional NeuralNetwork)应用于立体图像的质量评价，避免了人工提取图像特征的难度和复杂度，转而让机器在大量的数据的训练下自动提取图像的特征并生成合适的模型，而提取图像特征恰恰是影响算法最终性能好坏的重要因素，这样不仅大大简化了模型，而且使得最终质量评价结果与主观评价具有更高的一致性。

发明内容

本发明的目的是提出一种基于整体和局部分析的无参考立体图像质量评价方法，利用原始左右视图生成可以反映人眼对立体图像的立体体验的独眼图，使用卷积神经网络分别从整体和局部对失真的立体图像进行评价，得到与人眼的主观评价具有更高的一致性。

本发明提出的一种基于整体和局部分析的无参考立体图像质量评价方法，该方法包括以下步骤：

步骤1、利用立体图像的左右视图的视差信息产生反映人眼对立体图像在脑海中成像的感官体验的独眼图，计算公式如下：

CI(x,y)＝W_L(x,y)×I_L(x,y)+W_R((x+d),y)×I_R((x+d),y)

其中，CI(x,y)表示表示生成的独眼图在(x，y)处的像素值，I_L和I_R分别表示立体图像的左右视图，d表示立体图像的左视图相对于右视图的视差图在(x，y)处的数值，W_L和W_R则分别表示对左右视图取的权重，左右权重通过计算归一化Gabor滤波能量响应幅值得到，计算公式如下：

其中，GE_L(x,y)和GE_R((x+d),y)分别表示左右视图在所有尺寸和方向上的能量响应值；

步骤2、以立体图像的原始左右视图和产生的独眼图作为整体信息输入，构建一个基于W_i的整体质量评价模型，对立体图像的整体体验做出质量评价，得到立体图像的整体质量评价分数，模型表达式如下；

F_i(x)＝max(0,W_i*x+b_i)

M_g＝F₅…F₁(x)

其中，W_i表示卷积神经网络第i层的权重参数，b_i表示卷积神经网络第i层的偏置项参数，x为输入，F_i(x)表示卷积神经网络第i层的输出，经过类似的五层网络结构得到最终的输出：即整体感知质量分数M_g；

步骤3、将立体图像的左右原始视图和产生的独眼图分别分割成重叠的小块作为局部信息输入，构建一个基于卷积神经网络的局部质量评价模型，对立体图像的局部细节体验做出质量评价，将得到的各个小块的质量分数取平均得到立体图像的局部细节质量评价分数，表达式公式如下；

F_i(x)＝max(0,W_i*x+b_i)

M_li＝F₅…F₁(x_i)

其中，W_i表示卷积神经网络第i层的权重参数，b_i表示卷积神经网络第i层的偏置项参数，x为输入，F_i(x)表示卷积神经网络第i层的输出，经过类似的五层网络结构得到最终的输出：即800个重叠小块质量分数取平均得到的最终局部感知质量分数M_1i；

步骤(4)、根据步骤(2)和步骤(3)得到的整体质量评价分数和局部细节质量评价分数取平均，计算公式如下：

其中，M表示最终的客观质量评价分数，M_g表示整体感官评价分数，M_l表示局部细节感官评价分数；

得到对失真图片最终的评价结果。

与现有技术相比，本发明能够对立体图质量实现与人眼一致的评价效果。

附图说明

图1为本发明整体和局部分析的无参考立体图像质量评价方法流程图；

图2为立体图像质量评价的卷积神经网络结构图。

具体实施方式

下面将结合附图对本发明的实施方式作进一步的详细描述。

本发明的整体思路是利用立体图像的左右视图的视差信息产生可以反映人眼对立体图像在脑海中成像的感官体验的独眼图，然后分别从人眼对立体图像的整体感受和局部细节的感受两个角度建立深度学习网络模型对立体图像的质量做出评价，最后将整体和局部得到的质量评价分数取平均得到对失真立体图像最终的评价结果。具体流程通过以下几个主要步骤实现：

第一步，选择图像库LIVE3D_phase1和LIVE3D_phase2中的图像作为实验样本，首先利用原始的左右视图产生可以反映人眼对立体图像在脑海中成像的感官体验的独眼图，计算公式如下：

CI(x,y)＝W_L(x,y)×I_L(x,y)+W_R((x+d),y)×I_R((x+d),y)

其中，CI(x,y)表示可以反映人眼对立体图像在脑海中成像的感官体验的独眼图，(CI是Cyclopean Image的缩写，表示最终生成的独眼图像，CI(x,y)表示生成的独眼图在(x,y)处的像素值)，I_L和I_R分别表示立体图像的左右视图，d表示立体图像的左视图相对于右视图的视差图在(x,y)处的数值，W_L和W_R则分别表示对左右视图取的权重，左右权重通过计算归一化Gabor滤波能量响应幅值得到，计算公式如下：

其中，GE_L(x,y)和GE_R((x+d),y)分别表示左右视图在所有尺寸和方向上的能量响应值；

第二步，对原始的左右视图以及上述独眼图进行预处理：选择适当大小的归一化区域，求取该区域图像像素灰度值的均值以及方差，最后对该区域的像素灰度值进行去除均值以及除以方差的操作，使得该区域的像素灰度值呈现出均值为零、方差为1的高斯分布特征：

其中，I(i,j)表示需要预处理图片(i,j)位置的像素值，p,q表示局部归一化操作时的归一化区域尺寸的大小(这里取值为3)，C表示一个整数，用来防止灰度值计算公式的分母趋向于0；μ(i,j)表示归一化区域像素灰度值的均值，σ(i,j)表示归一化区域像素灰度值的方差；

第三步，将原始的左右视图以及独眼图作为整体信息输入如图2所示的3通道的卷积神经网络；因为对于立体图像来说，失真包括对称失真和非对称失真两大类，所以为了保证训练样本的完备性，使用LIVE3D_phase2(对称失真图片120对，非对称失真图片240对)中的80％失真图像作为训练样本，20％作为测试样本，得到对失真立体图片的整体感官评价；

第四步，在第三步的基础上，将图片分割成重叠的小块(小块的尺寸为32*32，分割的步长为16)，再次使用如图2所示的网络模型进行训练，得到对失真立体图片的局部细节的感官评价；

第五步，针对第三、四步得到的整体和局部细节评价结果，通过如下的公式综合得到最终的客观质量评价分数：

其中，M表示最终的客观质量评价分数，M_g代表整体感官评价分数，M_l表示局部细节感官评价分数；

第六步，对于测试失真立体图像，重复第一、二步的数据预处理过程，将预处理后的图像数据经过第三、四步得到的评价模型得到整体和局部质量评价分数，最后再经过第五步的综合整体和局部质量评价模型得出立体图像的客观评价分数。

对于本发明做以下几点说明：

(1)本发明由于采用深度学习的方法，所以大量的而完备的样本对模型最终的准确性以及泛化性都具有重大的影响；

(2)本方案没有详细说明的部分可以应用现有技术进行实现和优化。

本发明并不局限于前述的具体步骤。本发明扩展到任何本说明书中披露的新特征或任何新的组合，或新的步骤的组合。综上，本说明书内容不应理解为对本发明的限制。

Claims (1)

1.一种基于整体和局部分析的无参考立体图像质量评价方法，其特征在于，该方法包括以下步骤：

步骤(1)、利用立体图像的左右视图的视差信息产生反映人眼对立体图像在脑海中成像的感官体验的独眼图，计算公式如下：

CI(x,y)＝W_L(x,y)×I_L(x,y)+W_R((x+d),y)×I_R((x+d),y)

其中，CI(x,y)表示表示生成的独眼图在(x，y)处的像素值，I_L和I_R分别表示立体图像的左右视图，d表示立体图像的左视图相对于右视图的视差图在(x，y)处的数值，W_L和W_R则分别表示对左右视图取的权重，左右权重通过计算归一化Gabor滤波能量响应幅值得到，计算公式如下：

其中，GE_L(x,y)和GE_R((x+d),y)分别表示左右视图在所有尺寸和方向上的能量响应值；

步骤(2)、以立体图像的原始左右视图和产生的独眼图作为整体信息输入，构建一个基于W_i的整体质量评价模型，对立体图像的整体体验做出质量评价，得到立体图像的整体质量评价分数，表达式如下；

F_i(x)＝max(0,W_i*x+b_i)

M_g＝F₅…F₁(x)

其中，W_i表示卷积神经网络第i层的权重参数，b_i表示卷积神经网络第i层的偏置项参数，x为输入，F_i(x)表示卷积神经网络第i层的输出，经过类似的五层网络结构得到最终的输出：即整体感知质量分数M_g；

步骤(3)、将立体图像的左右原始视图和产生的独眼图分别分割成重叠的小块作为局部信息输入，构建一个基于卷积神经网络的局部质量评价模型，对立体图像的局部细节体验做出质量评价，将得到的各个小块的质量分数取平均得到立体图像的局部细节质量评价分数，表达式如下；

F_i(x)＝max(0,W_i*x+b_i)

M_li＝F₅…F₁(x_i)

其中，W_i表示卷积神经网络第i层的权重参数，b_i表示卷积神经网络第i层的偏置项参数，x为输入，F_i(x)表示卷积神经网络第i层的输出，经过类似的五层网络结构得到最终的输出：即800个重叠小块质量分数取平均得到的最终局部感知质量分数M_1i；

步骤(4)、根据步骤(2)和步骤(3)得到的整体质量评价分数和局部细节质量评价分数取平均，计算公式如下：

其中，M表示最终的客观质量评价分数，M_g表示整体感官评价分数，M_l表示局部细节感官评价分数；

得到对失真图片最终的评价结果。