CN109872305A

CN109872305A - 一种基于质量图生成网络的无参考立体图像质量评价方法

Info

Publication number: CN109872305A
Application number: CN201910058364.8A
Authority: CN
Inventors: 周武杰; 张爽爽; 何成; 王海江; 邱薇薇; 陈芳妮; 张宇来; 楼宋江
Original assignee: Zhejiang Lover Health Science and Technology Development Co Ltd
Current assignee: Zhejiang Lover Health Science and Technology Development Co Ltd; Zhejiang University of Science and Technology ZUST
Priority date: 2019-01-22
Filing date: 2019-01-22
Publication date: 2019-06-11
Anticipated expiration: 2039-01-22
Also published as: CN109872305B

Abstract

本发明公开了一种基于质量图生成网络的无参考立体图像质量评价方法，其在训练阶段，构建一个质量图生成网络，将训练集中的所有失真平面图像的归一化图像依次输入到质量图生成网络中，并将对应的质量图作为监督，训练得到最优的质量图生成网络模型；在测试阶段，利用最优的质量图生成网络模型提取出待评价的失真立体图像的左视点图像、右视点图像和融合图像各自的归一化图像的预测质量图，并获取各自的显著特征图，然后根据对应的预测质量图和显著特征图，求取各自的预测质量得分，再融合三个预测质量得分得到最终的预测质量得分；优点是其能充分考虑到立体图像的多种特性对视觉质量的影响，从而能提高客观评价结果与双目主观感知之间的相关性。

Description

一种基于质量图生成网络的无参考立体图像质量评价方法

技术领域

本发明涉及一种图像质量评价技术，尤其是涉及一种基于质量图生成网络的无参考立体图像质量评价方法。

背景技术

随着立体图像应用的飞速发展，很多相关的立体图像技术和服务已经被引入到人们的日常生活以及许多专业领域中。在收集、传输、处理和显示立体图像的时候，可能会发生各种各样的失真。因此，建立一种高性能的立体图像质量评价方法具有重大的实用意义。立体图像质量评价分为主观评价和客观评价两种方式。主观评价是人们直接对立体图像进行主观评价，由于人类视觉系统(Human Visual System，HSV)是立体图像的最终接收者，因此主观评价是非常具有说服力的。然而在实际应用中，由于主观评价非常的耗时和费力，达不到实时应用系统的要求，因此客观评价在立体图像质量评价中占据着主导地位。客观立体图像质量评价方法主要有三类，分别为全参考评价方法、半参考评价方法和无参考评价方法。全参考评价方法是利用无失真的原始图像与失真图像进行对比，从而获得它们之间的差异性。半参考评价方法利用了部分原始图像信息。而无参考评价方法则完全没有利用原始图像信息。由于原始图像在实际应用中很难得到，因此无参考评价方法具有更高的研究价值。

现有的大多数立体图像质量评价方法都无法精确判断立体图像的质量，并且很少考虑模型的通用性，都是在一个数据库上进行训练及测试，也没有将图像显著性作为考虑对象。立体图像的左视点与右视点权重分配问题也严重影响着立体图像的质量，在现有的立体图像质量评价方法中也很少考虑。因此，如何在评价过程中有效地提取特征信息，并有效地学习特征信息，在评价过程中考虑模型的通用性，并考虑立体图像的显著性，使得客观评价结果更加符合人类视觉感知系统，是对立体图像进行客观质量评价过程中需要研究解决的问题。

发明内容

本发明所要解决的技术问题是提供一种基于质量图生成网络的无参考立体图像质量评价方法，其能够充分考虑到立体图像的多种特性对视觉质量的影响，从而能够提高客观评价结果与双目主观感知之间的相关性。

本发明解决上述技术问题所采用的技术方案为：一种基于质量图生成网络的无参考立体图像质量评价方法，其特征在于包括训练阶段和测试阶段两个过程；

所述的训练阶段过程的具体步骤为：

步骤1_1、选取n_wsz幅原始的无失真平面图像，建立其在不同失真类型不同失真程度下的失真平面图像集合，将该失真平面图像集合作为训练集，训练集中包含多幅失真平面图像，将训练集中的第i幅失真平面图像记为{I_dis,i(x',y')}，将{I_dis,i(x',y')}相应的原始的无失真平面图像记为{I_ref,i(x',y')}；其中，n_wsz为正整数，n_wsz＞1，i为正整数，i的初始值为1，1≤i≤n_sz，n_sz表示训练集中包含的失真平面图像的总幅数，1≤x'≤W'，1≤y'≤H'，W'表示{I_dis,i(x',y')}和{I_ref,i(x',y')}的宽度，H'表示{I_dis,i(x',y')}和{I_ref,i(x',y')}的高度，I_dis,i(x',y')表示{I_dis,i(x',y')}中坐标位置为(x',y')的像素点的像素值，I_ref,i(x',y')表示{I_ref,i(x',y')}中坐标位置为(x',y')的像素点的像素值；

步骤1_2、采用基于结构相似度的质量图求取方法，结合训练集中的每幅失真平面图像及其相应的原始的无失真平面图像，获取训练集中的每幅失真平面图像的质量图，将{I_dis,i(x',y')}的质量图记为{Q_dis,i(x',y')}，{Q_dis,i(x',y')}为结合{I_dis,i(x',y')}和{I_ref,i(x',y')}得到；其中，Q_dis,i(x',y')表示{Q_dis,i(x',y')}中坐标位置为(x',y')的像素点的像素值；

采用归一化方法，对训练集中的每幅失真平面图像进行归一化处理，得到训练集中的每幅失真平面图像的归一化图像，将{I_dis,i(x',y')}的归一化图像记为{N_dis,i(x',y')}；其中，N_dis,i(x',y')表示{N_dis,i(x',y')}中坐标位置为(x',y')的像素点的像素值；

步骤1_3、构建一个质量图生成网络：质量图生成网络是U-Net改进的卷积神经网络，质量图生成网络包括输入层、中间层和输出层，中间层由24个卷积层、4个最大池化层、4个上采样层、4个联接层组成；其中，所有卷积层各自的卷积核大小为3×3、步长为2、使用的激活函数为ReLU，第1个、第2个、第20个、第21个、第22个、第23个卷积层各自的卷积核个数为16，第3个、第4个、第17个、第18个、第19个卷积层各自的卷积核个数为32，第5个、第6个、第14个、第15个、第16个卷积层各自的卷积核个数为64，第7个、第8个、第11个、第12个、第13个卷积层各自的卷积核个数为128，第9个、第10个卷积层各自的卷积核个数为256，第24个卷积层的卷积核个数为1，所有最大池化层各自的池化窗口大小为3×3、步长为2，所有上采样层各自的上采样步长为2，所有联接层均采用concat联接函数；

对于输入层，输入层的输入端接收一幅输入图像，输入层的输出端输出输入图像给中间层；其中，要求输入层的输入端接收的输入图像的宽度为W'、高度为H'；

对于中间层，第1个卷积层的输入端接收输入层的输出端输出的输入图像，第1个卷积层的输出端输出16幅特征图；第2个卷积层的输入端接收第1个卷积层的输出端输出的所有特征图，第2个卷积层的输出端输出16幅特征图；第1个最大池化层的输入端接收第2个卷积层的输出端输出的所有特征图，第1个最大池化层的输出端输出16幅特征图；第3个卷积层的输入端接收第1个最大池化层的输出端输出的所有特征图，第3个卷积层的输出端输出32幅特征图；第4个卷积层的输入端接收第3个卷积层的输出端输出的所有特征图，第4个卷积层的输出端输出32幅特征图；第2个最大池化层的输入端接收第4个卷积层的输出端输出的所有特征图，第2个最大池化层的输出端输出32幅特征图；第5个卷积层的输入端接收第2个最大池化层的输出端输出的所有特征图，第5个卷积层的输出端输出64幅特征图；第6个卷积层的输入端接收第5个卷积层的输出端输出的所有特征图，第6个卷积层的输出端输出64幅特征图；第3个最大池化层的输入端接收第6个卷积层的输出端输出的所有特征图，第3个最大池化层的输出端输出64幅特征图；第7个卷积层的输入端接收第3个最大池化层的输出端输出的所有特征图，第7个卷积层的输出端输出128幅特征图；第8个卷积层的输入端接收第7个卷积层的输出端输出的所有特征图，第8个卷积层的输出端输出128幅特征图；第4个最大池化层的输入端接收第8个卷积层的输出端输出的所有特征图，第4个最大池化层的输出端输出128幅特征图；第9个卷积层的输入端接收第4个最大池化层的输出端输出的所有特征图，第9个卷积层的输出端输出256幅特征图；第10个卷积层的输入端接收第9个卷积层的输出端输出的所有特征图，第10个卷积层的输出端输出256幅特征图；第1个上采样层的输入端接收第10个卷积层的输出端输出的所有特征图，第1个上采样层的输出端输出256幅特征图；第11个卷积层的输入端接收第1个上采样层的输出端输出的所有特征图，第11个卷积层的输出端输出128幅特征图；第1个联接层的输入端接收第11个卷积层的输出端输出的所有特征图和第8个卷积层的输出端输出的所有特征图，第1个联接层的输出端输出256幅特征图；第12个卷积层的输入端接收第1个联接层的输出端输出的所有特征图，第12个卷积层的输出端输出128幅特征图；第13个卷积层的输入端接收第12个卷积层的输出端输出的所有特征图，第13个卷积层的输出端输出128幅特征图；第2个上采样层的输入端接收第13个卷积层的输出端输出的所有特征图，第2个上采样层的输出端输出128幅特征图；第14个卷积层的输入端接收第2个上采样层的输出端输出的所有特征图，第14个卷积层的输出端输出64幅特征图；第2个联接层的输入端接收第14个卷积层的输出端输出的所有特征图和第6个卷积层的输出端输出的所有特征图，第2个联接层的输出端输出128幅特征图；第15个卷积层的输入端接收第2个联接层的输出端输出的所有特征图，第15个卷积层的输出端输出64幅特征图；第16个卷积层的输入端接收第15个卷积层的输出端输出的所有特征图，第16个卷积层的输出端输出64幅特征图；第3个上采样层的输入端接收第16个卷积层的输出端输出的所有特征图，第3个上采样层的输出端输出64幅特征图；第17个卷积层的输入端接收第3个上采样层的输出端输出的所有特征图，第17个卷积层的输出端输出32幅特征图；第3个联接层的输入端接收第17个卷积层的输出端输出的所有特征图和第4个卷积层的输出端输出的所有特征图，第3个联接层的输出端输出64幅特征图；第18个卷积层的输入端接收第3个联接层的输出端输出的所有特征图，第18个卷积层的输出端输出32幅特征图；第19个卷积层的输入端接收第18个卷积层的输出端输出的所有特征图，第19个卷积层的输出端输出32幅特征图；第4个上采样层的输入端接收第19个卷积层的输出端输出的所有特征图，第4个上采样层的输出端输出32幅特征图；第20个卷积层的输入端接收第4个上采样层的输出端输出的所有特征图，第20个卷积层的输出端输出16幅特征图；第4个联接层的输入端接收第20个卷积层的输出端输出的所有特征图和第2个卷积层的输出端输出的所有特征图，第4个联接层的输出端输出32幅特征图；第21个卷积层的输入端接收第4个联接层的输出端输出的所有特征图，第21个卷积层的输出端输出16幅特征图；第22个卷积层的输入端接收第21个卷积层的输出端输出的所有特征图，第22个卷积层的输出端输出16幅特征图；第23个卷积层的输入端接收第22个卷积层的输出端输出的所有特征图，第23个卷积层的输出端输出16幅特征图；第24个卷积层的输入端接收第23个卷积层的输出端输出的所有特征图，第24个卷积层的输出端输出1幅特征图；

对于输出层，输出层的输入端接收第24个卷积层的输出端输出的1幅特征图，输出层的输出端输出1幅特征图作为输入图像的预测质量图；

步骤1_4、将训练集中的所有失真平面图像的归一化图像依次作为输入图像输入到质量图生成网络中，并将对应的质量图作为质量图生成网络的监督，对质量图生成网络进行训练，训练得到最优的质量图生成网络模型；

所述的测试阶段过程的具体步骤为：

步骤2_1、令S_ref表示原始的无失真立体图像，令S_dis为S_ref经失真处理后得到的失真立体图像，并将S_dis作为待评价的失真立体图像；将S_ref的左视点图像记为{L_ref(x,y)}，将S_ref的右视点图像记为{R_ref(x,y)}，将S_dis的左视点图像记为{L_dis(x,y)}，将S_dis的右视点图像记为{R_dis(x,y)}；其中，1≤x≤W，1≤y≤H，W表示S_ref和S_dis的宽度，H表示S_ref和S_dis的高度，L_ref(x,y)表示{L_ref(x,y)}中坐标位置为(x,y)的像素点的像素值，R_ref(x,y)表示{R_ref(x,y)}中坐标位置为(x,y)的像素点的像素值，L_dis(x,y)表示{L_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，R_dis(x,y)表示{R_dis(x,y)}中坐标位置为(x,y)的像素点的像素值；

步骤2_2、采用融合图像生成方法，对{L_dis(x,y)}和{R_dis(x,y)}进行融合处理，得到S_dis的融合图像，记为{M_dis(x,y)}；其中，M_dis(x,y)表示{M_dis(x,y)}中坐标位置为(x,y)的像素点的像素值；

步骤2_3、采用归一化方法，对{L_dis(x,y)}进行归一化处理，得到{L_dis(x,y)}的归一化图像，记为{N_L,dis(x,y)}；同样，采用归一化方法，对{R_dis(x,y)}进行归一化处理，得到{R_dis(x,y)}的归一化图像，记为{N_R,dis(x,y)}；采用归一化方法，对{M_dis(x,y)}进行归一化处理，得到{M_dis(x,y)}的归一化图像，记为{N_M,dis(x,y)}；其中，N_L,dis(x,y)表示{N_L,dis(x,y)}中坐标位置为(x,y)的像素点的像素值，N_R,dis(x,y)表示{N_R,dis(x,y)}中坐标位置为(x,y)的像素点的像素值，N_M,dis(x,y)表示{N_M,dis(x,y)}中坐标位置为(x,y)的像素点的像素值；

步骤2_4、利用最优的质量图生成网络模型提取出{N_L,dis(x,y)}的预测质量图，记为同样，利用最优的质量图生成网络模型提取出{N_R,dis(x,y)}的预测质量图，记为利用最优的质量图生成网络模型提取出{N_M,dis(x,y)}的预测质量图，记为其中，表示中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值；

步骤2_5、采用基于先验信息的显著图检测方法，对{L_dis(x,y)}进行显著图提取，得到{L_dis(x,y)}的显著特征图，记为{X_L,dis(x,y)}；同样，采用基于先验信息的显著图检测方法，对{R_dis(x,y)}进行显著图提取，得到{R_dis(x,y)}的显著特征图，记为{X_R,dis(x,y)}；采用基于先验信息的显著图检测方法，对{M_dis(x,y)}进行显著图提取，得到{M_dis(x,y)}的显著特征图，记为{X_M,dis(x,y)}；其中，X_L,dis(x,y)表示{X_L,dis(x,y)}中坐标位置为(x,y)的像素点的像素值，X_R,dis(x,y)表示{X_R,dis(x,y)}中坐标位置为(x,y)的像素点的像素值，X_M,dis(x,y)表示{X_M,dis(x,y)}中坐标位置为(x,y)的像素点的像素值；

步骤2_6、采用显著性加权方法，结合和{X_L,dis(x,y)}，求取得到{L_dis(x,y)}的预测质量得分，记为q_L,dis；同样，采用显著性加权方法，结合和{X_R,dis(x,y)}，求取得到{R_dis(x,y)}的预测质量得分，记为q_R,dis；采用显著性加权方法，结合和{X_M,dis(x,y)}，求取得到{M_dis(x,y)}的预测质量得分，记为q_M,dis；

步骤2_7、采用左右视点质量值加权融合方法，对q_L,dis和q_R,dis进行加权融合，得到左右视点图像的加权融合质量得分，记为q_LR,dis；再将q_LR,dis和q_M,dis进行加权融合，得到S_dis的预测质量得分，记为q。

所述的步骤1_2中，Q_dis,i(x',y')的获取过程为：

步骤1_2a、计算{I_ref,i(x',y')}的局部均值映射图，记为{μ_ref,i(x',y')}；并计算{I_dis,i(x',y')}的局部均值映射图，记为{μ_dis,i(x',y')}；计算{I_ref,i(x',y')}的局部标准差映射图，记为{σ_ref,i(x',y')}；计算{I_dis,i(x',y')}的局部标准差映射图，记为{σ_dis,i(x',y')}；计算{I_ref,i(x',y')}与{I_dis,i(x',y')}的局部协方差映射图，记为{σ_ref,dis,i(x',y')}；其中，μ_ref,i(x',y')表示{μ_ref,i(x',y')}中坐标位置为(x',y')的像素点的像素值，μ_dis,i(x',y')表示{μ_dis,i(x',y')}中坐标位置为(x',y')的像素点的像素值，σ_ref,i(x',y')表示{σ_ref,i(x',y')}中坐标位置为(x',y')的像素点的像素值，σ_dis,i(x',y')表示{σ_dis,i(x',y')}中坐标位置为(x',y')的像素点的像素值，σ_ref,dis,i(x',y')表示{σ_ref,dis,i(x',y')}中坐标位置为(x',y')的像素点的像素值；

步骤1_2b、根据{μ_ref,i(x',y')}、{μ_dis,i(x',y')}、{σ_ref,i(x',y')}、{σ_dis,i(x',y')}和{σ_ref,dis,i(x',y')}，获得{Q_dis,i(x',y')}，

其中，C₁和C₂均为用于防止分母为0的小常数。

所述的步骤2_7中，q_LR,dis的获取过程为：q_LR,dis＝β_L×q_L,dis+β_R×q_R,dis，其中，β_L表示q_L,dis的权重，β_R表示q_R,dis的权重， E_L,dis(x,y)表示{L_dis(x,y)}的能量图，E_R,dis(x,y)表示{R_dis(x,y)}的能量图， E_L,ref(x,y)表示{L_ref(x,y)}的能量图，E_R,ref(x,y)表示{R_ref(x,y)}的能量图。

所述的步骤2_7中，q的获取过程为：q＝β_LR×q_LR,dis+β_M×q_M,dis，其中，β_LR＝0.2，β_M＝0.8。

与现有技术相比，本发明的优点在于：

1)在训练阶段，通过构建一个质量图生成网络，将训练集中的所有失真平面图像的归一化图像依次作为输入图像输入到质量图生成网络中，并将对应的质量图作为质量图生成网络的监督，对质量图生成网络进行训练，这样在测试阶段可直接利用训练得到的最优的质量图生成网络模型分别作为左视点图像、右视点图像以及融合图像各自的归一化图像的预测质量图的提取器，由于本发明方法构建的质量图生成网络是U-Net改进的卷积神经网络，因此能够准确预测出相应的预测质量图，符合人眼神经学的生理特征，与人眼感知特性高度一致。

2)显著性是图像的一个重要特征，人类视觉系统对图像显著部分的关注度会更高，因此本发明方法对得到的预测质量图进行显著性加权平均，得到左视点图像、右视点图像以及融合图像各自的预测质量得分，能够很好地反映图像卷积特征以及显著性特征等多种因素变化对图像质量的影响，符合质量评价特征的要求。

3)对左视点图像的预测质量得分和右视点图像的预测质量得分进行加权和，然后再与融合图像的预测质量得分进行加权和，最终得到立体图像的预测质量得分，由于充分考虑了左视点图像、右视点图像和融合图像分别对立体图像的影响，因此能有效地提高客观评价结果与主观感知之间的相关性。

附图说明

图1为本发明方法的总体实现框图；

图2为本发明方法构建的质量图生成网络的结构图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种基于质量图生成网络的无参考立体图像质量评价方法，其总体实现框图如图1所示，其包括训练阶段和测试阶段两个过程；

所述的训练阶段过程的具体步骤为：

步骤1_1、选取n_wsz幅原始的无失真平面图像，建立其在不同失真类型不同失真程度下的失真平面图像集合，将该失真平面图像集合作为训练集，训练集中包含多幅失真平面图像，将训练集中的第i幅失真平面图像记为{I_dis,i(x',y')}，将{I_dis,i(x',y')}相应的原始的无失真平面图像记为{I_ref,i(x',y')}；其中，n_wsz为正整数，n_wsz＞1，如取n_wsz＝6000，i为正整数，i的初始值为1，1≤i≤n_sz，n_sz表示训练集中包含的失真平面图像的总幅数，1≤x'≤W'，1≤y'≤H'，W'表示{I_dis,i(x',y')}和{I_ref,i(x',y')}的宽度，H'表示{I_dis,i(x',y')}和{I_ref,i(x',y')}的高度，I_dis,i(x',y')表示{I_dis,i(x',y')}中坐标位置为(x',y')的像素点的像素值，I_ref,i(x',y')表示{I_ref,i(x',y')}中坐标位置为(x',y')的像素点的像素值。

步骤1_2、采用现有的基于结构相似度(Structural Similarity，SSIM)的质量图求取方法，结合训练集中的每幅失真平面图像及其相应的原始的无失真平面图像，获取训练集中的每幅失真平面图像的质量图，将{I_dis,i(x',y')}的质量图记为{Q_dis,i(x',y')}，{Q_dis,i(x',y')}为结合{I_dis,i(x',y')}和{I_ref,i(x',y')}得到；其中，Q_dis,i(x',y')表示{Q_dis,i(x',y')}中坐标位置为(x',y')的像素点的像素值。

采用归一化方法，对训练集中的每幅失真平面图像进行归一化处理，得到训练集中的每幅失真平面图像的归一化图像，将{I_dis,i(x',y')}的归一化图像记为{N_dis,i(x',y')}；其中，N_dis,i(x',y')表示{N_dis,i(x',y')}中坐标位置为(x',y')的像素点的像素值，

在此具体实施例中，步骤1_2中，Q_dis,i(x',y')的获取过程为：

步骤1_2a、计算{I_ref,i(x',y')}的局部均值映射图，记为{μ_ref,i(x',y')}；并计算{I_dis,i(x',y')}的局部均值映射图，记为{μ_dis,i(x',y')}；计算{I_ref,i(x',y')}的局部标准差映射图，记为{σ_ref,i(x',y')}；计算{I_dis,i(x',y')}的局部标准差映射图，记为{σ_dis,i(x',y')}；计算{I_ref,i(x',y')}与{I_dis,i(x',y')}的局部协方差映射图，记为{σ_ref,dis,i(x',y')}；其中，μ_ref,i(x',y')表示{μ_ref,i(x',y')}中坐标位置为(x',y')的像素点的像素值，μ_dis,i(x',y')表示{μ_dis,i(x',y')}中坐标位置为(x',y')的像素点的像素值，σ_ref,i(x',y')表示{σ_ref,i(x',y')}中坐标位置为(x',y')的像素点的像素值，σ_dis,i(x',y')表示{σ_dis,i(x',y')}中坐标位置为(x',y')的像素点的像素值，σ_ref,dis,i(x',y')表示{σ_ref,dis,i(x',y')}中坐标位置为(x',y')的像素点的像素值。

其中，C₁和C₂均为用于防止分母为0的小常数，在本实施例中取C₁＝C₂＝0.001。

步骤1_3、构建一个质量图生成网络：质量图生成网络是U-Net改进的卷积神经网络，如图2所示，质量图生成网络包括输入层、中间层和输出层，中间层由24个卷积层、4个最大池化层、4个上采样层、4个联接层组成；其中，所有卷积层各自的卷积核大小为3×3、步长为2、使用的激活函数为ReLU，第1个、第2个、第20个、第21个、第22个、第23个卷积层各自的卷积核个数为16，第3个、第4个、第17个、第18个、第19个卷积层各自的卷积核个数为32，第5个、第6个、第14个、第15个、第16个卷积层各自的卷积核个数为64，第7个、第8个、第11个、第12个、第13个卷积层各自的卷积核个数为128，第9个、第10个卷积层各自的卷积核个数为256，第24个卷积层的卷积核个数为1，所有最大池化层各自的池化窗口大小为3×3、步长为2，所有上采样层各自的上采样步长为2，所有联接层均采用concat联接函数。

对于输入层，输入层的输入端接收一幅输入图像，输入层的输出端输出输入图像给中间层；其中，要求输入层的输入端接收的输入图像的宽度为W'、高度为H'。

对于中间层，第1个卷积层的输入端接收输入层的输出端输出的输入图像，第1个卷积层的输出端输出16幅特征图；第2个卷积层的输入端接收第1个卷积层的输出端输出的所有特征图，第2个卷积层的输出端输出16幅特征图；第1个最大池化层的输入端接收第2个卷积层的输出端输出的所有特征图，第1个最大池化层的输出端输出16幅特征图；第3个卷积层的输入端接收第1个最大池化层的输出端输出的所有特征图，第3个卷积层的输出端输出32幅特征图；第4个卷积层的输入端接收第3个卷积层的输出端输出的所有特征图，第4个卷积层的输出端输出32幅特征图；第2个最大池化层的输入端接收第4个卷积层的输出端输出的所有特征图，第2个最大池化层的输出端输出32幅特征图；第5个卷积层的输入端接收第2个最大池化层的输出端输出的所有特征图，第5个卷积层的输出端输出64幅特征图；第6个卷积层的输入端接收第5个卷积层的输出端输出的所有特征图，第6个卷积层的输出端输出64幅特征图；第3个最大池化层的输入端接收第6个卷积层的输出端输出的所有特征图，第3个最大池化层的输出端输出64幅特征图；第7个卷积层的输入端接收第3个最大池化层的输出端输出的所有特征图，第7个卷积层的输出端输出128幅特征图；第8个卷积层的输入端接收第7个卷积层的输出端输出的所有特征图，第8个卷积层的输出端输出128幅特征图；第4个最大池化层的输入端接收第8个卷积层的输出端输出的所有特征图，第4个最大池化层的输出端输出128幅特征图；第9个卷积层的输入端接收第4个最大池化层的输出端输出的所有特征图，第9个卷积层的输出端输出256幅特征图；第10个卷积层的输入端接收第9个卷积层的输出端输出的所有特征图，第10个卷积层的输出端输出256幅特征图；第1个上采样层的输入端接收第10个卷积层的输出端输出的所有特征图，第1个上采样层的输出端输出256幅特征图；第11个卷积层的输入端接收第1个上采样层的输出端输出的所有特征图，第11个卷积层的输出端输出128幅特征图；第1个联接层的输入端接收第11个卷积层的输出端输出的所有特征图和第8个卷积层的输出端输出的所有特征图，第1个联接层的输出端输出256幅特征图；第12个卷积层的输入端接收第1个联接层的输出端输出的所有特征图，第12个卷积层的输出端输出128幅特征图；第13个卷积层的输入端接收第12个卷积层的输出端输出的所有特征图，第13个卷积层的输出端输出128幅特征图；第2个上采样层的输入端接收第13个卷积层的输出端输出的所有特征图，第2个上采样层的输出端输出128幅特征图；第14个卷积层的输入端接收第2个上采样层的输出端输出的所有特征图，第14个卷积层的输出端输出64幅特征图；第2个联接层的输入端接收第14个卷积层的输出端输出的所有特征图和第6个卷积层的输出端输出的所有特征图，第2个联接层的输出端输出128幅特征图；第15个卷积层的输入端接收第2个联接层的输出端输出的所有特征图，第15个卷积层的输出端输出64幅特征图；第16个卷积层的输入端接收第15个卷积层的输出端输出的所有特征图，第16个卷积层的输出端输出64幅特征图；第3个上采样层的输入端接收第16个卷积层的输出端输出的所有特征图，第3个上采样层的输出端输出64幅特征图；第17个卷积层的输入端接收第3个上采样层的输出端输出的所有特征图，第17个卷积层的输出端输出32幅特征图；第3个联接层的输入端接收第17个卷积层的输出端输出的所有特征图和第4个卷积层的输出端输出的所有特征图，第3个联接层的输出端输出64幅特征图；第18个卷积层的输入端接收第3个联接层的输出端输出的所有特征图，第18个卷积层的输出端输出32幅特征图；第19个卷积层的输入端接收第18个卷积层的输出端输出的所有特征图，第19个卷积层的输出端输出32幅特征图；第4个上采样层的输入端接收第19个卷积层的输出端输出的所有特征图，第4个上采样层的输出端输出32幅特征图；第20个卷积层的输入端接收第4个上采样层的输出端输出的所有特征图，第20个卷积层的输出端输出16幅特征图；第4个联接层的输入端接收第20个卷积层的输出端输出的所有特征图和第2个卷积层的输出端输出的所有特征图，第4个联接层的输出端输出32幅特征图；第21个卷积层的输入端接收第4个联接层的输出端输出的所有特征图，第21个卷积层的输出端输出16幅特征图；第22个卷积层的输入端接收第21个卷积层的输出端输出的所有特征图，第22个卷积层的输出端输出16幅特征图；第23个卷积层的输入端接收第22个卷积层的输出端输出的所有特征图，第23个卷积层的输出端输出16幅特征图；第24个卷积层的输入端接收第23个卷积层的输出端输出的所有特征图，第24个卷积层的输出端输出1幅特征图。

对于输出层，输出层的输入端接收第24个卷积层的输出端输出的1幅特征图，输出层的输出端输出1幅特征图作为输入图像的预测质量图。

步骤1_4、将训练集中的所有失真平面图像的归一化图像依次作为输入图像输入到质量图生成网络中，并将对应的质量图作为质量图生成网络的监督，对质量图生成网络进行训练，训练得到最优的质量图生成网络模型。

所述的测试阶段过程的具体步骤为：

步骤2_1、令S_ref表示原始的无失真立体图像，令S_dis为S_ref经失真处理后得到的失真立体图像，并将S_dis作为待评价的失真立体图像；将S_ref的左视点图像记为{L_ref(x,y)}，将S_ref的右视点图像记为{R_ref(x,y)}，将S_dis的左视点图像记为{L_dis(x,y)}，将S_dis的右视点图像记为{R_dis(x,y)}；其中，1≤x≤W，1≤y≤H，W表示S_ref和S_dis的宽度，H表示S_ref和S_dis的高度，W可与W'一致或不一致，H可与H'一致或不一致，L_ref(x,y)表示{L_ref(x,y)}中坐标位置为(x,y)的像素点的像素值，R_ref(x,y)表示{R_ref(x,y)}中坐标位置为(x,y)的像素点的像素值，L_dis(x,y)表示{L_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，R_dis(x,y)表示{R_dis(x,y)}中坐标位置为(x,y)的像素点的像素值。

步骤2_2、采用现有的融合图像生成方法，对{L_dis(x,y)}和{R_dis(x,y)}进行融合处理，得到S_dis的融合图像，记为{M_dis(x,y)}；其中，M_dis(x,y)表示{M_dis(x,y)}中坐标位置为(x,y)的像素点的像素值。

步骤2_3、采用归一化方法，对{L_dis(x,y)}进行归一化处理，得到{L_dis(x,y)}的归一化图像，记为{N_L,dis(x,y)}；同样，采用归一化方法，对{R_dis(x,y)}进行归一化处理，得到{R_dis(x,y)}的归一化图像，记为{N_R,dis(x,y)}；采用归一化方法，对{M_dis(x,y)}进行归一化处理，得到{M_dis(x,y)}的归一化图像，记为{N_M,dis(x,y)}；其中，N_L,dis(x,y)表示{N_L,dis(x,y)}中坐标位置为(x,y)的像素点的像素值，N_R,dis(x,y)表示{N_R,dis(x,y)}中坐标位置为(x,y)的像素点的像素值，N_M,dis(x,y)表示{N_M,dis(x,y)}中坐标位置为(x,y)的像素点的像素值，

步骤2_4、利用最优的质量图生成网络模型提取出{N_L,dis(x,y)}的预测质量图，记为同样，利用最优的质量图生成网络模型提取出{N_R,dis(x,y)}的预测质量图，记为利用最优的质量图生成网络模型提取出{N_M,dis(x,y)}的预测质量图，记为其中，表示中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值。

步骤2_5、采用现有的基于先验信息的显著图检测方法(Saliency Detectionbycombining Simple Priors，SDSP)，对{L_dis(x,y)}进行显著图提取，得到{L_dis(x,y)}的显著特征图，记为{X_L,dis(x,y)}；同样，采用现有的基于先验信息的显著图检测方法，对{R_dis(x,y)}进行显著图提取，得到{R_dis(x,y)}的显著特征图，记为{X_R,dis(x,y)}；采用现有的基于先验信息的显著图检测方法，对{M_dis(x,y)}进行显著图提取，得到{M_dis(x,y)}的显著特征图，记为{X_M,dis(x,y)}；其中，X_L,dis(x,y)表示{X_L,dis(x,y)}中坐标位置为(x,y)的像素点的像素值，X_R,dis(x,y)表示{X_R,dis(x,y)}中坐标位置为(x,y)的像素点的像素值，X_M,dis(x,y)表示{X_M,dis(x,y)}中坐标位置为(x,y)的像素点的像素值。

步骤2_6、采用显著性加权方法，结合和{X_L,dis(x,y)}，求取得到{L_dis(x,y)}的预测质量得分，记为q_L,dis；同样，采用显著性加权方法，结合和{X_R,dis(x,y)}，求取得到{R_dis(x,y)}的预测质量得分，记为q_R,dis；采用显著性加权方法，结合和{X_M,dis(x,y)}，求取得到{M_dis(x,y)}的预测质量得分，记为q_M,dis。

步骤2_7、采用现有的左右视点质量值加权融合方法，对q_L,dis和q_R,dis进行加权融合，得到左右视点图像的加权融合质量得分，记为q_LR,dis；再将q_LR,dis和q_M,dis进行加权融合，得到S_dis的预测质量得分，记为q。

在此具体实施例中，步骤2_7中，q_LR,dis的获取过程为：q_LR,dis＝β_L×q_L,dis+β_R×q_R,dis，其中，β_L表示q_L,dis的权重，β_R表示q_R,dis的权重， E_L,dis(x,y)表示{L_dis(x,y)}的能量图，E_R,dis(x,y)表示{R_dis(x,y)}的能量图， E_L,ref(x,y)表示{L_ref(x,y)}的能量图，E_R,ref(x,y)表示{R_ref(x,y)}的能量图。

在此具体实施例中，步骤2_7中，q的获取过程为：q＝β_LR×q_LR,dis+β_M×q_M,dis，其中，β_LR＝0.2，β_M＝0.8。

为了进一步验证本发明方法的可行性和有效性，进行实验。

在此，选用两个立体图像数据库LIVE Phase I和LIVE Phase II来分析采用本发明方法得到的失真立体图像的预测质量得分与主观评分之间的相关性。这里，利用评估图像质量评价方法的3个常用客观参量作为评价指标，即非线性回归条件下的Pearson相关系数(Pearson linear correlation coefficient，PLCC)、Spearman相关系数(Spearmanrankorder correlation coefficient，SROCC)、均方误差(root mean squared error，RMSE)，PLCC和RMSE反映失真立体图像的预测质量得分的准确性，SROCC反映其单调性。

采用本发明方法计算立体图像数据库中的每幅失真立体图像的预测质量得分，再利用现有的主观质量评价方法获得立体图像数据库中的每幅失真立体图像的主观评分。将按本发明方法计算得到的失真立体图像的预测质量得分做五参数Logistic函数非线性拟合，PLCC和SROCC值越高，RMSE值越低说明客观评价方法的客观评价结果与主观评分之间的相关性越好。反映本发明方法的质量评价性能的PLCC、SROCC和RMSE相关系数如表1和表2所列。从表1和表2所列的数据可知，按本发明方法得到的失真立体图像的预测质量得分与主观评分之间的相关性是很好的，表明客观评价结果与人眼主观感知的结果较为一致，足以说明本发明方法的泛化性和有效性。

表1采用本发明方法得到的LIVE Phase I数据库中的失真立体图像的预测质量得分与主观评分之间的相关性

表2采用本发明方法得到的LIVE Phase II数据库中的失真立体图像的预测质量得分与主观评分之间的相关性

Claims

1.一种基于质量图生成网络的无参考立体图像质量评价方法，其特征在于包括训练阶段和测试阶段两个过程；

所述的训练阶段过程的具体步骤为：

所述的测试阶段过程的具体步骤为：

2.根据权利要求1所述的一种基于质量图生成网络的无参考立体图像质量评价方法，其特征在于所述的步骤1_2中，Q_dis,i(x',y')的获取过程为：

其中，C₁和C₂均为用于防止分母为0的小常数。

3.根据权利要求1或2所述的一种基于质量图生成网络的无参考立体图像质量评价方法，其特征在于所述的步骤2_7中，q_LR,dis的获取过程为：q_LR,dis＝β_L×q_L,dis+β_R×q_R,dis，其中，β_L表示q_L,dis的权重，β_R表示q_R,dis的权重， E_L,dis(x,y)表示{L_dis(x,y)}的能量图，E_R,dis(x,y)表示{R_dis(x,y)}的能量图，E_L,ref(x,y)表示{L_ref(x,y)}的能量图，E_R,ref(x,y)表示{R_ref(x,y)}的能量图。

4.根据权利要求3所述的一种基于质量图生成网络的无参考立体图像质量评价方法，其特征在于所述的步骤2_7中，q的获取过程为：q＝β_LR×q_LR,dis+β_M×q_M,dis，其中，β_LR＝0.2，β_M＝0.8。