CN108492275B

CN108492275B - 基于深度神经网络的无参考立体图像质量评价方法

Info

Publication number: CN108492275B
Application number: CN201810066808.8A
Authority: CN
Inventors: 周武杰; 张爽爽; 师磊磊; 郑飘飘; 潘婷; 顾鹏笠; 蔡星宇; 胡慧敏; 吕思嘉; 袁建中; 陈昱臻; 金国英; 王建芬; 王新华; 孙丽慧; 吴洁雯
Original assignee: Zhejiang Lover Health Science and Technology Development Co Ltd
Current assignee: Fujian Red Rabbit Code Information Technology Co ltd
Priority date: 2018-01-24
Filing date: 2018-01-24
Publication date: 2020-08-18
Anticipated expiration: 2038-01-24
Also published as: CN108492275A

Abstract

本发明公开了一种基于深度神经网络的无参考立体图像质量评价方法，其采用水平视差补偿技术对失真立体图像的右视点图像进行水平视差补偿，得到水平视差补偿后的图像，再采用双目空间活动模型，结合失真立体图像的左视点图像和水平视差补偿后的图像，获得失真立体图像的合成中央眼活动图像，该合成中央眼活动图像能够很好地模拟双目显著性感知特性；其在充分利用了双目视觉感知特性的基础上，提取梯度幅值和高斯拉普拉斯特征信息，因此能有效地提高客观评价结果与主观感知之间的相关性；其采用符合人脑机理特性的深度神经网络预测得到失真立体图像的客观质量评价预测值，使客观评价值能更加准确预测失真立体图像的质量。

Description

基于深度神经网络的无参考立体图像质量评价方法

技术领域

本发明涉及一种图像质量评价方法，尤其是涉及一种基于深度神经网络的无参考立体图像质量评价方法。

背景技术

近几年来，随着计算机科学技术的快速发展，立体可视化吸引了越来越多人的兴趣，计算机图形学的应用在各个行业都得到了快速发展。随着计算机图像、计算机视觉、多媒体及其他相关技术的发展融合，新的视觉多媒体也得到了快速发展，给人们带来了不同于传统二维图像/视频的全新视觉体验。在数字信息大爆炸的今天，立体技术不断成熟，立体产品也不断丰富着人们的生活。越来越多的立体电影占据了荧幕，使人们能更加生动形象地感受到画面，视频电话、3D游戏、手机、电视也越来越多的运用立体技术获得更好的视觉体验。除此之外，立体图像/视频技术还广泛应用于医疗、农业、智能生活、教育、军事等领域。然而，常见的立体图像处理技术包括立体图像/视频的采集、编码、传输、显示和评价等，这一系列的过程会不可避免的引入失真，影响立体图像/视频的立体感及观看舒适度，并有可能带给人们错误的认知，这也严重制约着立体产品的推广及普及。对于立体图像而言，非常需要建立一套可靠有效的质量评价机制，对立体图像显示效果进行准确的评判。因此，立体图像质量评价技术作为促进立体图像/视频技术发展的重要技术，已经成为立体图像处理技术领域的研究热点之一。

现有的无参考质量评价方法主要是通过机器学习来预测评价模型的，但针对立体图像，现有的无参考立体图像质量评价方法还是无参考平面图像质量评价方法的简单扩展，并没有考虑双目视觉特性，也没有充分学习特征数据的能力，因此，如何在评价过程中有效地提取特征信息，并有效地学习特征信息，在评价过程中进行双目视觉特性结合，并使用有效的特征学习模型，使得客观评价结果更加符合人类视觉感知系统，是对立体图像进行客观质量评价过程中需要研究解决的问题。

发明内容

本发明所要解决的技术问题是提供一种基于深度神经网络的无参考立体图像质量评价方法，其能够充分考虑到立体图像的多种特性对视觉质量的影响，从而能够提高客观评价结果与双目主观感知之间的相关性。

本发明解决上述技术问题所采用的技术方案为：一种基于深度神经网络的无参考立体图像质量评价方法，其特征在于包括以下步骤：

①令S_dis表示待评价的失真立体图像，将S_dis的左视点图像记为{L_dis(x,y)}，将S_dis的右视点图像记为{R_dis(x,y)}；其中，1≤x≤W,1≤y≤H，W表示S_dis的宽度，H表示S_dis的高度，L_dis(x,y)表示{L_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，R_dis(x,y)表示{R_dis(x,y)}中坐标位置为(x,y)的像素点的像素值；

②采用水平视差补偿技术，对{R_dis(x,y)}进行水平视差补偿，得到{R_dis(x,y)}水平视差补偿后的图像，记为{R′_dis(x,y)}；然后采用双目空间活动模型，结合{L_dis(x,y)}和{R′_dis(x,y)}，得到S_dis的合成中央眼活动图像，记为{M_dis(x,y)}；其中，R′_dis(x,y)表示{R′_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，M_dis(x,y)表示{M_dis(x,y)}中坐标位置为(x,y)的像素点的像素值；

采用双目产物图提取技术，对{L_dis(x,y)}和{R_dis(x,y)}进行双目产物图提取，得到S_dis的双目产物图像，记为{P_dis(x,y)}；其中，P_dis(x,y)表示{P_dis(x,y)}中坐标位置为(x,y)的像素点的像素值；

③采用梯度幅值特征求取技术，分别对{L_dis(x,y)}、{R_dis(x,y)}、{M_dis(x,y)}、{P_dis(x,y)}进行梯度幅值特征提取，对应得到{L_dis(x,y)}、{R_dis(x,y)}、{M_dis(x,y)}、{P_dis(x,y)}各自的梯度幅值特征图像，对应记为{G_dis，1(x,y)}、{G_dis，2(x,y)}、{G_dis，3(x,y)}、{G_dis，4(x,y)}；并采用高斯拉普拉斯特征求取技术，分别对{L_dis(x,y)}、{R_dis(x,y)}、{M_dis(x,y)}、{P_dis(x,y)}进行高斯拉普拉斯特征提取，对应得到{L_dis(x,y)}、{R_dis(x,y)}、{M_dis(x,y)}、{P_dis(x,y)}各自的高斯拉普拉斯特征图像，对应记为{O_dis，1(x,y)}、{O_dis，2(x,y)}、{O_dis，3(x,y)}、{O_dis，4(x,y)}；其中，G_dis，1(x,y)表示{G_dis，1(x,y)}中坐标位置为(x,y)的像素点的像素值，G_dis，2(x,y)表示{G_dis，2(x,y)}中坐标位置为(x,y)的像素点的像素值，G_dis，3(x,y)表示{G_dis，3(x,y)}中坐标位置为(x,y)的像素点的像素值，G_dis，4(x,y)表示{G_dis，4(x,y)}中坐标位置为(x,y)的像素点的像素值，O_dis，1(x,y)表示{O_dis，1(x,y)}中坐标位置为(x,y)的像素点的像素值，O_dis，2(x,y)表示{O_dis，2(x,y)}中坐标位置为(x,y)的像素点的像素值，O_dis，3(x,y)表示{O_dis，3(x,y)}中坐标位置为(x,y)的像素点的像素值，O_dis，4(x,y)表示{O_dis，4(x,y)}中坐标位置为(x,y)的像素点的像素值；

④采用联合自适应归一化方法，对{G_dis，1(x,y)}和{O_dis，1(x,y)}进行联合自适应归一化处理，得到{G_dis，1(x,y)}和{O_dis，1(x,y)}各自的归一化特征图像，对应记为{G′_dis，1(x,y)}和{O′_dis，1(x,y)}；同样，对{G_dis，2(x,y)}和{O_dis，2(x,y)}进行联合自适应归一化处理，得到{G_dis，2(x,y)}和{O_dis，2(x,y)}各自的归一化特征图像，对应记为{G′_dis，2(x,y)}和{O′_dis，2(x,y)}；对{G_dis，3(x,y)}和{O_dis，3(x,y)}进行联合自适应归一化处理，得到{G_dis，3(x,y)}和{O_dis，3(x,y)}各自的归一化特征图像，对应记为{G′_dis，3(x,y)}和{O′_dis，3(x,y)}；对{G_dis，4(x,y)}和{O_dis，4(x,y)}进行联合自适应归一化处理，得到{G_dis，4(x,y)}和{O_dis，4(x,y)}各自的归一化特征图像，对应记为{G′_dis，4(x,y)}和{O′_dis，4(x,y)}；其中，G′_dis，1(x,y)表示{G′_dis，1(x,y)}中坐标位置为(x,y)的像素点的像素值，O′_dis，1(x,y)表示{O_d′_is，1(x,y)}中坐标位置为(x,y)的像素点的像素值，G′_dis，2(x,y)表示{G′_dis，2(x,y)}中坐标位置为(x,y)的像素点的像素值，O′_dis，2(x,y)表示{O′_dis，2(x,y)}中坐标位置为(x,y)的像素点的像素值，G′_dis，3(x,y)表示{G′_dis，3(x,y)}中坐标位置为(x,y)的像素点的像素值，O′_dis，3(x,y)表示{O′_dis，3(x,y)}中坐标位置为(x,y)的像素点的像素值，G′_dis，4(x,y)表示{G_d′_is，4(x,y)}中坐标位置为(x,y)的像素点的像素值，O′_dis，4(x,y)表示{O′_dis，4(x,y)}中坐标位置为(x,y)的像素点的像素值；

⑤采用量化方法，分别对{G′_dis，1(x,y)}和{O′_dis，1(x,y)}、{G′_dis，2(x,y)}和{O′_dis，2(x,y)}、{G′_dis，3(x,y)}和{O′_dis，3(x,y)}、{G′_dis，4(x,y)}和{O′_dis，4(x,y)}进行量化处理，对应得到{G′_dis，1(x,y)}和{O′_dis，1(x,y)}、{G′_dis，2(x,y)}和{O′_dis，2(x,y)}、{G′_dis，3(x,y)}和{O′_dis，3(x,y)}、{G′_dis，4(x,y)}和{O′_dis，4(x,y)}各自的量化特征图像，对应记为{G′_dis,qun,1(x,y)}和{O′_dis,qun,1(x,y)}、{G′_dis,qun，2(x,y)}和{O′_dis,qun，2(x,y)}、{G′_dis,qun，3(x,y)}和{O′_dis,qun，3(x,y)}、{G′_dis,qun，4(x,y)}和{O′_dis,qun，4(x,y)}；其中，G′_dis,qun,1(x,y)表示{G_d′_is,qun,1(x,y)}中坐标位置为(x,y)的像素点的像素值，O′_dis,qun,1(x,y)表示{O_d′_is,qun,1(x,y)}中坐标位置为(x,y)的像素点的像素值，G′_dis,qun，2(x,y)表示{G′_dis,qun，2(x,y)}中坐标位置为(x,y)的像素点的像素值，O′_dis,qun，2(x,y)表示{O′_dis,qun，2(x,y)}中坐标位置为(x,y)的像素点的像素值，G′_dis,qun，3(x,y)表示{G′_dis,qun，3(x,y)}中坐标位置为(x,y)的像素点的像素值，O′_dis,qun，3(x,y)表示{O′_dis,qun，3(x,y)}中坐标位置为(x,y)的像素点的像素值，G′_dis,qun，4(x,y)表示{G′_dis,qun，4(x,y)}中坐标位置为(x,y)的像素点的像素值，O′_dis,qun，4(x,y)表示{O′_dis,qun，4(x,y)}中坐标位置为(x,y)的像素点的像素值；

⑥采用边缘概率求取方法，联合{G′_dis,qun,1(x,y)}和{O′_dis,qun,1(x,y)}进行边缘概率求取，得到{G′_dis,qun,1(x,y)}和{O′_dis,qun,1(x,y)}各自的边缘概率特征向量，对应记为G′_{dis,qun,mar,1}和O′_{dis,qun,mar,1}；并采用独立分布求取方法，联合{G′_dis,qun,1(x,y)}和{O′_dis,qun,1(x,y)}进行独立分布求取，得到{G′_dis,qun,1(x,y)}和{O′_dis,qun,1(x,y)}各自的独立分布特征向量，对应记为G′_{dis,qun,dep,1}和O′_{dis,qun,dep,1}；其中，G′_{dis,qun,mar,1}和O′_{dis,qun,mar,1}的维数均为1×m′维，G′_{dis,qun,dep,1}和O′_{dis,qun,dep,1}的维数均为1×m′维，m′表示边缘概率特征向量和独立分布特征向量的维数，m′＞1；

采用边缘概率求取方法，联合{G′_dis,qun,2(x,y)}和{O′_dis,qun,2(x,y)}进行边缘概率求取，得到{G′_dis,qun,2(x,y)}和{O′_dis,qun,2(x,y)}各自的边缘概率特征向量，对应记为G′_{dis,qun,mar,2}和O′_{dis,qun,mar,2}；并采用独立分布求取方法，联合{G′_dis,qun,2(x,y)}和{O′_dis,qun,2(x,y)}进行独立分布求取，得到{G′_dis,qun,2(x,y)}和{O′_dis,qun,2(x,y)}各自的独立分布特征向量，对应记为G′_{dis,qun,dep,2}和O′_{dis,qun,dep,2}；其中，G′_{dis,qun,mar,2}和O′_{dis,qun,mar,2}的维数均为1×m′维，G′_{dis,qun,dep,2}和O′_{dis,qun,dep,2}的维数均为1×m′维；

采用边缘概率求取方法，联合{G′_dis,qun,3(x,y)}和{O′_dis,qun,3(x,y)}进行边缘概率求取，得到{G′_dis,qun,3(x,y)}和{O′_dis,qun,3(x,y)}各自的边缘概率特征向量，对应记为G′_{dis,qun,mar,3}和O′_{dis,qun,mar,3}；并采用独立分布求取方法，联合{G′_dis,qun,3(x,y)}和{O′_dis,qun,3(x,y)}进行独立分布求取，得到{G′_dis,qun,3(x,y)}和{O′_dis,qun,3(x,y)}各自的独立分布特征向量，对应记为G′_{dis,qun,dep,3}和O′_{dis,qun,dep,3}；其中，G′_{dis,qun,mar,3}和O′_{dis,qun,mar,3}的维数均为1×m′维，G′_{dis,qun,dep,3}和O′_{dis,qun,dep,3}的维数均为1×m′维；

采用边缘概率求取方法，联合{G′_dis,qun,4(x,y)}和{O′_dis,qun,4(x,y)}进行边缘概率求取，得到{G′_dis,qun,4(x,y)}和{O′_dis,qun,4(x,y)}各自的边缘概率特征向量，对应记为G′_{dis,qun,mar,4}和O′_{dis,qun,mar,4}；并采用独立分布求取方法，联合{G′_dis,qun,4(x,y)}和{O′_dis,qun,4(x,y)}进行独立分布求取，得到{G′_dis,qun,4(x,y)}和{O′_dis,qun,4(x,y)}各自的独立分布特征向量，对应记为G′_{dis,qun,dep,4}和O′_{dis,qun,dep,4}；其中，G′_{dis,qun,mar,4}和O′_{dis,qun,mar,4}的维数均为1×m′维，G′_{dis,qun,dep,4}和O′_{dis,qun,dep,4}的维数均为1×m′维；

⑦采用n幅原始的无失真立体图像，建立其在不同失真类型不同失真程度下的失真立体图像集合，将该失真立体图像集合作为训练集，训练集包括多幅失真立体图像；然后采用主观质量评价方法评价出训练集中的每幅失真立体图像的主观评分，将训练集中的第j幅失真立体图像的主观评分记为DMOS_j；并按照步骤①至步骤⑥的操作，以相同的方式获取训练集中的每幅失真立体图像的左视点图像、右视点图像、合成中央眼活动图像、双目产物图像各自的梯度幅值特征图像和高斯拉普拉斯特征图像各自对应的边缘概率特征向量和独立分布特征向量，将训练集中的第j幅失真立体图像的左视点图像、右视点图像、合成中央眼活动图像、双目产物图像各自的梯度幅值特征图像对应的边缘概率特征向量对应记为G′_{dis,qun,mar,1,j}、G′_{dis,qun,mar,2,j}、G′_{dis,qun,mar,3,j}、G′_{dis,qun,mar,4,j}，将训练集中的第j幅失真立体图像的左视点图像、右视点图像、合成中央眼活动图像、双目产物图像各自的高斯拉普拉斯特征图像对应的边缘概率特征向量对应记为O′_{dis,qun,mar,1,j}、O′_{dis,qun,mar,2,j}、O′_{dis,qun,mar,3,j}、O′_{dis,qun,mar,4,j}，将训练集中的第j幅失真立体图像的左视点图像、右视点图像、合成中央眼活动图像、双目产物图像各自的梯度幅值特征图像对应的独立分布特征向量对应记为G′_{dis,qun,dep,1,j}、G′_{dis,qun,dep,2,j}、G′_{dis,qun,dep,3,j}、G′_{dis,qun,dep,4,j}，将训练集中的第j幅失真立体图像的左视点图像、右视点图像、合成中央眼活动图像、双目产物图像各自的高斯拉普拉斯特征图像对应的独立分布特征向量对应记为O′_{dis,qun,dep,1,j}、O′_{dis,qun,dep,2,j}、O′_{dis,qun,dep,3,j}、O′_{dis,qun,dep,4,j}；其中，n＞1，j的初始值为1，1≤j≤N'，N'表示训练集中包含的失真立体图像的总幅数，0≤DMOS_j≤100，G′_{dis,qun,mar,1,j}、G′_{dis,qun,mar,2,j}、G′_{dis,qun,mar,3,j}、G′_{dis,qun,mar,4,j}、O′_{dis,qun,mar,1,j}、O′_{dis,qun,mar,2,j}、O′_{dis,qun,mar,3,j}、O′_{dis,qun,mar,4,j}、G′_{dis,qun,dep,1,j}、G′_{dis,qun,dep,2,j}、G′_{dis,qun,dep,3,j}、G′_{dis,qun,dep,4,j}、O′_{dis,qun,dep,1,j}、O′_{dis,qun,dep,2,j}、O′_{dis,qun,dep,3,j}和O′_{dis,qun,dep,4,j}的维数均为1×m′维；

⑧利用深度神经网络对训练集中的所有失真立体图像各自的主观评分及对应的边缘概率特征向量和独立分布特征向量进行训练，使得经过训练得到的回归函数值与主观评分之间的误差最小，得到全局最优的深度神经网络训练模型，将全局最优的深度神经网络训练模型中的权重矩阵记为ω，将全局最优的深度神经网络训练模型中的偏置向量记为b；再根据全局最优的深度神经网络训练模型，对G′_{dis,qun,mar,1}、O′_{dis,qun,mar,1}、G′_{dis,qun,dep,1}、O′_{dis,qun,dep,1}、G′_{dis,qun,mar,2}、O′_{dis,qun,mar,2}、G′_{dis,qun,dep,2}、O′_{dis,qun,dep,2}、G′_{dis,qun,mar,3}、O′_{dis,qun,mar,3}、G′_{dis,qun,dep,3}、O′_{dis,qun,dep,3}、G′_{dis,qun,mar,4}、O′_{dis,qun,mar,4}、G′_{dis,qun,dep,4}、O′_{dis,qun,dep,4}进行测试，预测得到S_dis的客观质量评价预测值，记为Q，Q＝y(x)，

其中，Q是x的函数，y()为函数表示形式，x为输入，x代表G′_{dis,qun,mar,1}、O′_{dis,qun,mar,1}、G′_{dis,qun,dep,1}、O′_{dis,qun,dep,1}、G′_{dis,qun,mar,2}、O′_{dis,qun,mar,2}、G′_{dis,qun,dep,2}、O′_{dis,qun,dep,2}、G′_{dis,qun,mar,3}、O′_{dis,qun,mar,3}、G′_{dis,qun,dep,3}、O′_{dis,qun,dep,3}、G′_{dis,qun,mar,4}、O′_{dis,qun,mar,4}、G′_{dis,qun,dep,4}、O′_{dis,qun,dep,4}，ω_i ^T为ω_i的转置矢量，ω_i为ω的第i行变量，b_i为b的第i行变量，x的维数为1×m′，ω_i的维数为1×m′，b_i的维数为1×1。

所述的步骤②中，

其中，C为一个用于保证稳定性的小整数，(σ_L(x,y))²表示S_L(x,y)的方差，S_L(x,y)表示{L_dis(x,y)}中坐标位置为(x,y)的像素点的所有临近像素点的像素值的平均值，{L_dis(x,y)}中坐标位置为(x,y)的像素点的临近像素点是指以{L_dis(x,y)}中坐标位置为(x,y)的像素点为中心像素点的N×N窗口内除中心像素点外的每个像素点，(σ_R(x,y))²表示S_R(x,y)的方差，S_R(x,y)表示{R′_dis(x,y)}中坐标位置为(x,y)的像素点的所有临近像素点的像素值的平均值，{R′_dis(x,y)}中坐标位置为(x,y)的像素点的临近像素点是指以{R′_dis(x,y)}中坐标位置为(x,y)的像素点为中心像素点的N×N窗口内除中心像素点外的每个像素点，N＞1。

所述的步骤②中，P_dis(x,y)＝L_dis(x,y)×R_dis(x+d_h(x,y),y)，其中，R_dis(x+d_h(x,y),y)表示{R_dis(x,y)}中坐标位置为(x+d_h(x,y),y)的像素点的像素值，d_h(x,y)表示{L_dis(x,y)}与{R_dis(x,y)}的视差图像中坐标位置为(x,y)的像素点的水平视差值。

与现有技术相比，本发明的优点在于：

1)本发明方法采用水平视差补偿技术对失真立体图像的右视点图像进行水平视差补偿，得到水平视差补偿后的图像，再采用双目空间活动模型，结合失真立体图像的左视点图像和水平视差补偿后的图像，获得失真立体图像的合成中央眼活动图像，该合成中央眼活动图像能够很好地模拟双目显著性感知特性。

2)本发明方法在充分利用了双目视觉感知特性的基础上，提取梯度幅值和高斯拉普拉斯特征信息，因此能有效地提高客观评价结果与主观感知之间的相关性。

3)本发明方法采用符合人脑机理特性的深度神经网络预测得到失真立体图像的客观质量评价预测值，使客观评价值能更加准确预测失真立体图像的质量。

附图说明

图1为本发明方法的总体实现框图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明方法提出了一种基于深度神经网络的无参考立体图像质量评价方法，其总体实现框图如图1所示，其包括以下步骤：

①令S_dis表示待评价的失真立体图像，将S_dis的左视点图像记为{L_dis(x,y)}，将S_dis的右视点图像记为{R_dis(x,y)}；其中，1≤x≤W,1≤y≤H，W表示S_dis的宽度，H表示S_dis的高度，L_dis(x,y)表示{L_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，R_dis(x,y)表示{R_dis(x,y)}中坐标位置为(x,y)的像素点的像素值。

②采用现有的水平视差补偿技术，对{R_dis(x,y)}进行水平视差补偿，得到{R_dis(x,y)}水平视差补偿后的图像，记为{R′_dis(x,y)}；然后采用现有的双目空间活动模型(Binocularspatial activity model)，结合{L_dis(x,y)}和{R′_dis(x,y)}，得到S_dis的合成中央眼活动图像，记为{M_dis(x,y)}；其中，R′_dis(x,y)表示{R′_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，M_dis(x,y)表示{M_dis(x,y)}中坐标位置为(x,y)的像素点的像素值。

在此具体实施例中，步骤②中，

其中，C为一个用于保证稳定性的小整数，在本实施例中取C＝0_.01，(σ_L(x,y))²表示S_L(x,y)的方差，S_L(x,y)表示{L_dis(x,y)}中坐标位置为(x,y)的像素点的所有临近像素点的像素值的平均值，{L_dis(x,y)}中坐标位置为(x,y)的像素点的临近像素点是指以{L_dis(x,y)}中坐标位置为(x,y)的像素点为中心像素点的N×N窗口内除中心像素点外的每个像素点，(σ_R(x,y))²表示S_R(x,y)的方差，S_R(x,y)表示{R′_dis(x,y)}中坐标位置为(x,y)的像素点的所有临近像素点的像素值的平均值，{R′_dis(x,y)}中坐标位置为(x,y)的像素点的临近像素点是指以{R′_dis(x,y)}中坐标位置为(x,y)的像素点为中心像素点的N×N窗口内除中心像素点外的每个像素点，N＞1，在本实施例中取N＝17。

采用现有的双目产物图(Product Image)提取技术，对{L_dis(x,y)}和{R_dis(x,y)}进行双目产物图提取，得到S_dis的双目产物图像，记为{P_dis(x,y)}；其中，P_dis(x,y)表示{P_dis(x,y)}中坐标位置为(x,y)的像素点的像素值。

在此具体实施例中，步骤②中，P_dis(x,y)＝L_dis(x,y)×R_dis(x+d_h(x,y),y)，其中，R_dis(x+d_h(x,y),y)表示{R_dis(x,y)}中坐标位置为(x+d_h(x,y),y)的像素点的像素值，d_h(x,y)表示{L_dis(x,y)}与{R_dis(x,y)}的视差图像中坐标位置为(x,y)的像素点的水平视差值。

③采用现有的梯度幅值特征求取技术，分别对{L_dis(x,y)}、{R_dis(x,y)}、{M_dis(x,y)}、{P_dis(x,y)}进行梯度幅值特征提取，对应得到{L_dis(x,y)}、{R_dis(x,y)}、{M_dis(x,y)}、{P_dis(x,y)}各自的梯度幅值特征图像，对应记为{G_dis，1(x,y)}、{G_dis，2(x,y)}、{G_dis，3(x,y)}、{G_dis，4(x,y)}；并采用现有的高斯拉普拉斯特征求取技术，分别对{L_dis(x,y)}、{R_dis(x,y)}、{M_dis(x,y)}、{P_dis(x,y)}进行高斯拉普拉斯特征提取，对应得到{L_dis(x,y)}、{R_dis(x,y)}、{M_dis(x,y)}、{P_dis(x,y)}各自的高斯拉普拉斯特征图像，对应记为{O_dis，1(x,y)}、{O_dis，2(x,y)}、{O_dis，3(x,y)}、{O_dis，4(x,y)}；其中，G_dis，1(x,y)表示{G_dis，1(x,y)}中坐标位置为(x,y)的像素点的像素值，G_dis，2(x,y)表示{G_dis，2(x,y)}中坐标位置为(x,y)的像素点的像素值，G_dis，3(x,y)表示{G_dis，3(x,y)}中坐标位置为(x,y)的像素点的像素值，G_dis，4(x,y)表示{G_dis，4(x,y)}中坐标位置为(x,y)的像素点的像素值，O_dis，1(x,y)表示{O_dis，1(x,y)}中坐标位置为(x,y)的像素点的像素值，O_dis，2(x,y)表示{O_dis，2(x,y)}中坐标位置为(x,y)的像素点的像素值，O_dis，3(x,y)表示{O_dis，3(x,y)}中坐标位置为(x,y)的像素点的像素值，O_dis，4(x,y)表示{O_dis，4(x,y)}中坐标位置为(x,y)的像素点的像素值。

④采用现有的联合自适应归一化方法(Joint adaptive normalization)，对{G_dis，1(x,y)}和{O_dis，1(x,y)}进行联合自适应归一化处理，得到{G_dis，1(x,y)}和{O_dis，1(x,y)}各自的归一化特征图像，对应记为{G′_dis，1(x,y)}和{O′_dis，1(x,y)}；同样，对{G_dis，2(x,y)}和{O_dis，2(x,y)}进行联合自适应归一化处理，得到{G_dis，2(x,y)}和{O_dis，2(x,y)}各自的归一化特征图像，对应记为{G′_dis，2(x,y)}和{O′_dis，2(x,y)}；对{G_dis，3(x,y)}和{O_dis，3(x,y)}进行联合自适应归一化处理，得到{G_dis，3(x,y)}和{O_dis，3(x,y)}各自的归一化特征图像，对应记为{G′_dis，3(x,y)}和{O′_dis，3(x,y)}；对{G_dis，4(x,y)}和{O_dis，4(x,y)}进行联合自适应归一化处理，得到{G_dis，4(x,y)}和{O_dis，4(x,y)}各自的归一化特征图像，对应记为{G′_dis，4(x,y)}和{O′_dis，4(x,y)}；其中，G′_dis，1(x,y)表示{G′_dis，1(x,y)}中坐标位置为(x,y)的像素点的像素值，O′_dis，1(x,y)表示{O′_dis，1(x,y)}中坐标位置为(x,y)的像素点的像素值，G′_dis，2(x,y)表示{G′_dis，2(x,y)}中坐标位置为(x,y)的像素点的像素值，O′_dis，2(x,y)表示{O′_dis，2(x,y)}中坐标位置为(x,y)的像素点的像素值，G′_dis，3(x,y)表示{G′_dis，3(x,y)}中坐标位置为(x,y)的像素点的像素值，O′_dis，3(x,y)表示{O′_dis，3(x,y)}中坐标位置为(x,y)的像素点的像素值，G′_dis，4(x,y)表示{G′_dis，4(x,y)}中坐标位置为(x,y)的像素点的像素值，O′_dis，4(x,y)表示{O′_dis，4(x,y)}中坐标位置为(x,y)的像素点的像素值。

⑤采用现有的量化方法，分别对{G′_dis，1(x,y)}和{O′_dis，1(x,y)}、{G′_dis，2(x,y)}和{O′_dis，2(x,y)}、{G′_dis，3(x,y)}和{O′_dis，3(x,y)}、{G′_dis，4(x,y)}和{O′_dis，4(x,y)}进行量化处理，对应得到{G′_dis，1(x,y)}和{O′_dis，1(x,y)}、{G′_dis，2(x,y)}和{O′_dis，2(x,y)}、{G′_dis，3(x,y)}和{O′_dis，3(x,y)}、{G′_dis，4(x,y)}和{O′_dis，4(x,y)}各自的量化特征图像，对应记为{G′_dis,qun,1(x,y)}和{O′_dis,qun,1(x,y)}、{G′_dis,qun，2(x,y)}和{O′_dis,qun，2(x,y)}、{G′_dis,qun，3(x,y)}和{O′_dis,qun，3(x,y)}、{G′_dis,qun，4(x,y)}和{O′_dis,qun，4(x,y)}；其中，G′_dis,qun,1(x,y)表示{G′_dis,qun,1(x,y)}中坐标位置为(x,y)的像素点的像素值，O′_dis,qun,1(x,y)表示{O′_dis,qun,1(x,y)}中坐标位置为(x,y)的像素点的像素值，G′_dis,qun，2(x,y)表示{G′_dis,qun，2(x,y)}中坐标位置为(x,y)的像素点的像素值，O′_dis,qun，2(x,y)表示{O′_dis,qun，2(x,y)}中坐标位置为(x,y)的像素点的像素值，G′_dis,qun，3(x,y)表示{G′_dis,qun，3(x,y)}中坐标位置为(x,y)的像素点的像素值，O′_dis,qun，3(x,y)表示{O′_dis,qun，3(x,y)}中坐标位置为(x,y)的像素点的像素值，G′_dis,qun，4(x,y)表示{G′_dis,qun，4(x,y)}中坐标位置为(x,y)的像素点的像素值，O′_dis,qun，4(x,y)表示{O′_dis,qun，4(x,y)}中坐标位置为(x,y)的像素点的像素值。

⑥采用现有的边缘概率求取方法，联合{G′_dis,qun,1(x,y)}和{O′_dis,qun,1(x,y)}进行边缘概率求取，得到{G′_dis,qun,1(x,y)}和{O′_dis,qun,1(x,y)}各自的边缘概率特征向量，对应记为G′_{dis,qun,mar,1}和O′_{dis,qun,mar,1}；并采用现有的独立分布求取方法，联合{G′_dis,qun,1(x,y)}和{O′_dis,qun,1(x,y)}进行独立分布求取，得到{G′_dis,qun,1(x,y)}和{O′_dis,qun,1(x,y)}各自的独立分布特征向量，对应记为G′_{dis,qun,dep,1}和O′_{dis,qun,dep,1}；其中，G′_{dis,qun,mar,1}和O′_{dis,qun,mar,1}的维数均为1×m′维，G′_{dis,qun,mar,1}中的第m个元素为G′_{dis,qun,mar,1}(m)，O′_{dis,qun,mar,1}中的第m个元素为O′_{dis,qun,mar,1}(m)，G′_{dis,qun,dep,1}和O′_{dis,qun,dep,1}的维数均为1×m′维，G′_{dis,qun,dep,1}中的第m个元素为G′_{dis,qun,dep,1}(m)，O′_{dis,qun,dep,1}中的第m个元素为O′_{dis,qun,dep,1}(m)，1≤m≤m′，m′表示边缘概率特征向量和独立分布特征向量的维数，m′＞1，在本实施例中取m′＝10。

采用现有的边缘概率求取方法，联合{G′_dis,qun,2(x,y)}和{O′_dis,qun,2(x,y)}进行边缘概率求取，得到{G′_dis,qun,2(x,y)}和{O′_dis,qun,2(x,y)}各自的边缘概率特征向量，对应记为G′_{dis,qun,mar,2}和O′_{dis,qun,mar,2}；并采用现有的独立分布求取方法，联合{G′_dis,qun,2(x,y)}和{O′_dis,qun,2(x,y)}进行独立分布求取，得到{G′_dis,qun,2(x,y)}和{O′_dis,qun,2(x,y)}各自的独立分布特征向量，对应记为G′_{dis,qun,dep,2}和O′_{dis,qun,dep,2}；其中，G′_{dis,qun,mar,2}和O′_{dis,qun,mar,2}的维数均为1×m′维，G′_{dis,qun,mar,2}中的第m个元素为G′_{dis,qun,mar,2}(m)，O′_{dis,qun,mar,2}中的第m个元素为O′_{dis,qun,mar,2}(m)，G′_{dis,qun,dep,2}和O′_{dis,qun,dep,2}的维数均为1×m′维，G′_{dis,qun,dep,2}中的第m个元素为G′_{dis,qun,dep,2}(m)，O′_{dis,qun,dep,2}中的第m个元素为O′_{dis,qun,dep,2}(m)。

采用现有的边缘概率求取方法，联合{G′_dis,qun,3(x,y)}和{O′_dis,qun,3(x,y)}进行边缘概率求取，得到{G′_dis,qun,3(x,y)}和{O′_dis,qun,3(x,y)}各自的边缘概率特征向量，对应记为G′_{dis,qun,mar,3}和O′_{dis,qun,mar,3}；并采用现有的独立分布求取方法，联合{G′_dis,qun,3(x,y)}和{O′_dis,qun,3(x,y)}进行独立分布求取，得到{G′_dis,qun,3(x,y)}和{O′_dis,qun,3(x,y)}各自的独立分布特征向量，对应记为G′_{dis,qun,dep,3}和O′_{dis,qun,dep,3}；其中，G′_{dis,qun,mar,3}和O′_{dis,qun,mar,3}的维数均为1×m′维，G′_{dis,qun,mar,3}中的第m个元素为G′_{dis,qun,mar,3}(m)，O′_{dis,qun,mar,3}中的第m个元素为O′_{dis,qun,mar,3}(m)，G′_{dis,qun,dep,3}和O′_{dis,qun,dep,3}的维数均为1×m′维，G′_{dis,qun,dep,3}中的第m个元素为G′_{dis,qun,dep,3}(m)，O′_{dis,qun,dep,3}中的第m个元素为O′_{dis,qun,dep,3}(m)。

采用现有的边缘概率求取方法，联合{G′_dis,qun,4(x,y)}和{O′_dis,qun,4(x,y)}进行边缘概率求取，得到{G′_dis,qun,4(x,y)}和{O′_dis,qun,4(x,y)}各自的边缘概率特征向量，对应记为G′_{dis,qun,mar,4}和O′_{dis,qun,mar,4}；并采用现有的独立分布求取方法，联合{G′_dis,qun,4(x,y)}和{O′_dis,qun,4(x,y)}进行独立分布求取，得到{G′_dis,qun,4(x,y)}和{O′_dis,qun,4(x,y)}各自的独立分布特征向量，对应记为G′_{dis,qun,dep,4}和O′_{dis,qun,dep,4}；其中，G′_{dis,qun,mar,4}和O′_{dis,qun,mar,4}的维数均为1×m′维，G′_{dis,qun,mar,4}中的第m个元素为G′_{dis,qun,mar,4}(m)，O′_{dis,qun,mar,4}中的第m个元素为O′_{dis,qun,mar,4}(m)，G′_{dis,qun,dep,4}和O′_{dis,qun,dep,4}的维数均为1×m′维，G′_{dis,qun,dep,4}中的第m个元素为G′_{dis,qun,dep,4}(m)，O′_{dis,qun,dep,4}中的第m个元素为O′_{dis,qun,dep,4}(m)。

⑦采用n幅原始的无失真立体图像，建立其在不同失真类型不同失真程度下的失真立体图像集合，将该失真立体图像集合作为训练集，训练集包括多幅失真立体图像；然后采用现有的主观质量评价方法评价出训练集中的每幅失真立体图像的主观评分，将训练集中的第j幅失真立体图像的主观评分记为DMOS_j；并按照步骤①至步骤⑥的操作，以相同的方式获取训练集中的每幅失真立体图像的左视点图像、右视点图像、合成中央眼活动图像、双目产物图像各自的梯度幅值特征图像和高斯拉普拉斯特征图像各自对应的边缘概率特征向量和独立分布特征向量，将训练集中的第j幅失真立体图像的左视点图像、右视点图像、合成中央眼活动图像、双目产物图像各自的梯度幅值特征图像对应的边缘概率特征向量对应记为G′_{dis,qun,mar,1,j}、G′_{dis,qun,mar,2,j}、G′_{dis,qun,mar,3,j}、G′_{dis,qun,mar,4,j}，将训练集中的第j幅失真立体图像的左视点图像、右视点图像、合成中央眼活动图像、双目产物图像各自的高斯拉普拉斯特征图像对应的边缘概率特征向量对应记为O′_{dis,qun,mar,1,j}、O′_{dis,qun,mar,2,j}、O′_{dis,qun,mar,3,j}、O′_{dis,qun,mar,4,j}，将训练集中的第j幅失真立体图像的左视点图像、右视点图像、合成中央眼活动图像、双目产物图像各自的梯度幅值特征图像对应的独立分布特征向量对应记为G′_{dis,qun,dep,1,j}、G′_{dis,qun,dep,2,j}、G′_{dis,qun,dep,3,j}、G′_{dis,qun,dep,4,j}，将训练集中的第j幅失真立体图像的左视点图像、右视点图像、合成中央眼活动图像、双目产物图像各自的高斯拉普拉斯特征图像对应的独立分布特征向量对应记为O′_{dis,qun,dep,1,j}、O′_{dis,qun,dep,2,j}、O′_{dis,qun,dep,3,j}、O′_{dis,qun,dep,4,j}；其中，n＞1，如取n＝100，j的初始值为1，1≤j≤N'，N'表示训练集中包含的失真立体图像的总幅数，0≤DMOS_j≤100，G′_{dis,qun,mar,1,j}、G′_{dis,qun,mar,2,j}、G′_{dis,qun,mar,3,j}、G′_{dis,qun,mar,4,j}、O′_{dis,qun,mar,1,j}、O′_{dis,qun,mar,2,j}、O′_{dis,qun,mar,3,j}、O′_{dis,qun,mar,4,j}、G′_{dis,qun,dep,1,j}、G′_{dis,qun,dep,2,j}、G′_{dis,qun,dep,3,j}、G′_{dis,qun,dep,4,j}、O′_{dis,qun,dep,1,j}、O′_{dis,qun,dep,2,j}、O′_{dis,qun,dep,3,j}和O′_{dis,qun,dep,4,j}的维数均为1×m′维，G′_{dis,qun,mar,1,j}中的第m个元素为G′_{dis,qun,mar,1,j}(m)，G′_{dis,qun,mar,2,j}中的第m个元素为G′_{dis,qun,mar,2,j}(m)，G′_{dis,qun,mar,3,j}中的第m个元素为G′_{dis,qun,mar,3,j}(m)，G′_{dis,qun,mar,4,j}中的第m个元素为G′_{dis,qun,mar,4,j}(m)，O′_{dis,qun,mar,1,j}中的第m个元素为O′_{dis,qun,mar,1,j}(m)，O′_{dis,qun,mar,2,j}中的第m个元素为O′_{dis,qun,mar,2,j}(m)，O′_{dis,qun,mar,3,j}中的第m个元素为O′_{dis,qun,mar,3,j}(m)，O′_{dis,qun,mar,4,j}中的第m个元素为O′_{dis,qun,mar,4,j}(m)，G′_{dis,qun,dep,1,j}中的第m个元素为G′_{dis,qun,dep,1,j}(m)，G′_{dis,qun,dep,2,j}中的第m个元素为G′_{dis,qun,dep,2,j}(m)，G′_{dis,qun,dep,3,j}中的第m个元素为G′_{dis,qun,dep,3,j}(m)，G′_{dis,qun,dep,4,j}中的第m个元素为G′_{dis,qun,dep,4,j}(m)，O′_{dis,qun,dep,1,j}中的第m个元素为O′_{dis,qun,dep,1,j}(m)，O′_{dis,qun,dep,2,j}中的第m个元素为O′_{dis,qun,dep,2,j}(m)，O′_{dis,qun,dep,3,j}中的第m个元素为O′_{dis,qun,dep,3,j}(m)，O′_{dis,qun,dep,4,j}中的第m个元素为O′_{dis,qun,dep,4,j}(m)。

⑧深度神经网络(Deep Neural Network，DNN)是基于人类大脑神经网络设计的机器学习方法，其可以有效地抑制过拟合问题，充分学习特征中所包含的图像信息，因此本发明利用深度神经网络对训练集中的所有失真立体图像各自的主观评分及对应的边缘概率特征向量和独立分布特征向量进行训练，使得经过训练得到的回归函数值与主观评分之间的误差最小，得到全局最优的深度神经网络训练模型，将全局最优的深度神经网络训练模型中的权重矩阵记为ω，将全局最优的深度神经网络训练模型中的偏置向量记为b；再根据全局最优的深度神经网络训练模型，对G′_{dis,qun,mar,1}、O′_{dis,qun,mar,1}、G′_{dis,qun,dep,1}、O′_{dis,qun,dep,1}、G′_{dis,qun,mar,2}、O′_{dis,qun,mar,2}、G′_{dis,qun,dep,2}、O′_{dis,qun,dep,2}、G′_{dis,qun,mar,3}、O′_{dis,qun,mar,3}、G′_{dis,qun,dep,3}、O′_{dis,qun,dep,3}、G′_{dis,qun,mar,4}、O′_{dis,qun,mar,4}、G′_{dis,qun,dep,4}、O′_{dis,qun,dep,4}进行测试，预测得到S_dis的客观质量评价预测值，记为Q，Q＝y(x)，

其中，Q是x的函数，y()为函数表示形式，x为输入，x代表G′_{dis,qun,mar,1}、O′_{dis,qun,mar,1}、G′_{dis,qun,dep,1}、O′_{dis,qun,dep,1}、G′_{dis,qun,mar,2}、O′_{dis,qun,mar,2}、G′_{dis,qun,dep,2}、O′_{dis,qun,dep,2}、G′_{dis,qun,mar,3}、O′_{dis,qun,mar,3}、G′_{dis,qun,dep,3}、O′_{dis,qun,dep,3}、G′_{dis,qun,mar,4}、O′_{dis,qun,mar,4}、G′_{dis,qun,dep,4}、O′_{dis,qun,dep,4}，ω_iT为ω_i的转置矢量，ω_i为ω的第i行变量，b_i为b的第i行变量，x的维数为1×m′，ω_i的维数为1×m′，b_i的维数为1×1。

深度神经网络包括一层输入层、两层隐层、一层输出层，第一层输入层为全连接层，其神经元节点个数为300；中间两层隐层都为全连接层，其神经元节点个数分别为128、64；最后一层输出层，设置其神经元节点个数为1，输出监督训练的数据。其中前三层使用的激活函数都是修正线性单元函数(Rectified Linear Unit，ReLU)，最后一层全连接作为输出，不使用任何激活函数。ReLU可以用f(y')＝max(0,y')来表示，f()为函数表示形式，y'为输入变量，max()为取最大值函数。使用ReLU作为激活函数的原因是：ReLU可以通过简单地将零激活矩阵阈值化来实现；ReLU不会饱和，并且使用ReLU作为激活函数可以很大程度地加快随机梯度下降的收敛。

为了进一步验证本发明方法的可行性和有效性，进行实验。

在此，采用LIVE立体图像失真库来分析利用本发明方法得到的失真立体图像的客观质量评价预测值与主观评分之间的相关性。这里，利用评估图像质量评价方法的3个常用客观参量作为评价指标，即非线性回归条件下的Pearson相关系数(Pearson linearcorrelation coefficient，PLCC)、Spearman相关系数(Spearman rank ordercorrelation coefficient，SROCC)、均方误差(root mean squared error，RMSE)，PLCC和RMSE反映失真立体图像的客观质量评价预测值的准确性，SROCC反映其单调性。

利用本发明方法计算LIVE立体图像失真库中的每幅失真立体图像的客观质量评价预测值，再利用现有的主观质量评价方法获得LIVE立体图像失真库中的每幅失真立体图像的主观评分。将按本发明方法计算得到的失真立体图像的客观质量评价预测值做五参数Logistic函数非线性拟合，PLCC和SROCC值越高，RMSE值越低说明客观评价方法的客观评价结果与主观评分之间的相关性越好。反映本发明方法的质量评价性能的PLCC、SROCC和RMSE相关系数如表1所列。从表1所列的数据可知，按本发明方法得到的失真立体图像的客观质量评价预测值与主观评分之间的相关性是很好的，表明客观评价结果与人眼主观感知的结果较为一致，足以说明本发明方法的可行性和有效性。

表1利用本发明方法得到的失真立体图像的客观质量评价预测值与主观评分之间的相关性

Claims

1.一种基于深度神经网络的无参考立体图像质量评价方法，其特征在于包括以下步骤：

④采用联合自适应归一化方法，对{G_dis，1(x,y)}和{O_dis，1(x,y)}进行联合自适应归一化处理，得到{G_dis，1(x,y)}和{O_dis，1(x,y)}各自的归一化特征图像，对应记为{G′_dis，1(x,y)}和{O′_dis，1(x,y)}；同样，对{G_dis，2(x,y)}和{O_dis，2(x,y)}进行联合自适应归一化处理，得到{G_dis，2(x,y)}和{O_dis，2(x,y)}各自的归一化特征图像，对应记为{G′_dis，2(x,y)}和{O′_dis，2(x,y)}；对{G_dis，3(x,y)}和{O_dis，3(x,y)}进行联合自适应归一化处理，得到{G_dis，3(x,y)}和{O_dis，3(x,y)}各自的归一化特征图像，对应记为{G′_dis，3(x,y)}和{O′_dis，3(x,y)}；对{G_dis，4(x,y)}和{O_dis，4(x,y)}进行联合自适应归一化处理，得到{G_dis，4(x,y)}和{O_dis，4(x,y)}各自的归一化特征图像，对应记为{G′_dis，4(x,y)}和{O′_dis，4(x,y)}；其中，G′_dis，1(x,y)表示{G′_dis，1(x,y)}中坐标位置为(x,y)的像素点的像素值，O′_dis，1(x,y)表示{O′_dis，1(x,y)}中坐标位置为(x,y)的像素点的像素值，G′_dis，2(x,y)表示{G′_dis，2(x,y)}中坐标位置为(x,y)的像素点的像素值，O′_dis，2(x,y)表示{O′_dis，2(x,y)}中坐标位置为(x,y)的像素点的像素值，G′_dis，3(x,y)表示{G′_dis，3(x,y)}中坐标位置为(x,y)的像素点的像素值，O′_dis，3(x,y)表示{O′_dis，3(x,y)}中坐标位置为(x,y)的像素点的像素值，G′_dis，4(x,y)表示{G′_dis，4(x,y)}中坐标位置为(x,y)的像素点的像素值，O′_dis，4(x,y)表示{O′_dis，4(x,y)}中坐标位置为(x,y)的像素点的像素值；

⑤采用量化方法，分别对{G′_dis，1(x,y)}和{O′_dis，1(x,y)}、{G′_dis，2(x,y)}和{O′_dis，2(x,y)}、{G′_dis，3(x,y)}和{O′_dis，3(x,y)}、{G′_dis，4(x,y)}和{O′_dis，4(x,y)}进行量化处理，对应得到{G′_dis，1(x,y)}和{O′_dis，1(x,y)}、{G′_dis，2(x,y)}和{O′_dis，2(x,y)}、{G′_dis，3(x,y)}和{O′_dis，3(x,y)}、{G′_dis，4(x,y)}和{O′_dis，4(x,y)}各自的量化特征图像，对应记为{G′_dis,qun,1(x,y)}和{O′_dis,qun,1(x,y)}、{G′_dis,qun，2(x,y)}和{O′_dis,qun，2(x,y)}、{G′_dis,qun，3(x,y)}和{O′_dis,qun，3(x,y)}、{G′_dis,qun，4(x,y)}和{O′_dis,qun，4(x,y)}；其中，G′_dis,qun,1(x,y)表示{G′_dis,qun,1(x,y)}中坐标位置为(x,y)的像素点的像素值，O′_dis,qun,1(x,y)表示{O′_dis,qun,1(x,y)}中坐标位置为(x,y)的像素点的像素值，G′_dis,qun，2(x,y)表示{G′_dis,qun，2(x,y)}中坐标位置为(x,y)的像素点的像素值，O′_dis,qun，2(x,y)表示{O′_dis,qun，2(x,y)}中坐标位置为(x,y)的像素点的像素值，G′_dis,qun，3(x,y)表示{G′_dis,qun，3(x,y)}中坐标位置为(x,y)的像素点的像素值，O′_dis,qun，3(x,y)表示{O′_dis,qun，3(x,y)}中坐标位置为(x,y)的像素点的像素值，G′_dis,qun，4(x,y)表示{G′_dis,qun，4(x,y)}中坐标位置为(x,y)的像素点的像素值，O′_dis,qun，4(x,y)表示{O′_dis,qun，4(x,y)}中坐标位置为(x,y)的像素点的像素值；

2.根据权利要求1所述的基于深度神经网络的无参考立体图像质量评价方法，其特征在于所述的步骤②中，

3.根据权利要求1或2所述的基于深度神经网络的无参考立体图像质量评价方法，其特征在于所述的步骤②中，P_dis(x,y)＝L_dis(x,y)×R_dis(x+d_h(x,y),y)，其中，R_dis(x+d_h(x,y),y)表示{R_dis(x,y)}中坐标位置为(x+d_h(x,y),y)的像素点的像素值，d_h(x,y)表示{L_dis(x,y)}与{R_dis(x,y)}的视差图像中坐标位置为(x,y)的像素点的水平视差值。