CN110111304B - 基于局部到全局特征回归的无参考立体图像质量评价方法 - Google Patents

Abstract

本发明属于图像处理领域，为建立一种高效的基于局部到全局特征回归的无参考立体图像质量评价方法。此种立体图像质量评价方法在进行质量预测时更加准确，且无需依赖原始参考图像，一定程度上可以代替主观评价结果，提高立体图像质量评价工作的效率，且为后续工作提供一定便利。为此，本发明采取的技术方案是，基于局部到全局特征回归的无参考立体图像质量评价方法，首先通过特征相似度FSIM算法给左右视点的图像块分别赋予不同的标签，利用计算出的标签指导包含左右两个通道的局部回归神经网络进行预训练，将训练好的局部回归神经网络的参数进行保存。本发明主要应用于图像处理场合。

Description

基于局部到全局特征回归的无参考立体图像质量评价方法

技术领域

本发明属于图像处理领域，涉及到深度学习在立体图像质量评价中的应用。具体涉及基于局部到全局特征回归的无参考立体图像质量评价方法。

背景技术

近年来，随着3D技术的不断发展，对立体图像的研究越来越受到重视。由于立体图像在传输过程中可能会产生一定的失真，立体图像的质量将会受到影响，结果便直接反映到人们对立体图像的视觉感知。因此，如何有效地评价立体图像质量已成为立体图像处理和计算机视觉领域的关键问题之一。基于此种现状，本发明提出一种基于局部到全局特征回归的无参考立体图像质量评价方法。

目前现存的立体图像质量评价算法根据对参考图像的依赖程度可以分为三种：全参考、半参考以及无参考。其中，全参考方式的评价算法利用参考图像及失真图像间的结构相似性或其他指标来对失真图像进行质量预测，[1]即是较为经典的全参考的图像质量评价算法。半参考方式的评价算法无需已知参考图像像素级别的完整信息，对参考图像的依赖程度较低。而无参考的质量评价算法在进行图像质量分数预测时，无需获取参考图像的信息即可得到最终的分数预测。

在早期的立体图像质量评价算法中，通常使用的方法是将左右视点看作平面图像分别进行质量分数的预测，将得到左右视点的质量分数进行加权求和来得到最终立体图像的质量[2-4]。考虑到人眼在观看立体图像时存在双目竞争及双目掩蔽的现象，简单地对左右视点图像分别进行质量评价的方法存在一定的缺陷。随后出现了基于融合图像进行质量评价的算法[5]，利用某种融合算法由左右视点图像得到融合图像，代替原始左右视点的图像作为算法的输入，以此来模拟人眼对于立体图像的感知进程。随着深度学习的快速发展，逐渐出现基于深度学习的立体图像质量评价算法[6-8]。

本发明的设计灵感基于对失真图像特性的考虑，当人眼在观察一副立体图像时，左右眼获取的图像质量可能存在较大差异，并且均会对人类视觉系统进行质量评判时产生一定的影响。因此设计了一种将经典的全参考质量评价算法[9]计算出特征相似度(FSIM)分数作为区分左右视点立体图像块的标签来代替原始数据库中的主观评价值(DMOS)。

同时，由于人眼在观察立体图像时会将左右视点接收到的图像在大脑内部进行融合，由此产生全局回归神经网络的设计灵感，将左右通道分别提取的特征进行融合从而实现对质量分数的最终预测。

本发明提出了一种基于局部到全局特征回归的无参考立体图像质量评价方法。首先，将一副立体图像的左右视点图像块赋予不同的标签充分考虑了失真程度的差异性，其次，基于对人类视觉系统特性的理解，将左右视点提取的特征进行融合。

发明内容

为克服现有技术的不足，本发明旨在以人类视觉系统的工作原理为参考依据，并将失真图像的特性考虑在内，建立一种高效的基于局部到全局特征回归的无参考立体图像质量评价方法。此种立体图像质量评价方法在进行质量预测时更加准确，且无需依赖原始参考图像，一定程度上可以代替主观评价结果，提高立体图像质量评价工作的效率，且为后续工作提供一定便利。为此，本发明采取的技术方案是，基于局部到全局特征回归的无参考立体图像质量评价方法，首先通过特征相似度FSIM算法给左右视点的图像块分别赋予不同的标签，利用计算出的标签指导包含左右两个通道的局部回归神经网络进行预训练，将训练好的局部回归神经网络的参数进行保存。在全局回归神经网络中，左右通道与去除全连接层的局部回归神经网络结构完全一致，在左右两个通道的末端以“concat”连接的方式进行融合操作，即将左右通道分别学习到的特征图沿通道维度进行连接从而得到融合特征，并在融合操作后加入卷积层和全连接层对融合特征进行进一步提取和学习。全局回归神经网络中左右通道的初始参数值是由预训练的局部回归神经网络的参数以迁移学习的方式得到的，进而以主观评价值DMOS作为标签指导整体全局回归神经网络的训练，对全局回归神经网络的参数进行微调，以此实现特征的全局回归，立体图像的质量由训练完成的全局回归神经网络进行特征提取并预测。

进一步地，包含左右两个通道的局部回归神经网络，任一通道均包括五个卷积层、两个池化层以及三个全连接层，以计算出的图像块的特征相似度FSIM值作为标签，指导左右视点以双通道的方式同时进行训练；左右通道具有完全相同的网络结构，输入为对应同一幅立体图像的左右视点图像，均采用欧几里得损失函数对网络进行参数调整，公式如下所示

其中，L_l和L_r分别代表左右通道局部回归神经网络的损失函数，I_d,I_r分别代表失真图像及相应的参考图像，N表示局部回归神经网络训练时的批大小batchsize，s_Fl,s_Fr分别代表左右视点图像块的标签值，分别代表两个通道的局部回归神经网络的特征提取函数，/>则代表局部回归神经网络中的全连接层，‖·‖₂表示数学上2范数的计算，用于计算欧几里得距离；

将左右通道的局部回归神经网络进行融合，在预训练模型的基础上，以主观评价值DMOS作为标签指导全局回归神经网络的训练，对全局回归神经网络的参数进行微调，以此实现特征的全局回归，所述网络为基于局部回归神经网络而构造的全局回归神经网络，全局回归神经网络的结构框架包括左右视点的单独通道以及进行部分融合的融合通道，其中左右视点通道的网络参数初始值由局部回归神经网络提供，局部回归神经网络经过卷积层及池化层提取的特征通过“concat”连接的方式进行级联，进一步作为全局回归神经网络中融合通道的输入，级联后的特征经过两个卷积层及三个全连接层进一步地进行高层次特征的提取并得到最终质量分数的预测值，全局回归神经网络的标签均为原始数据库中提供的主观评价值DMOS，全局回归神经网络的损失函数由预测的质量分数与标签之间的欧几里得距离来定义，公式如下：

其中，s为立体图像数据库(LIVE)中所提供的标准标签值(DMOS)，表示对左右通道分别提取的特征进行级联的操作，/>分别表示全局回归神经网络中左右通道的特征提取，对于全局回归神经网络中左右通道的训练是在局部回归神经网络训练好的参数的基础上进行的微调，/>则代表的是全局回归神经网络中融合通道的全连接层，N’表示全局回归神经网络训练时的批大小batchsize；

最后，全局回归神经网络通过最小化损失函数进行梯度反传，训练得到最优的网络参数模型。

本发明的特点及有益效果是：

本发明所提出的局部回归到全局回归的神经网络是基于人类视觉系统进行设计的，且充分理解了失真图像的特性，实验结果显示出本发明中所提出的方法在立体图像的质量评价方面具有优良的性能。本发明的基于局部到全局特征回归的立体图像质量评价方法在公开的立体图像数据库上进行了实验，实验中得到的质量分数预测值与标准主观评价值极为接近，相关度与稳定性均优于目前大部分立体图像质量评价算法。

附图说明：

图1本发明使用的网络整体框架。蓝色块代表卷积层，浅灰色块代表池化层，深灰色代表全连接层，绿色块下面的数字代表卷积核大小。箭头上方的数字代表相应输出特征图的大小，表示为长×宽×通道数。

具体实施方式

本发明首先通过特征相似度(FSIM)算法给左右视点的图像块分别赋予不同的标签，利用计算出的标签指导左右通道的局部回归神经网络同时进行预训练，将训练好的局部回归神经网络的参数进行保存。然后，将左右通道的局部回归神经网络进行融合，在预训练模型的基础上，以主观评价值(DMOS)作为标签指导全局回归神经网络进行训练，对全局回归神经网络的参数进行微调，以此实现特征的全局回归。立体图像的质量由训练完成的全局回归神经网络进行特征提取并预测。

局部回归神经网络标签生成：

本项工作的内容部分基于文献[9]中提出的算法，首先将输入图像调整尺寸并进行裁剪得到图像小块以适应网络输入尺寸要求，随后分别对左右视点的失真图像块及其对应的参考图像块应用特征相似度(FSIM)算法，计算出区分左右视点的图像块的特征相似度(FSIM)分数作为其标签。

局部回归到全局回归：

局部回归神经网络及全局回归神经网络的整体框架均是基于神经网络(Alexnet)[10]进行搭建的。局部回归神经网络以计算出的图像块的特征相似度(FSIM)值作为标签，指导左右视点以双通道的方式同时进行训练。全局回归神经网络的结构框架主要包括左右视点的单独通道以及进行部分融合的融合通道，其中左右视点通道的网络参数初始值由局部回归神经网络提供。局部回归神经网络进行单独训练时，可以分别学习单目观察图像的特性，而在全局回归神经网络训练时，通过将左右通道的局部回归神经网络进行部分融合，可以学习到人类在观察立体图像时的双目特性。

在公开的立体图像数据库(LIVE)[13-14]上进行了实验。在立体图像数据库(LIVE)数据库中，包含phase-I(阶段I)和phase-II(阶段II)两个分开的数据库，立体图像均以左右视点的平面图像共同呈现，尺寸均为360×640。其中phase-I共包含20张参考图像对及365张失真图像对，图像主要为对称失真，即左右视点图像的失真程度近似相等。而phase-II共包含8张参考图像对及360张失真图像对，其中既包含对称失真又包含非对称失真类型的图像，非对称失真的图像左右视点图像的失真程度差异较大。LIVE数据库中包含五种不同的失真类型：高斯模糊、Jp2k压缩失真、jpeg压缩失真、瑞利快速衰落以及加性高斯白噪声。

下面结合技术方法详细说明本方法。

本发明以人眼观看立体图像的特性为基础，即同一副图像的左右视点质量不同时会对最终整体质量有所影响的事实，提出了一种基于局部到全局特征回归的立体图像质量评价方法。首先通过特征相似度(FSIM)算法给左右视点的图像块分别赋予不同的标签，利用计算出的标签指导左右通道的局部回归神经网络同时进行预训练，将训练好的局部回归神经网络的参数进行保存，以此实现特征的局部回归。然后，将左右通道的局部回归神经网络提取出的特征进行融合从而构成全局回归神经网络，在预训练模型的基础上，以主观评价值(DMOS)作为标签指导全局回归神经网络的训练，对全局回归神经网络的参数进行微调，以此实现特征的全局回归。立体图像的质量由训练完成的全局回归神经网络进行特征提取并预测。其具体流程如图1所示。

具体步骤如下：

1、局部回归神经网络标签生成：

本项工作的内容完全基于文献[9]实现，首先，将原始图像裁剪成适合网络输入尺寸的图像块，应用全参考的立体图像质量评价算法(FSIM)计算失真图像块及相应的参考图像块之间的特征结构相似性，即得到区分左右视点的每一个图像块的标签。

2、局部回归到全局回归：

局部回归神经网络及全局回归神经网络的整体框架均是基于神经网络(Alexnet)[10]进行搭建的。局部回归神经网络包括五个卷积层、两个池化层以及三个全连接层，以计算出的图像块的特征相似度(FSIM)值作为标签，指导左右视点以双通道的方式同时进行训练。局部回归神经网络的左右通道具有完全相同的网络结构，输入为对应同一幅立体图像的左右视点图像，均采用欧几里得损失函数对局部回归神经网络进行参数调整，公式如下所示

其中，L_l和L_r分别代表左右通道的局部回归神经网络的损失函数，I_d,I_r分别代表失真图像及相应的参考图像，N表示局部回归神经网络训练时的batchsize(批大小)，s_Fl,s_Fr分别代表左右视点图像块的标签值，分别代表局部回归神经网络中两个通道的特征提取函数，/>则代表局部回归神经网络中的全连接层，‖·‖₂表示数学上2范数的计算，用于计算欧几里得距离。

全局回归神经网络的结构框架主要包括左右视点的单独通道以及进行部分融合的融合通道，其中左右视点通道的网络参数初始值由局部回归神经网络提供。局部回归神经网络经过卷积层及池化层提取的特征通过“concat”的方式进行级联，增加了特征的维度，进一步作为全局回归神经网络中融合通道的输入，级联后的特征经过两个卷积层及三个全连接层进一步地进行高层次特征的提取并得到最终质量分数的预测值。全局回归神经网络的标签均为原始数据库中提供的主观评价值(DMOS)，网络的损失函数由预测的质量分数与标签之间的欧几里得距离来定义，公式如下

其中，s为立体图像数据库(LIVE)中所提供的标准标签值(DMOS)，表示对左右通道分别提取的特征进行级联的操作，/>分别表示全局回归神经网络中左右通道的特征提取，值得注意的是，对于全局回归神经网络中左右通道的训练是在局部回归神经网络训练好的参数的基础上进行的微调，/>则代表的是全局回归神经网络中融合通道的全连接层,N’表示全局回归神经网络训练时的batchsize(批大小)。

最后，全局回归神经网络通过最小化损失函数进行梯度反传，训练得到最优的网络参数模型。

3、立体图像质量评价结果与分析

本发明的实验是在公开的立体图像数据库(LIVE)上进行的。在立体图像数据库(LIVE)中，包含phase-I和phase-II两个分开的数据库，立体图像均以左右视点的平面图像共同呈现，尺寸均为360×640。其中phase-I共包含20张参考图像对及365张失真图像对，图像主要为对称失真，即左右视点图像的失真程度近似相等。而phase-II共包含8张参考图像对及360张失真图像对，其中既包含对称失真又包含非对称失真类型的图像，非对称失真的图像左右视点图像的失真程度差异较大。立体图像数据库(LIVE)中包含五种不同的失真类型：高斯模糊、Jp2k压缩失真、jpeg压缩失真、瑞利快速衰落以及加性高斯白噪声。

本发明与三种全参考立体图像质量评价算法(Benoit[11],Chen[5],Shao[12])以及三种无参考立体图像质量评价算法(Zhang[6],Ding[7],Oh[8])进行了对比，表1展示了本发明在立体图像数据库(LIVE)上的实验结果，其中还包含其它六种现存的性能良好的立体质量评价算法的实验结果。

表1本专利方法在LIVE数据库上的表现

由对比结果显示可以看出，本发明所提出的立体图像质量评价算法的性能优于大部分现存的立体图像质量评价算法。

为了证明局部回归神经网络的必要性，进行了相应的对比实验，结果如表2所示。

表2有无局部回归进程的对比结果

由表2可以看到本发明所提出的从局部回归到全局回归神经网络的性能优越性，进一步证明了局部回归神经网络对于整体质量预测的性能优越性。

表3给出了将主观评价值(DMOS)以及将特征相似度(FSIM)算法计算出的分数作为作为局部回归的标签，指导局部回归神经网络进行训练得到的最终分数预测的性能。

表3分别使用主观评价值(DMOS)或特征相似度(FSIM)值作为标签的对比结果

由实验结果可以看出，在立体图像数据库(LIVE)的phase-II中，将FSIM算法计算得到的分数作为图像小块的标签相对于直接使用主观评价值(DMOS)会对网络性能有明显的提升，可以有效地证明对于非对称失真的立体图像使用同一个主观分数值进行网络训练的方法是不合理的，并且证明了同一副图像不同区域的失真程度也有所不同，因此本发明所提出的基于局部到全局特征回归的立体图像质量评价网络达到了优良的性能。

参考文献：

[1]Z.Wang,A.C.Bovik,H.R.Sheikh,and E.P.Simoncelli,”Imagequalityassessment:from error visibility to structural similarity,”IEEETrans.IP,vol.13,pp.600-612,2004.

[2]S.L.P.Yasakethu,C.T.E.R.Hewage,W.A.C.Fernando and A.M.Kondoz,"Quality analysis for 3D video using 2D video quality models,"in IEEETransactions on Consumer Electronics,vol.54,no.4,pp.1969-1976,November 2008.

[3]X.-Q.Chu,Y.-Y.Wu,and Q.Li,“Saliency structure stereoscopic imagequality assessment method,”Opt.-Int.J.Light Electron Opt.,vol.125,no.2,pp.704–709,2014.

[4]F.Shao,K.Li,W.Lin,G.Jiang,and M.Yu,“Using binocular featurecombination for blind quality assessment of stereoscopic images,”IEEE SignalProcess.Lett.vol.22,no.10,pp.1548–1551,Oct.2015.

[5]Chen M J,Su C C,Kwon D K,et al.Full-reference quality assessmentof stereopairs accounting for rivalry[J].Signal Processing:ImageCommunication,2013,28(9):1143-1155.

[6]W.Zhang,C.Qu,L.Ma,J.Guan,and R.Huang,Learning structure ofstereoscopic image for no-reference quality assessment with convolutionalneural network[J].Pattern Recognition,vol.59,pp.176–187,Nov.2016.

[7]Y.Ding et al.,"No-Reference Stereoscopic Image Quality AssessmentUsing Convolutional Neural Network for Adaptive Feature Extraction,"in IEEEAccess,vol.6,pp.37595-37603,2018.

[8]H.Oh,S.Ahn,J.Kim and S.Lee,"Blind Deep S3D Image QualityEvaluation via Local to Global Feature Aggregation,"in IEEE Transactions onImage Processing,vol.26,no.10,pp.4923-4936,Oct.2017.

[9]Lin Zhang,Lei Zhang,Xuanqin Mou,and David Zhang,Fsim:a featuresimilarity index for image quality assessment,”IEEE transactions on ImageProcessing,vol.20,no.8,pp.2378–2386,2011.

[10]A.Krizhevsky,I.Sutskever,G.E.Hinton,Imagenet classification withdeep convolutional neural networks,in:International Conference on NeuralInformation Processing Systems,2012,pp.1097.

[11]A.Benoit,P.Le Callet,P.Campisi and R.Cousseau,"Using disparityfor quality assessment of stereoscopic images,"200815th IEEE InternationalConference on Image Processing,San Diego,CA,2008,pp.389-392.

[12]F.Shao,W.Chen,G.Jiang and Y.Ho,"Modeling the Perceptual Qualityof Stereoscopic Images in the Primary Visual Cortex,"in IEEE Access,vol.5,pp.15706-15716,2017.

[13]A.K.Moorthy,C.-C.Su,A.Mittal,and A.C.Bovik,“Subjective evaluationof stereoscopic image quality,”Signal Process.,Image Commun.,vol.28,no.8,pp.870–883,Dec.2013.

[14]M.-J.Chen,L.K.Cormak,and A.C.Bovik,“No-reference qualityassessment of natural stereopairs,”IEEE Trans.Image Process.,vol.22,no.9,pp.3379–3391,Sep.2013。

Claims (2)

1.一种基于局部到全局特征回归的无参考立体图像质量评价方法，其特征是，首先通过特征相似度FSIM算法给左右视点的图像块分别赋予不同的标签，利用计算出的标签指导包含左右两个通道的局部回归神经网络进行预训练，将训练好的局部回归神经网络的参数进行保存，在全局回归神经网络中，左右通道与去除全连接层的局部回归神经网络结构完全一致，在左右两个通道的末端以“concat”连接的方式进行融合操作，即将左右通道分别学习到的特征图沿通道维度进行连接从而得到融合特征，并在融合操作后加入卷积层和全连接层对融合特征进行进一步提取和学习，全局回归神经网络中左右通道的初始参数值是由预训练的局部回归神经网络的参数以迁移学习的方式得到的，进而以主观评价值DMOS作为标签指导整体全局回归神经网络的训练，对全局回归神经网络的参数进行微调，以此实现特征的全局回归，立体图像的质量由训练完成的全局回归神经网络进行特征提取并预测。

2.如权利要求1所述的基于局部到全局特征回归的无参考立体图像质量评价方法，其特征是，进一步地，包含左右两个通道的局部回归神经网络，任一通道均包括五个卷积层、两个池化层以及三个全连接层，以计算出的图像块的特征相似度FSIM值作为标签，指导左右视点以双通道的方式同时进行训练；左右通道具有完全相同的网络结构，输入为对应同一幅立体图像的左右视点图像，均采用欧几里得损失函数对网络进行参数调整，公式如下所示：

其中，L_l和L_r分别代表左右通道局部回归神经网络的损失函数，I_d,I_r分别代表失真图像及相应的参考图像，N表示局部回归神经网络训练时的批大小batchsize，s_Fl,s_Fr分别代表左右视点图像块的标签值，分别代表两个通道的局部回归神经网络的特征提取函数，/>则代表局部回归神经网络中的全连接层，||·||₂表示数学上2范数的计算，用于计算欧几里得距离；

将左右通道的局部回归神经网络进行融合，在预训练模型的基础上，以主观评价值DMOS作为标签指导全局回归神经网络的训练，对全局回归神经网络的参数进行微调，以此实现特征的全局回归，基于局部回归神经网络而构造的全局回归神经网络，全局回归神经网络的结构框架包括左右视点的单独通道以及进行部分融合的融合通道，其中左右视点通道的网络参数初始值由局部回归神经网络提供，局部回归神经网络经过卷积层及池化层提取的特征通过“concat”连接的方式进行级联，进一步作为全局回归神经网络中融合通道的输入，级联后的特征经过两个卷积层及三个全连接层进一步地进行高层次特征的提取并得到最终质量分数的预测值，全局回归神经网络的标签均为原始数据库中提供的主观评价值DMOS，全局回归神经网络的损失函数由预测的质量分数与标签之间的欧几里得距离来定义，公式如下：

其中，s为立体图像数据库中所提供的标准标签值，表示对左右通道分别提取的特征进行级联的操作，/>分别表示全局回归神经网络中左右通道的特征提取，对于全局回归神经网络中左右通道的训练是在局部回归神经网络训练好的参数的基础上进行的微调，/>则代表的是全局回归神经网络中融合通道的全连接层，N^’表示全局回归神经网络训练时的批大小batchsize；

最后，全局回归神经网络通过最小化损失函数进行梯度反传，训练得到最优的网络参数模型。