CN110060236A

CN110060236A - 基于深度卷积神经网络的立体图像质量评价方法

Info

Publication number: CN110060236A
Application number: CN201910238168.9A
Authority: CN
Inventors: 沈丽丽; 徐珂; 侯春萍
Original assignee: Tianjin University
Current assignee: Tianjin University
Priority date: 2019-03-27
Filing date: 2019-03-27
Publication date: 2019-07-26
Anticipated expiration: 2039-03-27
Also published as: CN110060236B

Abstract

本发明涉及一种基于深度卷积神经网络的无参考立体图像质量评价方法，包括以下步骤：数据预处理：灰度化左右视图，随机裁剪成大小为32×32的patch块；训练深度卷积神经网络；质量分数融合：在得到左右视图的特征向量FL和FR后，将两者作差得到FL‑FR，将三者拼接得到融合后的特征向量(FL，FR，FL‑FR)，将其输入全连接层网络，得到两部分输出，一部分是每个patch的质量，另一部分是每个patch的权重；将两部分作点积得到一幅立体图像的最终质量预测分数。

Description

基于深度卷积神经网络的立体图像质量评价方法

技术领域：

本发明涉及对3D数字图像进行无参考的客观质量评价领域。

背景技术：

随着立体图像的迅速发展，立体电影、立体游戏等立体产品极大的丰富了我们的生活体验，然而立体图像在采集或传输过程中都会存在失真，给观看者带来不舒适感。因此，对立体图像进行质量评估具有重要意义。图像质量评价方法可以分为主观评价和客观评价两类。前者是由若干观察者对图片的质量进行评分，然后通过统计方法得到平均分值,称为MOS(Mean Opinion Score)或DMOS(DifferentialMOS)。后者使用一系列的算法代替人类视觉系统对图像质量进行预测。一般来说，主观评价的方法更加可靠，但这种方法费时费力，稳定性较差，因此客观的质量评价方法成为研究重点。根据是否需要原始参考图像，客观评价方法可以分为三类：全参考质量评价算法(Full Reference,FR)、半参考质量评价算法(ReducedReference,RR)以及无参考质量评价算法(NoReference,NR)。由于实际应用中往往无法获得原始参考图像，所以研究无参考图像质量评价算法更加具有现实意义。

目前，2D图像客观质量评价方法已经相对成熟，相对于平面图像而言，立体图像质量评价不仅需要考虑平面图像的属性，还需要结合人眼立体视觉特性来评价视差信息等因素。早期对立体图像质量评价进行研究都是由2D图像评价方法演变而来，基于自然场景统计特性的2D图像评价方法在3D图像质量评价中也取得了很好的应用，尽管这些方法在3D图像评价中能取得一定的效果，但评价过程中始终没有考虑到任何立体感知因素。

为了使立体图像质量评价(Stereo Image QualityAssessment，SIQA)体现立体感知特性，需要在传统质量评价方法的基础上引入立体图像的深度信息和视差信息。随着对SIQA研究的不断深入，双眼融合和双眼竞争的视觉特性对3D图像质量的感知分析起着显著的效果，能很好的表现人眼视觉功能。如今已成为优秀的SIQA算法必须考虑的因素了。在深度学习领域方向，利用卷积神经网络CNN强大的图像学习能力，来对立体图像质量进行评价的方法逐渐受到欢迎，卷积神经网络模型同时具备了图像特征自动提取和深度自学习的能力，基于CNN的立体图像质量评价方法在图像评价领域中取得了很好的成绩，实验结果与人类的主观感知有较高的一致性。

虽然立体图像质量评价研究取得了很多、很好的研究成果，但是相比于2D平面图像，3D领域的研究还不够充分彻底，立体图像评价仍然是一项富有挑战的工作，视觉匹配、深度感知等原理目前还不够完善，这些关键的技术问题亟待解决。

发明内容：

本发明针对3D数字图像，提出了一种通用的无参考立体图像质量评价算法(NR-SIQA)——基于深度卷积神经网络的无参考立体图像质量评价算法。本发明技术方案如下：

一种基于深度卷积神经网络的无参考立体图像质量评价方法，包括以下步骤：

第一步.数据预处理

(1)图像分块：灰度化左右视图，随机裁剪成大小为32×32的patch块；

(2)扩充数据集：通过对LIVE 3D数据库中的图片进行随机旋转、镜像等处理以增加数据集；

第二步.训练深度卷积神经网络

(1)卷积层：卷积层采用级联的3×3卷积核，采用级联卷积核的方式加深网络的层数；

(2)池化层：基于局部相关性原理对从卷积层传输的特征映射进行二次采样，采用最大池化层；

(3)全连接层和Softmax层：全连接层的每一个结点都与上一层的所有结点相连，用来把所提取到的特征综合起来，网络中使用Softmax层用作归一化处理；

(4)CNN架构：基于VGGNet-16提取图片高维卷积特征，在VGGNet-16网络前面添加两个卷积层Conv3-32和一个池化层，之后接级联卷积层和池化层，考虑到网络输出层的维度，连接三个级联卷积层，此网络中一共有12个卷积层和5个池化层，将图像的预测分数与真实的DMOS做均方差计算，以此作为损失函数进行迭代训练；

第三步.质量分数融合

在得到左右视图的特征向量FL和FR后，将两者作差得到FL-FR，将三者拼接得到融合后的特征向量(FL，FR，FL-FR)，将其输入全连接层网络，得到两部分输出，一部分是每个patch的质量，另一部分是每个patch的权重；将两部分作点积得到一幅立体图像的最终质量预测分数。

附图说明：

通过附图(表)，可以使本发明的实施步骤及优点更加直观，同时使读者更容易理解本发明的流程与操作。

图1发明方案所使用的算法整体框图；

图2该算法的特征提取网络示意图；

表1该算法性能的评价指标SROCC的实验对比结果。

表2该算法性能的评价指标LCC的实验对比结果。

具体实施方式：

本发明通过深度CNN结构提取图像特征进行质量预测，可分为三个步骤：特征提取、特征融合、分数预测。第一步，特征提取。首先分别对左右视图进行灰度变换并随机裁剪成patch块，将patch块放入改进的VGGNet网络中训练，得到左右视图的特征FL和FR。第二步，特征融合。在得到左视点patch的特征FL和右视点patch的特征FR后，将两者特征进行相减得到FL-FR，再将这三部分特征融合即得到(FL，FR，FL-FR)。第三步，分数预测。将特征向量通过全连接层，全连接层输出包括两部分，一部分映射为一个一维向量，即为每一个patch质量，另一部分通过激活函数转换，并做Softmax归一化处理，得到每一个patch权重。最后将每个patch块和其对应的权重进行相乘预测得到一个立体图像最终的质量分数。在LIVE 3D Phase I数据集上进行实验，实验结果表明该方法的预测评分与主观评分有较高的一致性。基于深度CNN的SIQA能够取得一定的优越性。

为使本发明的方案更加清楚明了，便于实施，以便于更加凸显本发明的优点及目的，下面结合附图对本发明实施方案作进一步地详细阐述与说明。

101：算法的整体框架分析；

算法的整体框架可以分为以下部分：首先将左右视点通过深度CNN网络提取左右视图特征，然后对图像特征进行融合，计算出每一个视点相应的权重，最后将权重和相应视点质量相乘求和得到最终的立体图像质量。

由于深度网络中要训练的参数的数量通常是非常大的，训练集必须有足够的数据样本，这样才能避免过拟合。而在SIQA比较常用的公开数据集LIVE 3D中，其图片数量并不多，这就导致了深度神经网络的端到端训练是一项具有挑战性的任务。本发明用扩充数据集来解决这个问题。一方面把带有label(标签)的图像分成很多patch块，把patch放进网络随机地进行训练，然后会得到每一个patch的特征向量。另外一方面，通过随机旋转、镜像等处理来增加数据集图片数量。

算法模型的具体实施流程从左右视图的输入开始，将左右视图分别进行灰度转换，与大多数IQA预处理空域归一化方法不同，输入到网络的patch并不需要做归一化处理，主要考虑到由亮度和对比度变化引起的失真通过归一化操作会使得这种分布过于均衡，不利于特征提取。之后将每一幅图像随机裁剪成patch块，其大小为32×32，然后将相对应的左右视点同时放进深度CNN中训练，深度卷积神经网络以VGGNet为基础进行改进，在得到左视点patch的特征FL和右视点patch的特征FR后，将两者特征进行相减得到FL-FR，再将这三部分特征融合得到(FL，FR，FL-FR)，然后将特征向量通过全连接层。全连接层包括三层结构，输出包括两部分，一部分映射为一个一维向量，即为每一个patch质量，另一部分通过激活函数转换，并做Softmax归一化处理，得到每一个patch权重。最后将每个patch块和其对应的权重进行相乘预测得到一个立体图像最终的质量分数，接下来将图像的预测分数与真实的DMOS做均方差计算，以此作为损失函数进行迭代训练。

102：特征提取网络；

将深度CNN运用在立体图像质量评价中，与平面图像质量评价不同，立体图像需要考虑的因素除了需要左右视图之外，还更多的关注的是视差信息，所以把经过深度卷积神经网络之后的左右视点做差值计算，为了更好地提取立体图像的全面丰富信息，同时，应该综合考虑网络模型的泛化能力以及人眼视觉特性，CNN网络的选择就非常重要。

本发明以VGGNet-16深度卷积神经网络结构为基础进行改进，以此构建特征提取网络。VGGNet在图像特征提取中是一个泛化学习能力很强的卷积神经网络，有着很好的学习迁移能力，在原始的网络中是为了解决分类问题，在其特征层后面为三个全连接层，分别为FC-4096，FC-4096和FC-1000以及Softmax层，而在SIQA领域中，最终预测类型为回归问题，所以把原始VGGNet-16前面的卷积层和池化层迁移过来。VGGNet作为第一个采用级联卷积核3×3的神经网络，科研人员早已研究表明用两个比较小的3×3卷积核与比较大的5×5卷积核的感受野是相同的，而且采用小尺寸的卷积核所需的参数比大卷积核数量少，因此卷积层的filter(过滤器)大小采用3×3。

与此同时，考虑到原始VGGNet-16网络的输入为224×224，而经过裁剪的patch块仅为32×32，所以在原始网络前面添加两个卷积层Conv3-32，表示卷积核大小为3×3，通道数为32，和一个池化层，池化层的filter为2×2，之后接一序列级联卷积层和池化层，考虑到网络输出层的维度，最后会连接三个级联卷积层。这样得到的最终特征提取网络就包括Conv3-32，Conv3-32，Maxpool，Conv3-64，Conv3-64，Maxpool，Conv3-128，Conv3-128，Maxpool，Conv3-256，Conv3-256，Conv3-256，Maxpool，Conv3-512，Conv3-512，Conv3-512，Maxpool共12层卷积层。为了使卷积层的输出和输入大小一致，对卷积层采用全0填充方式，所有的Maxpool层filter均采用2×2，使每经过一层Maxpool图像尺寸大小减半，能够有效减低特征图的维度。其中卷积的计算方程如下：

公式(1)中，w^k和b^k分别代表第k个filter的权值和偏置参数，x_i表示第i个图像局部块，则表示第k个filter与局部图像块x_i进行卷积之后的结果。在经过卷积操作之后，在通过ReLu(修正线性单元)激活函数进行转换，计算方程如下：

公式(2)中，g为激活函数的输出，接着在经过最大池化层后，进行下采样得到的图像尺寸大小缩小一半。这样每一个patch在经过最后一个Maxpool层后得到的特征向量维度为1×512。

对于左右视图相对应的patch块，经过深度CNN之后，进行特征融合，即将左视点特征向量FL，右视点特征向量FR以及两者差向量FL-FR进行拼接得到的特征向量维度为3×512。

图像加权融合：

在经过特征提取网络后，接下来会通过全连接层回归网络，本发明采用三个全连接层网络，分别为FC-1536，FC-512，FC-1，以此会得到每一个patch质量，另外一方面，需要考虑到人眼视觉显著性特点，在图像局部区域的感知质量并不能反映整个全局图像的感知质量，而且通过平均每一个局部块质量而得到整体质量也是一个比较粗略的计算方法。因为图像中的每一个patch区域吸引人眼的注意力会不同，通常情况下，失真区域分布的注意力会比其他区域更多，所以这就导致整体质量分数由每一个局部块质量和其对应的权重系数乘积。

网络算法模型在经过全连接层之后，会分成两个分支，一部分生成每一个patch质量y_i，另一部分会生成相应的权值α_i，其中y_i是通过FC-1全连接层回归得到的，α_i的计算公式如下：

上式中，λ为较小常数，确保β_i的稳定性，N为图像patch的个数，然后对其归一化就得到α_i，然后立体图像最终得到的加权质量分数Q_predict为：

Q_predict＝α_iy_i (5)

103：实验性能指标SROCC和LCC分析；

本发明选取LIVE 3DPhase I数据集中共365张立体图像对作为训练和测试的数据集，SIQA评价指标采用SROCC和LCC，其中SROCC指标主要为衡量预测样本和真实样本的次序相关系数，即两者之间的单调性关系，而LCC则主要用于衡量两个样本之间的线性相关性。实验结果最后得到的SROCC和LCC值越接近于1，表明算法模型的预测效果越好。在深度网络训练过程中，由于图像数据集经过扩充，并且拆分成patch块，构建的网络层数比较深，共包含卷积层和全连接层共15层，所需要的训练参数达到百万级。本发明随机选取数据集中80％参考图像由其生成失真图像用于训练，其余20％参考图像所对应生成的失真图像作为测试数据集，这样使得训练集图像与测试集图像在网络模型训练或测试过程中无交叉重叠。在网络的逐步训练和测试中，经过5000个epoch后，SROCC和LCC值会接近收敛，这样取最终的收敛值即为最终实验结果。

从表中可以看出，本发明提出的基于深度CNN的SIQA网络在JPEG和FF两种失真类型上面的结果均高于其他算法，从单一失真类型上可以观察到大部分算法在JP2K和JPEG上的效果均不好，主要是因为图片对应的DOMS值分布比较集中，很难用模型较准确的感知其中的差别。从整体上看，除了Zhang提出的模型的SROCC和LCC相对较高，本发明提出的DeepCNN基本上都高于其他算法，在LCC评价指标可以达到0.926，在SROCC评价指标上也均高于绝大部分算法为0.921，另外，考虑到现有的深度卷积神经网络在SIQA中的应用并不多，仅Zhang提出的模型为深度学习方法，相比于传统算法，因为其提取的特征向量维度较高，比卷积神经网络效果稍好，但从表中仍然可以看出算法模型优于大多数传统方法算法。

本发明首先从整体上介绍算法模型框架图，将立体图像左右视图拆分为很多patch，在通过深度CNN网络结构，其中两个深度CNN网络结构相同将会共享参数，之后将提取得到的左右视点的特征向量进行融合，分别为左视点特征、右视点特征以及左右视差特征，把拼接好的融合特征经过全连接层回归网络，分别生成每一个patch块质量以及对应的权重，最后把所有的patch进行加权融合得到最终预测质量分数。为了验证本网络模型的有效性，对LIVE 3DPhase数据集扩增并进行训练和测试，实验结果表明，该算法模型优于绝大多数算法，与人眼主观评价结果一致性较高，为后续深度CNN在SIQA上的应用提供了方向。概括而言，技术方案如下：

第一步.数据预处理

(2)扩充数据集：通过对LIVE 3D数据库中的图片进行随机旋转、镜像等处理以增加数据集。

第二步.训练深度卷积神经网络

(1)卷积层：卷积层采用级联的3×3卷积核，这样不仅可以获得与5×5卷积核相同的感受野，而且小尺寸的卷积核所需参数较少，降低了复杂度，提高了模型的运算速度。采用级联小尺寸卷积核的方式加深了网络的层数，以此来提取图像中更深更抽象的图像特征。

(2)池化层：池化层基于局部相关性原理对从卷积层传输的特征映射进行二次采样，网络中采用最大池化层，只保留所选区域中的最大值。通过消除非极大值，降低了模型的计算复杂度。最大池化层减小了卷积层参数造成的估计均值的偏移误差，更多的保留了图像的纹理信息。

(3)全连接层和Softmax层：全连接层的每一个结点都与上一层的所有结点相连，用来把前边提取到的特征综合起来。网络中使用Softmax层用作归一化处理，Softmax可以平衡概率分布，避免模型出现梯度爆炸的问题。

(4)CNN架构：VGGNet-16用于提取图片高维卷积特征。现对其进行改进，得到更符合我们算法的框架。在原始VGGNet-16网络前面添加两个卷积层Conv3-32和一个池化层，之后接一系列级联卷积层和池化层，考虑到网络输出层的维度，最后会连接三个级联卷积层。此网络中一共有12个卷积层和5个池化层。将图像的预测分数与真实的DMOS做均方差计算，以此作为损失函数进行迭代训练。

第三步.质量分数融合

(1)在得到左右视图的特征向量FL和FR后，将两者作差得到(FL-FR)，将三者拼接得到融合后的特征向量(FL，FR，FL-FR)。将其输入全连接层网络，得到两部分输出，一部分是每个patch的质量，另一部分是每个patch的权重。将两部分作点积得到一幅立体图像的最终质量预测分数。

(2)将整个LIVE 3D Phase I数据集随机分为两部分，其中80％用于3D CNN模型的训练，其余20％用于模型的测试；在网络的逐步训练和测试中，经过5000个epoch(迭代次数)后，SROCC(斯皮尔曼秩相关系数)和LCC(皮尔森线性相关系数)值会接近收敛，这样取最终的收敛值即为最终实验结果。

表1不同算法在LIVE 3D Phase I数据集下SROCC性能比较

表2不同算法在LIVE 3D Phase I数据集下LCC性能比较

Claims

1.一种基于深度卷积神经网络的无参考立体图像质量评价方法，包括以下步骤：

第一步.数据预处理

(2)扩充数据集：通过对LIVE3D数据库中的图片进行随机旋转、镜像等处理以增加数据集；

第二步.训练深度卷积神经网络

第三步.质量分数融合

在得到左右视图的特征向量FL和FR后，将两者作差得到FL-FR，将三者拼接得到融合后的特征向量：FL，FR，FL-FR，将其输入全连接层网络，得到两部分输出，一部分是每个patch的质量，另一部分是每个patch的权重；将两部分作点积得到一幅立体图像的最终质量预测分数。