CN109859166B - 一种基于多列卷积神经网络的无参3d图像质量评估方法 - Google Patents

Abstract

本发明公开了一种基于多列卷积神经网络的无参3D图像质量评估方法。该方法分为块训练和全局训练两部分。块训练部分，将左右视点分别划分为相同大小的块，计算每块的SSIM，将这些带有SSIM标签的块用基于级联的多列卷积神经网络的深度学习网络进行训练。全局训练部分，将左右视点的块用上一部分的网络预测得到SSIM值，将这些SSIM值排列成一个列向量。最后，用几个全连接网络将特征向量映射为一个3D图像主观质量值。本发明方法在LIVE Phase I和LIVE Phase II通用3D图像数据库上进行试验，都具有较高的鲁棒性和准确性。

Description

一种基于多列卷积神经网络的无参3D图像质量评估方法

技术领域

本发明涉及一种3D图像质量评估方法，特别是涉及一种基于多列卷积神经网络的无参3D图像质量评估方法，属于图像处理、传输技术领域。

背景技术

图像是人类获取信息最直观的方式，随着信息化浪潮的发展，设备的不断推陈出新，我们已经进入了一个智能高清的视觉时代。3D图像带给用户沉浸式体验，具有逼真的感觉，其运用在3D电影上已经取得巨大成功。3D图像在给人们带来新颖的视觉体验的同时，对设备以及传输技术都带来了巨大挑战。3D图像一般具有高清或超高清的画质，这样的画质会产生大量的数据，这对设备的要求就大大提高，并且在网络中进行传输时需要占用大量带宽。3D图像压缩技术能对其进行压缩、编码以减小带宽的占用，但是压缩技术会产生一定不可避免的失真。在网络传输时，因特网协议采用的是尽力而为的服务原则，在遇到网络堵塞时会进行丢包，丢包对压缩后的数据流影响很大，如果丢失了参考帧，视频将无法解码。3D图像的采集过程也会受采集设备的影响，如曝光、抖动等。显示设备也会出现颜色、对比度、色调等的失真。因此，亟需一种对3D图像的质量进行评估的方法来对3D图像质量进行反馈，从而对其质量进行调整。

根据对原始3D图像的参考程度，可以将3D图像质量评估方法分为全参考、半参考和无参考。全参考质量评估方法(Full-reference，FR)是通过比较参考3D图像和测试3D图像之间的差别得到测试3D图像的质量。该方法需要获取完整的原始参考3D图像，并且通常是没有被压缩和损坏的3D图像，因此对实际运用来说是一个巨大的限制。无参考质量评估方法(No-reference，NR)在评估时只能得到测试3D图像而无法得到参考3D图像。该方法只是通过对接收到的测试3D图像进行分析和处理提取到3D图像的某些失真信息，如方块效应、模糊等，然后根据这些失真的特征信息来评估测试3D图像的质量。半参考质量评估方法(Reduced reference，RR)是介于FR方法和NR方法的一种方法。

现有的3D图像质量评估模型直接将2D图像质量评价方法运用到左右视点图像得到相应的质量分数，然后对这两部分的质量分数进行加权得到3D图像的质量。传统的2D图像质量评估已不能简单地运用在3D图像的质量评估上，需要将人类视觉系统的双目特性应用在评估模型中，如双目融合、双目竞争、双目抑制以及深度感知等。

考虑到双目视差的影响，现有的一些3D图像质量评估算法将视差图或者深度图作为评价立体图像质量的指标。中央眼模型也需要借助视差图的计算。不论是视差图的计算需要耗费大量的时间，还是随着失真情况的加深视差图越来越不准确，这些情况都使得视差图/深度图在质量评估算法中的使用不太合理。因此，需要研究一种反应视差变化且计算复杂度低的算法。

随着深度学习的蓬勃发展，其被应用到计算机视觉、图像分割、目标识别、图像检索等领域。深度学习在图像质量评价中的应用也越来越深入，Kang等人[¹]提出了一个基于卷积神经网络(convolutional neural network，CNN)的无参考图像质量评估模型，并且取得了和全参考质量评价算法一样的效果，可见深度学习可以大大提高无参考质量评估算法的准确性。并且基于深度学习的质量评估算法不需要预处理失真图像，也不需要人工预先提取特征，这是完全不需要先验信息却能保证精确度的方法。

发明内容

本发明的目的是为了对3D图像进行质量监控和评估，提出了一种基于多列卷积神经网络的无参3D图像质量评估方法。该方法分为块训练和全局训练两部分。块训练部分，将左右视点分别划分为相同大小的块，计算每块的SSIM，将这些带有SSIM标签的块用基于级联的多列卷积神经网络的深度学习网络进行训练。全局训练部分，将左右视点的块用上一部分的网络预测得到SSIM值，将这些SSIM值排列成一个列向量。最后，用几个全连接网络将特征向量映射为一个3D图像主观质量值。

为达到上述目的，本发明采用如下技术方案：

一种基于多列卷积神经网络的无参3D图像质量评估方法，包括如下步骤：

步骤1、训练集建立：在训练集上把原始3D图像切成小块，并对这些小块分别计算一个SSIM值作为标签，由此构建块训练的训练集；

步骤2、多列卷积神经网络的块训练：在步骤1得到的训练集上训练图像块的SSIM评估模型，优化算法使用随机梯度下降算法，训练完成后得到一个评估图像块SSIM值的模型；

步骤3、全局训练：根据步骤2得到的模型，评估得到左右视点的图像块的SSIM值，将这些SSIM值排列成一个列向量，用几个全连接网络将特征向量映射为一个3D图像主观质量值；

步骤4、无参3D图像质量评估：在上述步骤2和3训练得到的图像块评估模型和主观质量评估模型通过输入的3D图像来预测对应的主观质量值。

本发明方法主要是考虑到3D图像的多尺度特性，因此借助于多列卷积神经网络模型，能有效地提取3D图像中的多尺度特征，并将这些多尺度特征进行融合。由于3D图像的训练库样本较少，本发明方法首先训练一个基于图像块的SSIM评估模型，然后利用这个模型得到3D图像的左右视点的质量特征向量，最后通过几个全连接网络将这个质量特征向量回归到我们需要预测得到的主观质量分数。

本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点：

1、本发明方法充分考虑了3D图像的多尺度特点，即3D图像中物体存在尺度不同的情况。提出了一种基于多列卷积神经网络的无参3D图像质量评估模型。

2、本发明方法通过首先训练一个基于块的SSIM评估模型，解决了3D图像训练样本较少的问题。

3、本发明方法利用提取得到的多尺度特征去预测3D图像块的SSIM值，而不是直接从3D图像去预测主观质量分数，降低了模型的训练难度，提高了无参3D图像评估的性能。

附图说明

图1为本发明基于多列卷积神经网络的无参3D图像质量评估方法的网络结构框图。

具体实施方式

本发明的优选实施例结合附图详述如下：

本实施例的多列卷积神经网络结构如图1所示。在Ubuntu 16.04，PyTorch环境下编程仿真实现本方法。首先，根据深度学习算法设计多列卷积神经网络模型。该方法分为块训练和全局训练两部分。块训练部分提取局部特征，将左右视点分别划分为相同大小的块，计算每块的SSIM，将这些带有SSIM标签的块用基于级联的多列卷积神经网络的深度学习网络进行训练。全局训练部分，将左右视点的块用上一部分的网络预测得到SSIM值，将这些SSIM值排列成一个列向量。最后，用几个全连接网络将特征向量映射到一个MOS值。

本方法具体包括如下步骤：

步骤1、训练集建立：在训练集上把原始3D图像切成小块，并对这些小块分别计算一个SSIM值作为标签，由此构建块训练的训练集；

步骤2、多列卷积神经网络的块训练：在步骤1得到的训练集上训练图像块的SSIM评估模型，优化算法使用随机梯度下降算法，训练完成后得到一个评估图像块SSIM值的模型；

步骤3、全局训练：根据步骤2得到的模型，评估得到左右视点的图像块的SSIM值，将这些SSIM值排列成一个列向量，用几个全连接网络将特征向量映射为一个3D图像主观质量值；

步骤4、无参3D图像质量评估：在上述步骤2和3训练得到的图像块评估模型和主观质量评估模型通过输入的3D图像来预测对应的主观质量值。

本实施例在所述步骤1中，设定所切的块大小为16×18，而且这些块没有重叠部分。3D图像的左右视图大小分别为640×360，因此两个视图分别可以得到40×20个图像块以及所对应的SSIM值。

本实施例在所述步骤2中，块训练阶段结构如图1灰色虚线框内部分所示，在卷积层Conv1层采用64个大小为3×3的卷积核对块进行初步的特征提取。然后，采用一个3层级联的CNN网络对图像块进行多尺度特征提取。接着，采用两个级联的残差网络，该网络可以使网络收敛更快，防止随着网络层数增加梯度消失的问题。最后是两个全连接网络，后一个全连接网络的输出是SSIM值。

为了提取不同尺度的特征，在级联多列网络中采用了不同尺寸的卷积核(kernel)来进行卷积，其结构可参考图1黑色虚线框内部分，为保证在特征融合时特征图的尺寸相同，需要对卷积层的个数、步长(stride)、填充(padding)、卷积核大小等进行调整。

卷积层输出的尺寸和输入尺寸之间的表达式为：

X_out＝(X_in+2×ρ-κ)/λ+1 (1)

其中，X_in和X_out分别是卷积层输入和输出的大小，λ表示卷积的步长，ρ表示加在输入特征图的左右的填充的大小，κ是卷积核的大小。根据此式计算对网络各层的参数进行调整。

在每一列卷积层中，感受野的大小可以表达为：

γ＝κ+(κ-1)×(n-1) (2)

其中，κ是卷积核的大小，n表示为每一列中卷积层的个数。显然，为了保证经过这三列卷积层后，特征图像的尺寸相同，每一列的感受野也要保证相等。因此，在第一列中采用6个卷积核为3×3的卷积层，第二列采用3个卷积核为5×5的卷积层，第三列采用2个卷积核为7×7的卷积层。

为了不增加特征图的深度，需要将特征进行融合。特征融合一般有两种方法：元素级相加和特征图叠加。一般采用特征叠加的方法^[2]，为了特征融合后减少通道数，我们采用一种新型的特征融合方法即元素级相加的方法，在每一列卷积层的最后加入一个卷积核为1×1的卷积层，特征图通过该卷积层后相加。这样，网络可以在多个尺度上高效特征提取，并保证特征图的大小保持一致。一般来说，增加卷积层级联列数可以提高网络的精确度，本文在性能和计算复杂度的权衡下，选择3列级联的卷积层，分别为3×3、5×5和7×7。

网络的各个卷积层的参数详列在表1中：

表1

Layer	Padding	Kernel	Stride
				Conv1	2	5×5	1
Conv2_1～2_6	1	3×3	1
				Conv3_1～3_3	2	5×5	1
Conv4_1～4_2	3	7×7	1
				Conv5	0	1×1	1
Conv6	0	1×1	1
				Conv7	0	1×1	1
Conv8	1	3×3	1
				Conv9	1	3×3	1
Conv10	1	3×3	1
				Conv11	1	3×3	1

卷积层的激活函数一般有修正线性单元(Rectified Linear Unit，ReLU)和Sigmod激活函数，ReLU与Sigmod激活函数比较，更接近生物学神经元的激活模型，ReLU的速度比较快且精确度更高。如果用sigmod函数则需要进行预训练，否则会出现梯度消失的情况，预训练可以祛除冗余，增强特征表达性，加快收敛速度。采用ReLU不会出现梯度消失的情况，训练后的网络有一定的稀疏性，自然不需要进行预训练，降低了时间复杂度。为此，我们采用ReLU，其定义神经元在神经节点的计算ω^Tx+b的输出结果。我们将X_i作为第i层的输入特征，W_i和B_i是第i层的神经元的权重值和偏置值，X_i+1是第i层的映射输出值，那么输入特征将被映射为更深层的信息，其表达式为：

X_i+1＝max(0,W_i*X_i+B_i) (3)

其中，*表示卷积计算，偏置值B_i在这里设为0。

块训练网络的最后部分是两个全连接网络，将特征向量映射到一个SSIM值。全连接层可以看作BP神经网络，将特征图拉伸为一个列向量后，经过全连接网络得到一个输出值，本文中这里的输出值就是SSIM的预测值。通过预测的SSIM值和实际的SSIM值计算损失函数的值然后不断进行迭代更新。

损失函数一般根据应用的不同进行选择，一般在图像处理中常用均方误差(MeanSquare Error，MSE)损失函数，表达式为：

其中，Θ是一系列学习参数，N是每一个训练批次的训练样本数，X_i是输入的图像块，F(X_i；Θ)是预测的SSIM值，F_i是每一个图像块的标签，也即实际的SSIM值。

在所述步骤3中，全局训练框图如图1所示。基于块的学习网络建成后，左右视点可以划分为相同大小的块，经过块学习网络得到每一个块的SSIM的预测值，将其拉伸为一个列向量。将左右视点每个块的SSIM预测向量组合排列为一个特征向量，并通过一个由4全连接网络级联的深度学习网络，将这些特征向量映射为一个主观打分值MOS。每个特征向量下的数值代表列向量的维数，其值分别为1600维，2048维，1024维和521维，最后得到一个一维的MOS值。

本方法在LIVE实验室的LIVE Phase I和LIVE Phase II上进行实验，验证本算法的有效性。在块训练部分，由于数据库内没有对单独的块进行打分，因此，将所有的图像划分为相同大小的块，用SSIM作为每个块的质量标签。在全局训练部分，将图像库划分为80％作训练，20％作测试。本文用两个常用的指标来衡量模型的性能，分别是皮尔逊线性相关系数(Pearson linear correlation coefficient,PLCC)和斯皮尔曼秩相关系数(Spearmanrank order correlation coefficient,SROCC)。这两个系数越趋近1，则这个模型的性能越好。

本实例选取了9个比较算法，分别是Gorley^[3]，You^[4]，Benoit^[5]，Lin^[6]和Bensalma^[7]；无参考算法：Sazzad^[8]，Chen^[9]，Sang^[10]和Wang^[11]。实验结果如表2，表3，表4和表5所示中是本发明的评估算法与其他9个算法的SROCC和PLCC结果比较。

表2

表3

表4

表5

其中，实验结果最好的算法用黑色字体加粗。从表中可以看到本发明的方法在两个数据库上都有较好的鲁棒性和精确性。由上述实验可见，本发明方法在3D图像质量评估上确实有较好的鲁棒性和精确性，并且计算复杂度低。

参考文献：

¹ Le Kang,Peng Ye,Yi Li,and David Doermann,“Convolutional neuralnetworks for no-reference image quality assessment,”in Proceedings of theIEEE Conference on Computer Vision and Pattern Recognition,2014,pp.1733–1740.

² Y.Zhang,D.Zhou,S.Chen,S.Gao and Y.Ma,“Single-Image Crowd Countingvia Multi-Column Convolutional Neural Network,”in CVPR,2016,pp.589-597.

³ P.Gorley and N.Holliman,“Stereoscopic image quality metrics andcompression,”Proc.SPIE,vol.6803,2008.

⁴ J.You,L.Xing,A.Perkis,and X.Wang,Perceptual quality assessment forstereoscopic images based on 2D image quality metrics and disparity analysis[C],in Proc.Int.Workshop Video Process.Quality Metrics Consum.Electron.,Scottsdale,AZ,USA,Jan.2010,pp.61–66.

⁵ A.Benoit,P.Le Callet,P.Campisi,and R.Cousseau,Quality assessment ofstereoscopic images[J],EURASIP J.Image Video Process.,Jan.2009,vol.2008,pp.1–13.

⁶ Y.-H.Lin and J.-L.Wu,“Quality assessment of stereoscopic 3D imagecompression by binocular integration behaviors,”IEEE Trans.Image Process.,vol.23,no.4,pp.1527–1542,Apr.2014.

⁷ R.Bensalma,M.C.Larabi,A perceptual metric for stereoscopic imagequality assessment based on the binocular energy[J],Multidimens.Syst.SignalProcess.2013,24(2),pp.281–316.

⁸ Z.M.Sazzad,R.Akhter,J.Baltes,and Y.Horita,“Objective noreferencestereoscopic image quality prediction based on 2D image features and relativedisparity,”Adv.Multimedia,vol.2012,no.8,Jan.2012.

⁹ M.J.Chen,C.C.Su,D.K.Kwon,L.K.Cormack,and A.C.Bovik,“Full-referencequality assessment of stereopairs accounting for rivalry,”Signal Processing:Image Communication,vol.28,no.9,pp.1143–1155,2013.

¹⁰ Qingbing Sang,Tingting Gu,Chaofeng Li,Xiaojun Wu,“StereoscopicImage Quality Assessment via Convolutional Neural Networks”,Smart CitiesConference(ISC2),Nov.2017.

¹¹ Kai Wang,Jun Zhou,Ning Liu1,Xiao Gu,“Stereoscopic Images QualityAssessment Based On Deep Learning”,Visual Communications and Image Processing(VCIP),2016.

Claims (1)

1.一种基于多列卷积神经网络的无参3D图像质量评估方法，其特征在于，包括如下步骤：

步骤1、训练集建立：在训练集上把原始3D图像切成小块，并对这些小块分别计算一个SSIM值作为标签，由此构建块训练的训练集；

步骤2、多列卷积神经网络的块训练：在步骤1得到的训练集上训练图像块的SSIM评估模型，优化算法使用随机梯度下降算法，训练完成后得到一个评估图像块SSIM值的模型；

步骤3、全局训练：根据步骤2得到的模型，评估得到左右视点的图像块的SSIM值，将这些SSIM值排列成一个列向量，用4个全连接网络级联的深度学习网络将特征向量映射为一个3D图像主观质量值；

步骤4、无参3D图像质量评估：在上述步骤2和3训练得到的图像块评估模型和主观质量评估模型通过输入的3D图像来预测对应的主观质量值；

在所述步骤2中，在卷积层Conv1层采用64个大小为3×3的卷积核对块进行初步的特征提取；然后，采用一个3层级联的CNN网络对图像块进行多尺度特征提取；接着，采用两个级联的残差网络，使网络收敛更快，防止随着网络层数增加梯度消失的问题；最后，两个全连接网络的后一个全连接网络的输出是SSIM值。