CN110738645B - 基于卷积神经网络的3d图像质量检测方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的3D图像质量检测方法。本发明方法在训练阶段，构建包括特征提取网络，特种融合网络以及质量权重预测网络的卷积神经网络，同时融合图像低级、中级、高级特征，让网络学习更高层次的抽象；考虑双目竞争，通过网络训练出自适应的质量和权重，提升非对称失真3D图像质量预测的准确性；由于人眼对图像区域的关注度不同，显著区域的图像质量对整体3D图像的影响较大，我们在训练阶段使用显著区域选择，测试阶段使用显著加权来得到整体的图像质量。本发明不使用人的主观分数进行监督，不存在由于人的主观因素造成的训练误差，可以使预测结果更为客观，准确。

Description

基于卷积神经网络的3D图像质量检测方法

技术领域

本发明涉及一种深度学习相关的3D图像质量检测方法，尤其是涉及一种基于卷积神经网络的3D图像质量检测方法。

背景技术

客观图像质量的检测是计算视觉的基本问题。随着立体3D成像技术的飞速发展，越来越多的3D图像出现在我们的日常生活中，例如，我们可以在电影院看3D电影，戴着AR眼镜玩3D游戏等等。图像的处理、压缩和传输可能会导致图像质量的下降，从而影响用户的视觉体验。

3D图像失真类型包括对称失真和非对称失真。对称失真的3D图像左右视点有相同的失真类型的失真等级，非对称的3D图像左右视点可能包含不同的失真类型和失真等级。3D视觉质量检测包括主观预测和客观预测。主观预测是一种费时耗力的预测方法，目前已不能满足如此大量的图像数据，其结果受环境等因素的影响。此外，主观预测不能嵌入到多媒体应用中。因此，开发能够自动预测3D图像视觉质量的客观检测方法具有重要意义。如今，很多图像质量(IQA)检测算法被提出，主要分为三类：全参考图像质量评估算法(FR-IQA)，半参考图像质量评估算法(RR-IQA)，无参考图像质量评估算法(NR-IQA)。全参考的方法提供原始非失真的参考图像，可以通过失真图形与参考图像的对比得到一个客观的质量分数。而在现实场景中，我们往往无法获得参考图像，因此对于无参考图像质量评估算法(NR-IQA)的研究更具有实际价值。此外，由于人眼之间的双目对抗，对非对称3D图像质量进行客观检测比对称3D图形更加困难。

最近几年，深度卷积神经网络在各种计算机视觉的任务中取得了突出的表现，并且在图像识别等方向达到了超过人类水平的准确率，由此引起了很多研究者的注意。卷积神经网络相比于传统方法的优点是它可以直接将原始图像最为输入，不需要人工对图像进行特征的提取。直接采用端到端的训练，不需要额外的数据处理，我们可以通过调整网络结构以实现不同的计算机视觉任务。对于无参考的图像质量检测算法现也基本采用深度学习的方法，输入失真3D图像，通过卷积神经网络提取失真图像特征，然后将提取的特征映射到主观质量分数(dmos)

现有的无参考图像质量检测算法在各类失真上能够得到和人类主观感觉相近的结果，但是对所有失真进行预测的时候预测精度会降低，并且对于不同的数据库的结果也各不相同，对非对称失真图像的预测结果通常低于对称失真图像，模型的通用性不强。并且现实场景中图像可能存在多种混合失真，增加了图像质量评估的难度。

发明内容

为了解决背景技术中的问题，本发明提供了一种基于卷积神经网络的3D图像质量检测方法，该方法检测结果好，且模型有一定的泛化能力。

本发明的技术方案包括以下步骤：

步骤1：选取J幅失真3D图像，使用大小为a×a、步长为a/2的滑动窗口对每幅失真3D图像的左视点图像和右视点图像进行区域分割后得到P对小图像，分割后得到的J*P对小图像作为训练集；

步骤2：通过GBVS显著图计算方法计算每幅失真3D图像的显著图像，使用与步骤1相同的滑动窗口对所有显著图像进行区域分割后得到每对小图像所对应的同样大小的显著小图像；

步骤3：构建卷积神经网络；

步骤4：计算步骤2中显著小图像的显著系数，选取显著系数不小于显著性阈值的显著小图像对构建的卷积神经网络进行监督训练，计算均方误差得到损失函数值；采用反向传播算法不断迭代调整网络参数；

步骤5：选取M幅待预测失真3D图像，使用与步骤1相同的滑动窗口对每幅待预测失真3D图像的左视点图像和右视点图像进行区域分割后得到P对待预测小图像；

通过GBVS显著图计算方法计算每幅待预测失真3D图像的显著图像，使用与步骤1相同的滑动窗口对每幅待预测失真3D图像的显著图像进行区域分割得到每对待预测小图像对应的显著区域块，计算显著区域块的显著系数；

步骤6：将步骤5分割后的M*P对待预测小图像输入步骤4训练后的卷积神经网络预测得到每对待预测小图像的质量分数，对每对待预测小图像的质量分数使用对应的步骤5计算得到的显著区域块的显著系数进行加权平均得到待预测失真3D图像的最终质量分数。

所述步骤3具体为：

卷积神经网络包括输入层、特征提取模块、特征融合模块、质量权重预测模块和输出层；输入层包括左视点输入层和右视点输入层，左视点输入层和右视点输入层分别输入失真3D图像的左视点图和右视点图；

特征提取模块包括左视点特征提取模块和右视点特征提取模块，左视点特征提取模块包括五个依次连接的卷积层和三个依次连接的最大池化层，第二个卷积层和第三个卷积层之间连接有第一个最大池化层，第三个卷积层和第四个卷积层之间连接有第二个最大池化层；右视点特征提取模块和左视点特征提取模块结构相同；

特征融合模块包括左视点特征融合模块和右视点特征融合模块，左视点特征融合模块包括低级特征全局平均池化层、中级特征全局平均池化层和高级特征全局平均池化层，低级特征全局平均池化层、中级特征全局平均池化层和高级特征全局平均池化层的输入分别为第一个最大池化层、第二个最大池化层和第三个最大池化层的输出，将低级特征全局平均池化层、中级特征全局平均池化层和高级特征全局平均池化层的输出拼接后作为质量权重预测模块的输入；右视点特征融合模块与左视点特征融合模块结构相同；

质量权重预测模块包括左视点质量权重预测模块和右视点质量权重预测模块，左视点质量权重预测模块包括四个全连接层，第一个全连接层分别输入第二个全连接层和第四个全连接层，第二个全连接层的输出连接至第三个全连接层；第二个全连接层和第三个全连接层组成质量预测网络，第四个全连接层为权重预测网络；右视点质量权重预测模块与左视点质量权重预测模块结构相同；

左视点质量权重预测模块的第三个全连接层和第四个全连接层的输出和右视点质量权重预测模块的第三个全连接层和第四个全连接层的输出通过加权融合后从输出层输出。

左视点质量权重预测模块的第三个全连接层和第四个全连接层分别输出左视点图的质量分数S^L和右视点图的质量分数S^R，右视点质量权重预测模块的第三个全连接层和第四个全连接层分别输出左视点图的权重分数W^L和右视点图的权重分数W^R；然后通过下式得到当前输入的小图像对的质量分数：

其中，S^L、S^R分别为左右视点图的质量分数，W^L、W^R分别为左右视点图的权重分数，S^quality为预测的小图像对的质量分数。

本发明的有益效果：

1)本发明方法通过构建卷积网络结构，将输入的3D失真图像区域映射到图像质量，对网络进行端到端的训练，不需要人工提取特征，不存在由于人的主观因素造成的训练误差，可以使预测结果更为客观、准确。

2)由于双目竞争，本发明考虑对左右视点权重进行预测，提高对3D非对称失真图像的预测性能。

3)本发明通过对显著图进行区域选择，选取人类视觉所关注的图像区域，可以提高模型预测的准确率。

附图说明

图1为本发明方法的整体结构图。

图2为CNN卷积网络部分。

具体实施方式

以下结合附图和实施例对本发明作进一步详细描述。

本发明提出的一种基于卷积神经网络的3D图像质量检测方法，其总体实现框图如图1、2所示。图1为训练和测试阶段的总体流程图，图2为具体的CNN网络结构部分。

训练阶段具体步骤为：

步骤1_1：训练阶段—滑动窗口分割区域

对于训练集失真图像定义为

L、R表示为失真3D图像左右视点，其j表示第j幅失真3D图像，总共有J幅，0<j≤J，(x,y)表示像素点坐标，x为纵向即高度坐标0<x≤H，y为横向即宽度坐标0<y≤W，H、W分别为图像高度和宽度。

使用大小为a×a(a＝64)，步长为a/2的滑动窗口对3D失真图像进行区域分割。每个3D失真图像可以得到P对小图像区域，P使用式1计算得到。

定义所有分割的图像区域为

JP表示总共有J×P对小图像区域。

步骤1_2：训练阶段—显著区域选择

定义GBVS显著图计算方法为f_GBVS(a)，a为失真3D图像左右视点。通过式2求得训练集失真图像对应的显著图

对应的训练集失真图像为

对于每个3D失真图像我们都可以得到一对一样大小的显著图像。采取步骤1_1中同样的滑动窗口，每对小图像区域可以得到对应的一对同样大小的显著区域。定义所有显著图像区域为

然后根据式3计算显著系数(首先分别计算左右视点的显著均值，然后对结果进行平均)。

定义所有的显著系数为

sal表示显著系数，定义显著性阈值为T^sal，我们选取

的图像块进行训练，丢弃其他显著性系数较低的图像块。

步骤1_3：训练阶段—损失函数

CNN网络的具体细节详见CNN网络部分，本发明使用小图像区域所属的3D失真图像对应的dmos值y进行监督训练。使用式4的均方误差为损失函数，其中

为CNN预测的结果，n为一个批量的数据大小；

然后使用反向传播算法不断迭代调整网络参数。

测试阶段的过程如下：

对于测试集失真图像定义为

L、R表示为失真3D图像左右视点，其m表示第m幅失真3D图像，总共有M幅，0<m≤M，(x,y)表示像素点坐标，x为纵向即高度坐标0<x≤H，y为横向即宽度坐标0<y≤W，H、W分别为图像高度和宽度。

使用步骤1中同样的方法对测试集失真3D图像进行区域分割以及显著系数计算。对于3D图像

分割得到的区域块显著系数为

其中sal表示显著系数，j＝1,2....P，P为每个3D图像分割的小区域个数。通过步骤1中训练好的CNN模型，预测每对小图像区域的质量分数

其中quality代表质量分数，j＝1,2....P。通过式5加权策略得到

的质量分数为

对每对小图像区域的质量分数使用对应的显著区域块显著系数进行加权平均得到测试集失真3D图像的最终质量分数。

CNN网络结构部分：

1：关于网络的一些说明

对于网络部分的构建如图2所示。其输入为显著选择后的分割区域(包括左视点和右视点)。输出部分用(channel，height，width)来标记网络内部的输出结构，分别表示通道数，高度和宽度。操作步骤用例如[conv3x3，s＝1，f＝64]表示，分别表示卷积操作、步长以及滤波器个数。卷积操作过程中不使用边缘补零策略(padding)。conv3x3表示卷积核大小为3的卷积操作，maxpooling2x2表示核大小为2的最大池化操作操作。Linear(num_in,num_out)表示输入大小为num_in，输出大小为num_out的全连接结构。CNN网络主要由三个部分组成，包括特征提取网络，特种融合网络以及质量权重预测网络，左右视点共享网络参数。

2：特征提取网络

网络的输入为包含左右视点的图像区域，高为64，宽为64，每个视点的输入结构可表示为(3，H，W)。经过第一个卷积结构块，包括卷积操作[conv3x3，s＝1，f＝64]，BN归一化层和PReLU激活函数，输出结构为(64，62，62)。经过第二个卷积结构块，包括卷积操作[conv3x3，s＝1，f＝64]，BN归一化层和PReLU激活函数，输出结构为(64，60，60)。经过第一个最大池化层，即池化操作[maxpooling2x2，s＝2]，输出结构为(64，30，30)。经过第三个卷积结构块，包括卷积操作[conv3x3，s＝1，f＝64]，BN归一化层和PReLU激活函数，输出结构为(64，28，28)。经过第二个最大池化层，即池化操作[maxpooling2x2,s＝2]，输出结构为(64，14，14)。经过第四个卷积结构块，包括卷积操作[conv3x3，s＝1，f＝64]，BN归一化层和PReLU激活函数，输出结构为(64，12，12)。经过第五个卷积结构块，包括卷积操作[conv3x3，s＝1，f＝64]，BN归一化层和PReLU激活函数，输出结构为(64，10，10)。经过第一个最大池化层，即池化操作[maxpooling2x2,s＝2]，输出结构为(64，5，5)。

3：特征融合网络

我们提取三个最大池化层后的输出特征，输出结构尺寸分别为(64，30，30)、(64，14，14)、(64，5，5)。分别通过三个全局平均池化层(低级特征全局平均池化层、中级特征全局平均池化层、高级特征全局平均池化层)。每个全局平均池化层包括一个卷积操作[conv1x1，s＝1，f＝64]以及一个全局平均池化操作，输出长度为64大小的特征向量。然后将三个特征向量(低级、中级、高级特征)进行拼接，得到长度为192大小的特征向量作为质量权重预测网络的输入。

4：质量权重预测网络

将特征融合网络得到的192大小的特征向量通过第一个全连接层，包括全连接结构Linear(192,64)，PReLU激活函数以及Dropout神经元随机失活，概率为0.5，输出结构为64大小的特征向量。随后将该特征向量分别输入质量预测网络和权重预测网络。对于质量预测网络，由第二个和第三个全连接层组成。特征向量通过第二全连接层，包括全连接结构Linear(64,8)，PReLU激活函数以及Dropout神经元随机失活，概率为0.5，输出结构为8大小的特征向量。然后通过第三全连接层，仅包括全连接结构Linear(8,1)，得到左右视点预测的质量分数

对于权重预测网络，即第四个全连接层，通过第四全连接层，仅包括全连接结构Linear(64,1)，得到左右视点预测的权重分数

通过式6的加权策略得到整个3D小图像对的质量分数为

为了进一步验证本发明方法的可行性和有效性，进行实验。

使用基于python的深度学习库pytorch搭建3D卷积神经网络模型以及整体架构。采用制作的多级多种类3D失真图像数据库，从而进行模型的训练。我们使用两个3D图像数据库：1)LIVE Phase I包括365幅对称失真图像；2)LIVE Phase II包括120幅对称失真图像和240幅非对称失真图像。每个图像都有五种类型的失真类型，包括JP2K，JPEG，WN，FF，BLUR。这里使用图像质量检测的三个指标PLCC(皮尔森线性相关系数)，SROCC(斯皮尔曼秩相关系数)，MSE(均方根误差)来检测图像质量结果预测的性能。我们从3D图像数据库LIVEPhase I和LIVE Phase II中分别随机选取80％的数据用于训练，其余20％的数据用于测试，如此重复40次，选取中位数结果。

利用本发明方法对图像质量检测数据库LIVE Phase I和LIVE Phase II分别进行验证，反应本发明方法的质量评估结果的检测指标PLCC，SROCC，MSE如表1所示，单个失真质量评估结果的检测指标如表2。从表格数据可以看出按本方法得到的图像质量预测结果较好，表明利用本发明方法来进行失真图像质量的检测是可行的且有效的。

表1利用本发明方法在测试集上的总体评测结果

	PLCC	SROCC	MSE
				LIVE Phase I	0.974	0.971	3.735
LIVE Phase II	0.969	0.963	2.789

表2利用本发明方法在测试集上单个失真的评测结果

Claims (2)

1.一种基于卷积神经网络的3D图像质量检测方法，其特征在于，包括以下步骤：

步骤1：选取J幅失真3D图像，使用大小为a×a、步长为a/2的滑动窗口对每幅失真3D图像的左视点图像和右视点图像进行区域分割后得到P对小图像，分割后得到的J*P对小图像作为训练集；

步骤2：通过GBVS显著图计算方法计算每幅失真3D图像的显著图像，使用与步骤1相同的滑动窗口对所有显著图像进行区域分割后得到每对小图像所对应的同样大小的显著小图像；

步骤3：构建卷积神经网络；

步骤4：计算步骤2中显著小图像的显著系数，选取显著系数不小于显著性阈值的显著小图像对构建的卷积神经网络进行监督训练，计算均方误差得到损失函数值；采用反向传播算法不断迭代调整网络参数；

步骤5：选取M幅待预测失真3D图像，使用与步骤1相同的滑动窗口对每幅待预测失真3D图像的左视点图像和右视点图像进行区域分割后得到P对待预测小图像；

通过GBVS显著图计算方法计算每幅待预测失真3D图像的显著图像，使用与步骤1相同的滑动窗口对每幅待预测失真3D图像的显著图像进行区域分割得到每对待预测小图像对应的显著区域块，计算显著区域块的显著系数；

步骤6：将步骤5分割后的M*P对待预测小图像输入步骤4训练后的卷积神经网络预测得到每对待预测小图像的质量分数，对每对待预测小图像的质量分数使用对应的步骤5计算得到的显著区域块的显著系数进行加权平均得到待预测失真3D图像的最终质量分数；

所述步骤3具体为：

卷积神经网络包括输入层、特征提取模块、特征融合模块、质量权重预测模块和输出层；输入层包括左视点输入层和右视点输入层，左视点输入层和右视点输入层分别输入失真3D图像的左视点图和右视点图；

特征提取模块包括左视点特征提取模块和右视点特征提取模块，左视点特征提取模块包括五个依次连接的卷积层和三个依次连接的最大池化层，第二个卷积层和第三个卷积层之间连接有第一个最大池化层，第三个卷积层和第四个卷积层之间连接有第二个最大池化层；右视点特征提取模块和左视点特征提取模块结构相同；

特征融合模块包括左视点特征融合模块和右视点特征融合模块，左视点特征融合模块包括低级特征全局平均池化层、中级特征全局平均池化层和高级特征全局平均池化层，低级特征全局平均池化层、中级特征全局平均池化层和高级特征全局平均池化层的输入分别为第一个最大池化层、第二个最大池化层和第三个最大池化层的输出，将低级特征全局平均池化层、中级特征全局平均池化层和高级特征全局平均池化层的输出拼接后作为质量权重预测模块的输入；右视点特征融合模块与左视点特征融合模块结构相同；

质量权重预测模块包括左视点质量权重预测模块和右视点质量权重预测模块，左视点质量权重预测模块包括四个全连接层，第一个全连接层分别输入第二个全连接层和第四个全连接层，第二个全连接层的输出连接至第三个全连接层；第二个全连接层和第三个全连接层组成质量预测网络，第四个全连接层为权重预测网络；右视点质量权重预测模块与左视点质量权重预测模块结构相同；

左视点质量权重预测模块的第三个全连接层和第四个全连接层的输出和右视点质量权重预测模块的第三个全连接层和第四个全连接层的输出通过加权融合后从输出层输出。

2.根据权利要求1所述的一种基于卷积神经网络的3D图像质量检测方法，其特征在于，左视点质量权重预测模块的第三个全连接层和第四个全连接层分别输出左视点图的质量分数S^L和右视点图的质量分数S^R，右视点质量权重预测模块的第三个全连接层和第四个全连接层分别输出左视点图的权重分数W^L和右视点图的权重分数W^R；然后通过下式得到当前输入的小图像对的质量分数：

其中，S^L、S^R分别为左右视点图的质量分数，W^L、W^R分别为左右视点图的权重分数，S^quality为预测的小图像对的质量分数。

Images