CN110751632B

CN110751632B - 基于卷积神经网络的多尺度图像质量检测方法

Info

Publication number: CN110751632B
Application number: CN201910963764.3A
Authority: CN
Inventors: 周武杰; 林鑫杨; 潘思佳; 雷景生; 何成; 王海江
Original assignee: Zhejiang Lover Health Science and Technology Development Co Ltd
Current assignee: Zhejiang Lover Health Science and Technology Development Co Ltd
Priority date: 2019-10-11
Filing date: 2019-10-11
Publication date: 2022-05-31
Anticipated expiration: 2039-10-11
Also published as: CN110751632A

Abstract

本发明公开了一种基于卷积神经网络的多尺度图像质量检测方法。其在训练阶段，构建卷积神经网络，其中有十一个内部网络层，其中有三层卷积用于编码，三层反卷积用于解码，其余七层用于加深网络，让网络学习更高层次的抽象，网络还包括两个跳层和三个多尺度输出层；将原始失真图像进行相应的预处理，输入到网络进行训练，将输入数据映射到原始图像对应的结构特征相似图；通过方向传播算法不断迭代更新网络参数，得到较优的网络参数；在测试阶段，通过训练好的网络提取测试图像特征，通过显著加权得到测试图像的整体质量结果。本发明不使用人的主观分数进行监督，不存在由于人的主观因素造成的训练误差，可以使预测结果更为客观，准确。

Description

基于卷积神经网络的多尺度图像质量检测方法

技术领域

本发明涉及一种深度学习的多尺度图像质量检测方法，尤其是涉及一种基于卷积神经网络的图像质量检测方法。

背景技术

客观图像质量的检测是计算视觉的基本问题，图像捕捉设备在照明条件、曝光、光圈、对噪声的敏感性和镜头的限制下，可能会产生图像伪影，导致图像模糊。在使用压缩算法处理图像的时候也会造成图像信息的丢失而导致图像的失真。在如今大数据时代下，不可能通过人工主观来进行图像质量的检测，因此建立一个准确的图像质量评估模型在监控图像质量退化，优化图像处理系统，改善视频编码算法等领域起到了很重要的作用。

如今，很多图像质量(IQA)检测算法被提出，主要分为三类：全参考图像质量评估算法(FR-IQA)，半参考图像质量评估算法(RR-IQA)，无参考图像质量评估算法(NR-IQA)。全参考的方法提供原始非失真的参考图像，可以通过失真图形与参考图像的对比得到一个客观的质量分数。传统的全参考图像质量检测算法(FR-IQA)如SSIM，FSIM，VSI，GMSD等方法已经能够很好地对图像质量进行客观的检测。而在现实场景中，我们往往无法获得参考图像，因此对于无参考图像质量评估算法(NR-IQA)的研究更具有实际价值。

最近几年，深度卷积神经网络在各种计算机视觉的任务中取得了突出的表现，并且在图像识别等方向达到了超过人类水平的准确率，由此引起了很多研究者的注意。卷积神经网络相比于传统方法的优点是它可以直接将原始图像作为输入，不需要人工对图像进行特征的提取。直接采用端到端的训练，不需要额外的数据处理，我们可以通过调整网络结构以实现不同的计算机视觉任务。对于无参考的图像质量检测算法现也基本采用深度学习的方法，输入失真图像，通过卷积神经网络提取失真图像特征，然后将提取的特征映射到主观质量分数(dmos)。另外的方法通过采集局部图像，和传统方法计算出的失真图像的mapfeature相结合得到局部的质量分数，然后将局部的质量分数结合得到整体的图像质量结果。

现有的无参考图像质量检测算法在各类失真上能够得到和人类主观感觉相近的结果，但是对所有失真进行预测的时候预测精度会降低，并且对于不同的数据库的结果也各不相同，模型的通用性不强。并且现实场景中图像可能存在多种混合失真，增加了图像质量评估的难度。

发明内容

为了解决背景技术中的问题，本发明提供了一种基于卷积神经网络的多尺度图像质量检测方法，该方法检测结果好，且模型有一定的泛化能力。

本发明的技术方案包括以下步骤：

步骤1：选取J幅失真图像以及失真图像对应的参考图像作为训练集，根据全参考IQA方法FSIM计算得到失真图像对应的特征相似图，将特征相似图尺寸调整后得到三幅不同尺寸的特征相似图；

步骤2：构建卷积神经网络；

步骤3：将失真图像预处理后输入卷积神经网络进行训练，训练过程中，采用三幅尺寸不同的特征相似图进行多尺度监督训练，每次迭代训练处理得到每幅失真图像对应的三幅训练预测图，通过对三幅训练预测图和三幅尺寸不同的特征相似图计算均方误差得到损失函数值；采用反向传播算法不断迭代调整网络参数；

步骤4：根据GBVS显著图计算方法计算得到待预测失真图像对应的显著图像，将显著图像尺寸调整后得到三幅不同尺寸的显著图像；

步骤5：将待预测失真图像预处理后输入步骤3训练后的卷积神经网络进行预测处理得到三幅预测特征图，将三幅预测特征图分别和对应尺寸的显著图像进行加权平均得到三个图像质量结果，将三个图像质量结果平均后得到最终的图像质量结果。

所述步骤1中，定义全参考IQA方法FSIM为f_FSIM(a,b)，其中a为失真图像、b为失真图像对应的参考图像；将失真图像及其对应的参考图像输入公式f_FSIM(a,b)中得到失真图像对应的特征相似图。

所述步骤2具体为：

卷积神经网络包括编码部分、解码部分和多尺度输出部分，编码部分包括依次连接的第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层，解码部分包括依次连接的第六反卷积层、第七卷积层、第八卷积层、第九反卷积层、第十卷积层和第十一反卷积层；

第二卷积层依次经第一跳层第一卷积层、第一跳层第二卷积层的输出和第九卷积层的输出在通道维度上拼接后输入第十卷积层，第三卷积层经第二跳层卷积层的输出和第七卷积层的输出在通道维度上拼接后输入第八卷积层；

多尺度输出部分包括第一输出层、第二输出层和第三输出层，每个输出层包括两个卷积层，第八卷积层依次经第一输出层的第一个卷积层和第二个卷积层后作为第一个输出结果输出，第十卷积层依次经第二输出层的第一个卷积层和第二个卷积层后作为第二个输出结果输出，第十一反卷积层依次经第三输出层的第一个卷积层和第二个卷积层后作为第三个输出结果输出。

输入图像经过编码部分结构尺寸不断减小，通过解码部分的反卷积层图像结构尺寸还原至原始尺寸。

所述步骤1中的三幅不同尺寸的特征相似图分别为计算得到的原尺寸的特征相似图、尺寸缩减一半后的特征相似图和尺寸缩减1/4后的特征相似图；所述步骤4中的三幅不同尺寸的的显著图像分别为计算得到的显著图像、尺寸缩减一半后显著图像和尺寸缩减1/4后的显著图像。

所述步骤3和步骤5的预处理操作为先将图像进行灰度处理得到灰度图像，然后将灰度图像进行局部高斯归一化处理。

本发明的有益效果：

1)本发明方法通过构建编码解码的卷积网络结构，将输入的失真图像映射到FSIMmap来训练网络，网络可以获得更好的特征提取能力。

2)本发明采用多尺度监督，可以提高解码特征提取的准确率，以及模型的泛化能力。

3)本发明通过显著图加权，提取人类视觉所关注的轮廓信息的失真部分，可以提高模型预测的准确率。

附图说明

图1为本发明方法的整体结构图；

图2为CNN卷积网络部分；

图3-1为训练集中的参考图像；

图3-2为训练集中的失真图像；

图3-3为失真图像的灰度图像；

图3-4为经过局部guassian归一化转化后的图像；

图4-1、4-2、4-3分别为通过全参考图像质量检测算法FSIM计算得到的特征相似图、尺寸缩小1/2后的特征相似图、尺寸缩小1/4后的特征相似图；

图5为训练集中的失真图像；

图6-1、6-2、6-3分别为失真图像通过GBVS显著方法计算出来的显著图、尺寸缩小1/2后的显著图、尺寸缩小1/4后的显著图；

图7-1、7-2、7-3分别为待预测失真图像通过模型处理得到的三张预测特征图out3，out2，out1。

具体实施方式

下面结合附图和实施例对本发明作进一步详细描述。

本发明提出的一种基于卷积神经网络的多尺度图像质量检测方法，其总体实现框图如图1、2所示。图1为训练和测试阶段的总体流程图，图2为具体的CNN网络结构部分。

训练阶段的具体步骤为：

步骤1_1：训练阶段—FSIM特征相似图计算

对于训练集参考图像定义为

org表示为参考图像，其p表示第p幅参考图像，总共有P幅，0<p≤P，(x,y)表示像素点坐标，x为纵向即高度坐标0<x≤H，y为横向即宽度坐标0<y≤W，H、W分别为图像高度和宽度。对于训练集失真图像定义为

dis表示为失真图像，其j表示第j幅参考图像，总共有J幅，0<j≤J，p表示其所对应的参考图像为

(x,y)表示像素点坐标，x为纵向即高度坐标0<x≤H，y为横向即宽度坐标0<y≤W，H、W分别为图像高度和宽度。

定义全参考IQA方法FSIM为f_FSIM(a,b)，a、b为需要传入的失真图像和参考图像。则可以得到失真图像对应的特征相似图

FSIM_map表示为通过FSIM方法得到的特征相似图，可以通过式1得到，j表示其失真图像为

本发明采用多尺度监督，需要将失真图像的特征相似图

尺寸进行缩减一半以及缩减1/4得到三个监督标签，定义尺寸压缩为fresize(I,rate)，其中I为需要压缩的图像，rate为压缩比例，例如rate＝0.5，则将原输入尺寸缩减为一半。则由此得到缩减1/4后的特征相似图为

其中

缩减1/2后的特征相似图为

其中

不缩减后的特征相似图为

其中0<x≤H，0<y≤W。它们分别可由式2、3、4得到。

步骤1_2：训练阶段—图像预处理

对于输入的数据我们首先要将失真图像进行灰度化，图像

经过灰度化可以得到灰度图像

可由式5计算得到，其尺寸大小和输入失真图像一致。R、G、B表示失真图像的三个彩色通道。

接下来需要对灰度图像I^gray进行局部高斯归一化得到网络的输入I^input，需要计算灰度图像的局部高斯加权的均值μ(式6)和方差σ(式7)然后计算I^input(式8)。式中K和L表示窗口中心点在高度和宽度上的偏值，例如K＝L＝3，可以表示一个7x7的窗口。a为窗口对应的高斯分布权重。

步骤1_3：训练阶段—损失函数

CNN网络的具体细节详见CNN网络部分，其多尺度输出为out_{j_1}、out_{j_2}、out_{j_3}，尺寸分别对应三张特征相似图

的尺寸大小。式9为损失函数计算。

然后使用反向传播算法不断迭代调整网络参数。

测试阶段的具体步骤为：

步骤2_1：测试阶段—显著图计算

对于测试集失真图像定义为

dis表示为失真图像，其q表示第q幅参考图像，总共有Q幅，0<q≤Q，(x,y)表示像素点坐标，x为纵向即高度坐标0<x≤H，y为横向即宽度坐标0<y≤W，H、W分别为图像高度和宽度。

定义GBVS显著图计算方法为f_GBVS(a)，a失真图像。则可以得到测试集失真图像对应的显著图

saliency表示为通过GBVS方法得到的显著图，

对应的测试集失真图像为

可以通过式10求得。

本发明采用多尺度监督，需要将测试集失真图像的显著图尺寸进行缩减一半以及缩减1/4得到三个显著图。对于显著图像为

由步骤1_1定义的尺寸压缩方法fresize(I,rate)，则可以得到缩减1/4后的显著图为

其中

缩减1/2后的特征相似图为

其中

不缩减后的特征相似图为

其中0<x≤H，0<y≤W。它们分别可由式11、12、13得到。

步骤2_2：测试阶段—CNN特征预测并计算图像质量

对于失真图像

需要通过步骤1_2相同的预处理过程，先将图像转化为灰度图，然后转化为输入数据

通过CNN网络预测之后，得到其多尺度输出为out_{q_1}、out_{q_2}、out_{q_3}，out_{q_1}、out_{q_2}、out_{q_3}的尺寸分别对应

的尺寸大小。

将由小到大的三个尺寸预测的特征图分别和其对应尺寸的显著图进行加权平均得到三个图像质量结果，将三个图像质量结果平均后得到最终的质量结果。

CNN网络结构部分：

1：关于网络的一些说明

对于网络部分的构建如图2所示。其输入为经过局部高斯归一化转化后的单通道图像。输出部分用(channel，height，width)来标记网络内部的输出结构，分别表示通道数、高度和宽度。操作步骤用例如[conv3x3，s＝2，p＝1，f＝64]表示，分别表示卷积操作、步长、该层长宽边缘0元素填充的个数以及滤波器个数。卷积操作有conv3x3、conv7x7和dconv2x2，分别表示卷积核大小为3的卷积操作，卷积核大小为7的卷积操作，卷积核大小为2的反卷积操作。除了最后得到输出结果的卷积层，其他卷积操作后面都会有BN(batchnormalization数据归一化)以及ReLU激活函数。

2：编码解码部分

网络的输入为经过局部guassian归一化转化后的单通道，高为H，宽为W的图像数据，输入结构可表示为(1，H，W)。经过第一层卷积操作[conv7x7，s＝2，p＝3，f＝64]，然后进行BN和ReLU激活函数，结构尺寸缩小一半，输出结构为(64，H/2，W/2)。第二层卷积操作[conv3x3，s＝1，p＝1，f＝64]，然后进行BN和ReLU激活函数，结构尺寸不变，输出结构为(64，H/2，W/2)。经过第三层卷积操作[conv3x3，s＝2，p＝1，f＝128]然后进行BN和ReLU激活函数，结构尺寸缩小一半，输出结构为(128，H/4，W/4)。经过第四层卷积操作[conv3x3，s＝1，p＝1，f＝256]，然后进行BN和ReLU激活函数，结构尺寸不变，输出结构为(256，H/4，W/4)。经过第五层卷积操作[conv3x3，s＝2，p＝1，f＝512]，然后进行BN和ReLU激活函数，结构尺寸不变，输出结构为(512，H/8，W/8)。

编码部分结构尺寸不断减小，在解码部分，通过反卷积使结构尺寸变大还原到原始尺寸。经过第六层反卷积操作[dconv2x2，s＝2，p＝0，f＝256]，然后进行BN和ReLU激活函数，结构尺寸扩大一倍，输出结构为(256，H/4，W/4)。经过第七层卷积操作[conv3x3，s＝1，p＝1，f＝128]，然后进行BN和ReLU激活函数，结构尺寸不变，输出结构为(128，H/4，W/4)。将第三层卷积输出结果经过第二跳层卷积[conv3x3，s＝1，p＝1，f＝128]，然后进行BN和ReLU激活函数，结构尺寸不变，输出结构为(128，H/4，W/4)。然后将第七层卷积操作和第二跳层卷积输出结果进行通道维度上的拼接操作，输出结构为(256，H/4，W/4)。接着将输出结果经过第八层卷积操作[conv3x3，s＝1，p＝1，f＝128]，然后进行BN和ReLU激活函数，结构尺寸不变，输出结构为(128，H/4，W/4)。接着经过第九层反卷积操作[dconv2x2，s＝2，p＝0，f＝64]，然后进行BN和ReLU激活函数，结构尺寸扩大一倍，输出结构为(64，H/2，W/2)。将第二层卷积输出结果经过两个相同的跳层卷积操作(第一跳层第一个卷积操作和第一跳层第二个卷积操作[conv3x3，s＝1，p＝1，f＝128])，两次操作后分别进行BN和ReLU激活函数，结构尺寸不变，输出结构为(64，H/2，W/2)。然后将其输出结果与第九层反卷积操作输出结果进行通道维度上的拼接操作，输出结构为(128，H/2，W/2)。接着将输出结果经过第十层卷积操作[conv3x3，s＝1，p＝1，f＝64]，然后进行BN和ReLU激活函数，结构尺寸不变，输出结构为(64，H/2，W/2)。最后经过第十一层反卷积操作[dconv2x2，s＝2，p＝0，f＝64]，然后进行BN和ReLU激活函数，结构尺寸扩大一倍，输出结构为(64，H，W)。

3：多尺度输出部分

将第八层卷积输出结果经过第一输出第一个卷积操作[conv3x3，s＝1，p＝1，f＝64]，然后进行BN和ReLU激活函数，输出结构为(64，H/4，W/4)。然后经过第一输出第二个卷积操作[conv3x3，s＝1，p＝1，f＝1]，得到输出结果out1，其结构为(1，H/4，W/4)。同理，将第十层卷积输出结果经过第二输出第一个卷积操作[conv3x3，s＝1，p＝1，f＝64]，然后进行BN和ReLU激活函数，输出结构为(64，H/2，W/2)。然后经过第二输出第二个卷积操作[conv3x3，s＝1，p＝1，f＝1]，得到输出结果out2，其结构为(1，H/2，W/2)。将第十一层卷积输出结果经过第三输出第一个卷积操作[conv3x3，s＝1，p＝1，f＝64]，然后进行BN和ReLU激活函数，结构尺寸不变，输出结构为(64，H，W)。然后经过第三输出第二个卷积操作[conv3x3，s＝1，p＝1，f＝1]，得到输出结果out3，其结构为(1，H，W)。

为了进一步验证本发明方法的可行性和有效性，进行实验。

使用基于python的深度学习库pytorch搭建多尺度卷积神经网络模型以及整体架构。采用制作的多级多种类失真图像数据库，通过FSIM算法求解特征相似图，从而进行模型的训练。并且在图像数据库Live2D，CSIQ，tid2013测试质量预测结果。这里使用图像质量检测的两个指标PLCC(皮尔森线性相关系数)，SROCC(斯皮尔曼秩相关系数)来检测图像质量结果预测的性能。

利用本发明方法对图像质量检测数据库Live2D，CSIQ，tid2013分别进行验证，反应本发明方法的质量评估结果的检测指标PLCC，SROCC如表1所示。从表一数据可以看出按本方法得到的图像质量预测结果较好，表明利用本发明方法来进行失真图像质量的检测是可行的且有效的。

表1利用本发明方法在测试集上的评测结果

	PLCC	SROCC
			Live2D	0.911	0919
CSIQ	0.926	0.920
			tid2013	0.917	0.900

图3-1为训练集中的参考图像，图3-2为训练集中的失真图像，失真图像的灰度图为图3-3，经过局部高斯归一化后得到图3-4，并将其作为训练数据训练网络参数。参考图像和失真图像通过全参考FSIM方法可以得到对应的特征相似图为图4-1，并将其尺寸缩减为一半得到图4-2，缩减为1/4得到图4-3，作为监督。在测试阶段，待测试的失真图像为图5，通过训练好的CNN网络得到如图7-1，图7-2，图7-3的输出结果。可以看出通过本发明训练出的网络能够较好的预测图像的失真情况，然后通过显著图6-1，6-2，6-3加权可以得到图像的整体质量分数。

Claims

1.一种基于卷积神经网络的多尺度图像质量检测方法，其特征在于，包括以下步骤：

步骤2：构建卷积神经网络；

步骤5：将待预测失真图像预处理后输入步骤3训练后的卷积神经网络进行预测处理得到三幅预测特征图，将三幅预测特征图分别和对应尺寸的显著图像进行加权平均得到三个图像质量结果，将三个图像质量结果平均后得到最终的图像质量结果；

所述步骤2具体为：

2.根据权利要求1所述的一种基于卷积神经网络的多尺度图像质量检测方法，其特征在于，所述步骤1中，定义全参考IQA方法FSIM为f_FSIM(a,b)，其中a为失真图像、b为失真图像对应的参考图像；将失真图像及其对应的参考图像输入公式f_FSIM(a,b)中得到失真图像对应的特征相似图。

3.根据权利要求1所述的一种基于卷积神经网络的多尺度图像质量检测方法，其特征在于，输入图像经过编码部分结构尺寸不断减小，通过解码部分的反卷积层图像结构尺寸还原至原始尺寸。

4.根据权利要求1所述的一种基于卷积神经网络的多尺度图像质量检测方法，其特征在于，所述步骤1中的三幅不同尺寸的特征相似图分别为计算得到的原尺寸的特征相似图、尺寸缩减一半后的特征相似图和尺寸缩减1/4后的特征相似图；所述步骤4中的三幅不同尺寸的显著图像分别为计算得到的显著图像、尺寸缩减一半后显著图像和尺寸缩减1/4后的显著图像。

5.根据权利要求1所述的一种基于卷积神经网络的多尺度图像质量检测方法，其特征在于，所述步骤3和步骤5的预处理操作为先将图像进行灰度处理得到灰度图像，然后将灰度图像进行局部高斯归一化处理。