CN108090902B - 一种基于多尺度生成对抗网络的无参考图像质量客观评价方法 - Google Patents

Abstract

本发明公开了一种基于多尺度生成对抗网络的无参考图像质量客观评价方法，通过多尺度生成对抗网络产生失真图像对应的相似质量图，再将不同尺度的相似质量图通过卷积神经网络进行回归得到图像质量分数。训练多尺度生成对抗网络，通过全参考图像质量评价方法对失真图像生成图像质量相似图，并将其作为判别网络的真实数据集。将三组不同尺度的相似质量图作为数据集，主观评价分数作为标签，对图像质量分数回归网络进行训练。失真图像通过生成网络产生多张不同尺度的相似质量图，然后通过图像质量分数回归网络生成图像质量分数。本发明将整体失真程度和局部失真细节结合，从而进一步确定失真图像的质量分数，更全面准确地体现了失真图像质量。

Description

一种基于多尺度生成对抗网络的无参考图像质量客观评价 方法

技术领域

本发明涉及一种基于多尺度生成对抗网络的无参考图像质量客观评价方法，属于数字图像处理技术领域。

背景技术

图像质量评价在图像处理系统中，对于算法分析比较、系统性能评估等方面有着重要的作用。近年来，随着对数字图像领域的广泛研究，研究者对于图像质量评价的研究也越来越关注，并提出了许多图像质量评价的指标和方法。

从有没有人参与的角度区分，图像质量评价方法可以分为主观评价方法和客观评价方法。主观评价以人作为观测者，对图像进行主观评价，力求能够真实地反映人的视觉感知；客观评价方法借助于某种数学模型，反映人眼的主观感知，给出基于数字计算的结果。其中客观评价方法根据评价时是否需要参考图像又可以分为全参考、半参考和无参考评价方法：

1）全参考方法就是利用原始图像的全部信息，通过计算原始图像与失真图像之间的感知误差，并综合这些误差得到失真图像质量的评价值。一般默认原始图像是无失真图像，全参考方法种类繁多，这类方法基本都是基于数学模型，可分为以下几类：基于像素误差统计的算法、基于结构相度的算法、基于信息论提出的信息保真度、基于人类视觉系统与其他算法结合。

2）部分参考方法仅利用原始图像的部分信息来估计失真图像的视觉感知质量。部分参考方法的优点是减小传输数据量的基础上，获得较好的评价效果。缺点是算法对提取的特征非常敏感，特征提取和特征比较是影响部分参考方法性能指标的关键因素。

3）无参考方法不需要原始图像的任何信息，直接对失真图像进行质量评价。无参考质量评价难点在于图像特征难以定义和提取，人眼感知难以模型化表示，其优点是不需要传输原始图像，就能对失真图像进行质量评价，极大减少了信息传输量。该类方法一般是基于图像统计特性实现的。

图像质量是比较各种数字图像处理算法性能优劣以及优化系统参数的重要指标，因此在图像采集、编码压缩、网络传输等领域建立有效的图像质量评价机制具有重大的意义。对此在不使用失真图像的参考图像的条件下，通过神经网络的方法对失真图像产生多张相似质量图，再利用相似质量图得到最终的图像质量评价分数。

发明内容

针对现有无参考图像质量评价性能差的问题，本发明提出了一种无参考图像质量评价方法，利用生成对抗网络对一张失真图像产生多张不同尺寸的相似质量图，这些相似质量图通过卷积神经网络进行回归得到无参考的图像质量分数。

本发明采用的技术方案为一种基于多尺度生成对抗网络的无参考图像质量客观评价方法，该方法包括以下步骤：

步骤1，生成相似质量图像库；

选取失真图像数据库，运用全参考图像质量评价方法GMSD在失真图像和参考图像的基础上生成对应的失真信息图，即相似质量图；

步骤2，训练相似质量图多尺度生成对抗网络；

生成对抗网络分为生成网络和判别网络，由失真图像数据库的失真图像切割得到的图像块作为生成网络的输入，生成网络的输出是尺寸大小与输入相同的灰度图，生成网络的输出作为判别网络的假样本集，对应尺寸的失真图像的相似质量图块作为判别网络的真实样本集；判别网络基于AlexNet网络，用于判断输入是否为相似质量图，其输入为一张灰度图，输出为0到1的数值；数值越大，说明输入的灰度图越接近真实相似质量图；训练相似质量图生成对抗网络的步骤如下：

步骤2.1，将失真图像数据库每张失真图像和其对应的GMSD相似质量图进行三次不同尺寸的滑窗，滑窗大小分别为96×96、144×144、194×194，生成三份一一对应的彩色失真图像块与灰度相似质量图像块。

步骤2.2，搭建相似质量图多尺度生成对抗网络的生成网络与判别网络。

步骤2.3，将步骤2.1中的彩色失真图像块作为生成网络的输入，对应尺寸的相似质量图作为标签，采用平均绝对误差作为生成网络的损失函数。

步骤2.4，训练判别网络，将生成网络的输出作为判别网络的假数据集，对应的标签为0，即判别为假；将真实但与失真图像不对应的相似质量图作为假数据集输入判别网络，对应标签也为0，再将真实相似质量图作为真数据集输入判别网络，对应的标签为1，即判别为真；通过这三组数据集对判别网络进行训练；

步骤2.5，将生成网络的输出作为判别网络的样本集，对应的标签为0，将此次的判别网络损失与生成网络得到的损失根据比例0.000001:1相加，并作为判别网络与生成网络的总损失对生成网络进行训练。

步骤3，训练质量分数回归网络；

质量分数回归网络的输入为三张不同尺寸的灰度图，三张不同尺寸的灰度图分别输入到对应尺寸的三层卷积层中，再通过链接层将三者输出拼接后传入两层卷积层和两层全连接层，最后输出为0到100间的图像质量分数。训练质量分数回归网络的步骤如下：

步骤3.1，搭建质量分数回归网络

步骤3.2，训练回归网络，将生成对抗网络生成的三张不同尺寸的相似质量图作为输入，将对应失真图像的主观质量分数作为标签，将三张图同时输入网络，并分别通过不同的三层卷积层，使尺寸不同的相似质量图归一到相同的维度大小上，再通过链接层将三层卷积层拼接，将通过不同尺度提取到的特征进行融合，再通过两个卷积层和两个全连接层，用逻辑回归对质量分数回归网络进行训练。

步骤4，对待预测失真图像进行无参考质量评价；

将待评价失真图像进行切块，输入到相似质量图多尺度生成对抗网络与质量分数回归网络中，得到最终的图像质量分数，并通过拼接得到完整的相似质量图。

步骤4.1，将待评价失真图像进行多次滑窗分割获得三组图像块，且三组图像块的数量相同，尺寸分别为96×96、144×144、194×194。

步骤4.2，将三组图像块中相同位置的图像块输入训练完成的网络即相似质量图生成对抗网络中的生成网络与质量分数回归网络，得到三张对应尺寸的相似质量图像块和预测质量分数。

步骤4.3，将相同尺寸相似质量图像块的相似质量图进行拼接，得到完整失真图像的相似质量图。

步骤4.4，将相似质量图像块的预测质量分数进行平均，得到最终失真图质量分数。

与现有技术相比，本发明具有以下优点：

（1）本方法利用生成对抗网络，在无参考的条件下，生成像素级别的相似质量图，从而直观地反映图像的失真程度。

（2）本方法生成多尺度的相似质量图，并通过卷积神经网络将不同尺度体现的失真细节进行结合分析，使图像的整体失真程度和局部失真细节都能被网络学习。

（3）本方法通过回归网络的方法将失真程度反映在质量分数中，通过实验证明，本发明的性能优于传统的无参考质量评价方法。

附图说明

图1为本发明实施流程图。

图2为本发明网络结构图，其中（a）部分为相似质量图图多尺度生成对抗网络，（b）部分为质量分数回归网络。

具体实施方式

实施方式。

实施方式的流程图如图1所示，包括以下步骤：

步骤S10，生成相似质量图像库；

步骤S20，训练相似质量图多尺度生成对抗网络；

步骤S30，训练质量分数回归网络；

步骤S40，对失真图像进行无参考质量评价。

实施方式的训练相似质量图多尺度生成对抗网络调整步骤S20还包括以下步骤：

步骤S200，将TID2013数据库每张失真图像和其对应的GMSD相似质量图进行3次不同尺寸的滑窗，滑窗大小分别为96×96、144×144、194×194，生成3份一一对应的彩色失真图像块与灰度相似质量图像块；

步骤S210，搭建相似质量图多尺度生成对抗网络的生成网络与判别网络。

步骤S220，将失真图像块作为生成网络的输入，对应尺寸的相似质量图作为标签，采用平均绝对误差作为生成网络的损失函数。

步骤S230，训练判别网络，将生成网络的输出作为判别网络的假样本集，对应的标签为0，即判别为假，将真实但与失真图像不对应的相似质量图作为假样本集输入判别网络，对应标签也为0，再将真实相似质量图作为真样本集输入判别网络，对应的标签为1，即判别为真。通过这三组数据集对判别网络进行训练。

步骤S240，将生成网络的输出作为判别网络的样本集，对应标签为0，将此次的判别网络损失与生成网络得到的损失根据比例0.000001:1相加，并作为判别网络与生成网络的总损失对生成网络进行训练。

实施方式的训练质量分数回归网络调整步骤S30还包括以下步骤：

步骤S300，搭建质量分数回归网络。

步骤S310，训练回归网络，将生成对抗网络生成的3张不同尺寸的相似质量图作为输入，将对应失真图像的主观质量分数作为标签，将三张图同时输入网络，并分别通过不同的三层卷积层，使尺寸不同的相似质量图归一到相同的维度大小上，再通过链接层将三者拼接，将通过不同尺度提取到的特征进行融合，再通过两个卷积层和两个全连接层，用逻辑回归对质量分数回归网络进行训练。

实施方式的对失真图像进行无参考质量评价调整步骤S40还包括以下步骤：

步骤S400，将待预测失真图像进行多次滑窗获得3组图像块，且3组块的数量相同，尺寸分别为96×96、144×144、194×194。

步骤S410，将3组中相同位置的图像块输入训练完成的网络（相似质量图生成对抗网络中的生成网络与质量分数回归网络），得到三张对应尺寸的相似质量图像块和预测质量分数。

步骤S420，将相同尺寸的图像块的相似质量图进行拼接，得到完整失真图像的相似质量图。

步骤S430，将图像块的预测质量分数进行平均，得到最终失真图质量分数。

下面给出应用本发明的实验结果。

表1给出了本发明方法在LIVE IQA、CSIQ、TID2013三个失真图像数据集下的测试结果。实验将每个数据库80%的失真图像作为训练集，20%的图像作为测试集进行测试，测试评价方式由SRCC和PLCC指数组成。由表可知，本发明方法在三个数据集上的结果均高于最先进的同样基于深度学习的无参考质量评价方法BIECON，说明利用本发明方法相比于大多数无参考质量评价方法效果更好。

表 1 本发明方法在不同数据库下的性能比较

Claims (4)

1.一种基于多尺度生成对抗网络的无参考图像质量客观评价方法，其特征在于：该方法包括以下步骤，

步骤1，生成相似质量图像库；

选取失真图像数据库，运用全参考图像质量评价方法GMSD在失真图像和参考图像的基础上生成对应的失真信息图，即相似质量图；

步骤2，训练相似质量图多尺度生成对抗网络；

生成对抗网络分为生成网络和判别网络，由失真图像数据库的失真图像切割得到的图像块作为生成网络的输入，生成网络的输出是尺寸大小与输入相同的灰度图，生成网络的输出作为判别网络的假样本集，对应尺寸的失真图像的相似质量图块作为判别网络的真实样本集；判别网络基于AlexNet网络，用于判断输入是否为相似质量图，其输入为一张灰度图，输出为0到1的数值；数值越大，说明输入的灰度图越接近真实相似质量图；

步骤3，训练质量分数回归网络；

质量分数回归网络的输入为三张不同尺寸的灰度图，三张不同尺寸的灰度图分别输入到对应尺寸的三层卷积层中，再通过链接层将三者输出拼接后传入两层卷积层和两层全连接层，最后输出为0到100间的图像质量分数；

步骤4，对待预测失真图像进行无参考质量评价；

将待评价失真图像进行切块，输入到相似质量图多尺度生成对抗网络与质量分数回归网络中，得到最终的图像质量分数，并通过拼接得到完整的相似质量图。

2.根据权利要求1所述的一种基于多尺度生成对抗网络的无参考图像质量客观评价方法，其特征在于：训练相似质量图生成对抗网络的步骤如下，

步骤2.1，将失真图像数据库每张失真图像和其对应的GMSD相似质量图进行三次不同尺寸的滑窗，滑窗大小分别为96×96、144×144、194×194，生成三份一一对应的彩色失真图像块与灰度相似质量图像块；

步骤2.2，搭建相似质量图多尺度生成对抗网络的生成网络与判别网络；

步骤2.3，将步骤2.1中的彩色失真图像块作为生成网络的输入，对应尺寸的相似质量图作为标签，采用平均绝对误差作为生成网络的损失函数；

步骤2.4，训练判别网络，将生成网络的输出作为判别网络的假数据集，对应的标签为0，即判别为假；将真实但与失真图像不对应的相似质量图作为假数据集输入判别网络，对应标签也为0，再将真实相似质量图作为真数据集输入判别网络，对应的标签为1，即判别为真；通过这三组数据集对判别网络进行训练；

步骤2.5，将生成网络的输出作为判别网络的样本集，对应的标签为0，将此次的判别网络损失与生成网络得到的损失根据比例0.000001:1相加，并作为判别网络与生成网络的总损失对生成网络进行训练。

3.根据权利要求1所述的一种基于多尺度生成对抗网络的无参考图像质量客观评价方法，其特征在于：训练质量分数回归网络的步骤如下：

步骤3.1，搭建质量分数回归网络；

步骤3.2，训练回归网络，将生成对抗网络生成的三张不同尺寸的相似质量图作为输入，将对应失真图像的主观质量分数作为标签，将三张图同时输入网络，并分别通过不同的三层卷积层，使尺寸不同的相似质量图归一到相同的维度大小上，再通过链接层将三层卷积层拼接，将通过不同尺度提取到的特征进行融合，再通过两个卷积层和两个全连接层，用逻辑回归对质量分数回归网络进行训练。

4.根据权利要求1所述的一种基于多尺度生成对抗网络的无参考图像质量客观评价方法，其特征在于：

步骤4.1，将待评价失真图像进行多次滑窗分割获得三组图像块，且三组图像块的数量相同，尺寸分别为96×96、144×144、194×194；

步骤4.2，将三组图像块中相同位置的图像块输入训练完成的网络即相似质量图生成对抗网络中的生成网络与质量分数回归网络，得到三张对应尺寸的相似质量图像块和预测质量分数；

步骤4.3，将相同尺寸相似质量图像块的相似质量图进行拼接，得到完整失真图像的相似质量图；

步骤4.4，将相似质量图像块的预测质量分数进行平均，得到最终失真图质量分数。

Images