CN110189291A - 一种基于多任务卷积神经网络的通用无参考图像质量评价方法 - Google Patents

Abstract

本发明公开了一种基于多任务卷积神经网络的无参考图像质量评价方法，属于图像感知领域。具体包括以下步骤：步骤1，从人工标注的图像质量数据集的每一张图像抽取若干固定大小的图像块，每个图像块对应于两个标签，分别是图像的退化类别和图像的退化程度，构成训练集；步骤2，构建基于字典学习的卷积神经网络模型；步骤3，利用训练集对构建的卷积神经网络模型进行训练，当训练结束后，确定卷积神经网络模型参数；步骤4，应用时，将待评分的污染图像输入至训练好的卷积神经网络模型中，得到对应图像质量评分。该方法在无参考图像质量评价领域较传统方法与主观评价的一致性更高，关键指标斯皮尔曼秩相关系数和皮尔逊线性相关系数有明显的提升。

Description

一种基于多任务卷积神经网络的通用无参考图像质量评价 方法

技术领域

本发明属于图像感知、人工智能领域，具体涉及一种基于多任务卷积神经网络的通用无参考图像质量评价方法。

背景技术

图像在视频通讯，娱乐和社交网络中有着不可取代的作用，然后在图像获取、处理、传输、存储等过程中，图像不可避免地会被各种噪声污染，从而影响人的感知体验。因此，评价图像的质量对于提升用户的体验是有价值的，例如，视频提供商可以通过用户对图像质量的反馈来调整图像的压缩率，从而更好的利用网络传输带宽等。虽然人作为图像的最终接收者，人的主观评价是最优选项，但是主观评价这个过程耗时耗力，且在某些实际场合下是不可行的，因此自动的通过算法评估图像的感官质量就变得很有意义。

传统的图像质量评价算法中很多都采用了有参考的方法，即针对一张待评价的被污染的图像，有一张无污染的图像作为参考来预测被污染的图像的质量。但是，在更多的实际场合中，无污染的参考图像是无法获得的，因此，无参考的图像质量评价方法更具有实用价值。研究更符合主观评价的无参考图像质量评价算法具有重要的工程实用价值和理论指导意义。

基于卷积神经网络的无参考图像质量评价算法是一种新型的图像质量评价算法，具有广阔的前景。它具备不需要手工挑选质量敏感的特征，与主观评价的相关性高等优点。但是，它需要大量的主观评价的图像数据进行训练。因此，如何更好的将卷积神经网络用于无参考图像质量评价是一个具有重要意义的课题。

发明内容

针对上述存在问题，本发明提供了一种基于多任务卷积神经网络的无参考图像质量评价方法，以提升与主观评价的一致性。

本发明提供的技术方案为：

一种基于多任务卷积神经网络的通用无参考图像质量评价方法，包括以下步骤：

步骤1，从人工标注的图像质量数据集的每一张图像抽取若干固定大小的图像块，每个图像块对应于两个标签，分别是图像的退化类别和图像的退化程度，构成训练集；

步骤2，构建基于字典学习的卷积神经网络模型，所述卷积神经网络模型包括图像特征提取单元，特征编码单元，图像退化类别分类单元，图像退化程度分类单元及图像质量评价单元；其中，所述图像特征提取单元抽取图像的局部特征，图像编码单元通过内部构建字典将图像的局部特征编码为一个固定长度的向量表示，图像退化类别分类单元及图像退化程度分类单元分别将该固定长度的向量表示映射为图像的退化类别向量及图像的退化程度向量，图像质量评价单元根据退化类别向量和退化程度向量得到对应图像的质量评分；

步骤3，利用训练集对构建的卷积神经网络模型进行训练，当训练结束后，确定卷积神经网络模型参数；

步骤4，应用时，将待评分的污染图像输入至训练好的卷积神经网络模型中，得到对应图像质量评分。

优选地，所述卷积神经网络模型中，

图像特征提取单元采用一个预训练的卷积神经网络Resnet50，将顶层的全局平均层和全连接层移除；

特征编码单元包含一个可学习的嵌入字典，通过残差编码方式对图像特征进行编码，字典的大小通过人为预先选择；

图像退化类别分类单元及图像退化程度分类单元均是一个全连接层，全连接层的大小由相应的输入与输出长度决定；

图像质量评价单元是一个全连接层。

本发明中，图像块的尺寸为224x224，以保证抽取的图像块的质量大致与全图的主观质量一致，同时增大训练数据量。

特征编码单元将提取到的特征，通过内部学习的字典，编码成一个固定长度的向量表示，该向量表示可以区分图像的退化类别，也可以区分图像的退化程度。

图像特征抽取单元抽取的特征表示为X＝{x₁,…,x_N}，其中x_i∈R^d，d表示抽取的特征维度，N表示特征个数，编码单元内部学习到的字典表示为C＝{c₁,…,c_K}，则对于每一个字典向量，计算每个特征与该字典两项的加权差，计算公式为：

最后将对应于每一个字典向量的e_k排列起来，得到一个固定长度的向量表示。该长度由K和d值决定。

训练时，图像退化类别分类单元的损失函数为根据退化类别的真值标签和图像退化类别分类单元输出的预测退化类别计算的交叉熵损失函数。

图像退化程度分类单元的损失函数为根据退化程度的真值标签和图像退化类别分类单元输出的预测退化程度计算的交叉熵损失函数；其中，退化程度的真值标签根据图像的质量分数获得。

具体地，所述退化程度的真值标签根据图像的质量分数获得包括：

假设图像质量主要由图像的退化程度决定，图像质量与图像退化程度之间存在一个对应关系，设定图像各退化程度对应的图像质量锚点为[0.1，0.3，0.5，0.7，0.9]，图像主观质量的分数和标准差分别为μ，σ，假设主观质量评分符合高斯分布：

则图像退化程度的真值标签估计为：

图像质量评价单元的损失函数采用L2范数损失函数；

所述卷积神经网络模型的损失函数l_total为：

l_total＝l_q+λl_t+(1-λ)l_l

其中，l_q表示图像质量评分的损失函数，l_t和l_l分别是图像退化类别分类及退化程度分类任务的损失函数，λ用于平衡两个任务之间的平衡。

本发明提供的基于多任务卷积神经网络的无参考图像质量评价方法的优点在于：

相较于直接对图像质量进行回归学习，本方法利用了图像的退化类别信息和图像的退化程度信息，使学习到的图像表示更准确，最终使图像评价任务性能更好。

相较于传统的全连接层，通过结合内嵌的字典残差编码方式，特征编码单元可以更好的得到一个图像表示，即对图像退化类别敏感，也对图像退化程度敏感。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1是实施例提供的基于多任务卷积神经网络的无参考图像质量评价方法的流程框图；

图2是实施例提供的基于多任务卷积神经网络的无参考图像质量评价方法的结构示意图；

图3是图2中图像特征提取单元的结构示意图；

图4是图2中图像特征编码单元的结构示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

如图1所示，本实施例提供的基于多任务卷积神经网络的无参考图像质量评价方法包括以下步骤：

步骤1：构建训练数据

训练本发明提出的多任务神经网络所使用的数据集是LIVE数据集。

LIVE数据集有29张原始图像及对应的792张退化图像，退化类别包含五类：JPEG，JPEG2000，Noise，Blur和Fast Fading。每个被污染的图像具有人工标注的质量分数。将792张退化图像根据原始图像进行划分，其中80％为训练数据集，剩下的20％为验证数据集。对于训练数据集，从每一个图像随机抽取25个224x224大小的图像块。

步骤2：搭建多任务卷积神经网络模型

利用深度学习框架Pytorch，搭建本发明提出的多任务卷积神经网络模型，如图2所示。此模型包含图像特征提取单元，特征编码单元，图像退化类别分类单元，图像退化程度分类单元及图像质量评价单元。

其中，如图3所示，图像特征提取单元是一个预训练的Resnet50模型，但是移除了最顶层的全局平均池化层和全连接层，增加了一个用于降维的1x1的卷积层，卷积层的通道数设为128。如图4所示，图像特征编码单元包括一个内嵌的可学习的字典，用于将提取的特征进行残差编码。字典的向量维度为128，向量个数为32。图像退化类别分类单元及图像退化程度分类单元如图2中所示，分别是一个全连接层，该层的输入长度为2048(128x32),输出长度为5。图像质量评价单元包括向量连接层和一个全连接层，该层输入长度为10(5+5),输入长度为1。

步骤3：训练多任务卷积神经网络

在训练网络模型时，输入的图像大小为224×224×3；训练时的损失函数由三部分组成，图像退化类别分类任务及图像退化程度分类任务损失函数都为交叉熵损失函数。对于最终的图像质量评分任务，损失函数采用L2范数损失函数。最终的训练损失函数为：

l_total＝l_q+λl_t+(1-λ)l_l

其中，l_q表示图像质量评分的损失函数，l_t和l_l分别是图像退化类别分类及退化程度分类任务的损失函数，λ用于平衡两个任务之间的平衡。在本实例中λ设置0.3。

训练模型时采用Adam优化器，初始学习率设置为0.0001。每批次训练数据包括64个图像块，训练数据通过前向传播计算，计算最终的损失，然后通过该损失反向传播，更新模型参数。将所有训练数据遍历100次后，将模型参数保存。

步骤4：使用已训练模型进行退化图像的质量评价

搭建神经网络模型沪，加载步骤3保存的已训练好的参数，对一个图像进行质量评价时，按照步长64从图像中抽取若干个224x224大小的图像块，然后将每个图像块输入到模型中进行图像质量的评价，最终将所有的评分进行平均，作为该图像的图像质量评分。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于多任务卷积神经网络的通用无参考图像质量评价方法，包括以下步骤：

步骤1，从人工标注的图像质量数据集的每一张图像抽取若干固定大小的图像块，每个图像块对应于两个标签，分别是图像的退化类别和图像的退化程度，构成训练集；

步骤2，构建基于字典学习的卷积神经网络模型，所述卷积神经网络模型包括图像特征提取单元，特征编码单元，图像退化类别分类单元，图像退化程度分类单元及图像质量评价单元；其中，所述图像特征提取单元抽取图像的局部特征，图像编码单元通过内部构建字典将图像的局部特征编码为一个固定长度的向量表示，图像退化类别分类单元及图像退化程度分类单元分别将该固定长度的向量表示映射为图像的退化类别向量及图像的退化程度向量，图像质量评价单元根据退化类别向量和退化程度向量得到对应图像的质量评分；

步骤3，利用训练集对构建的卷积神经网络模型进行训练，当训练结束后，确定卷积神经网络模型参数；

步骤4，应用时，将待评分的污染图像输入至训练好的卷积神经网络模型中，得到对应图像质量评分。

2.如权利要求1所述的基于多任务卷积神经网络的通用无参考图像质量评价方法，其特征在于，所述卷积神经网络模型中，

图像特征提取单元采用一个预训练的卷积神经网络Resnet50，将顶层的全局平均层和全连接层移除；

特征编码单元包含一个可学习的嵌入字典，通过残差编码方式对图像特征进行编码，字典的大小通过人为预先选择；

图像退化类别分类单元及图像退化程度分类单元均是一个全连接层，全连接层的大小由相应的输入与输出长度决定；

图像质量评价单元是一个全连接层。

3.如权利要求1所述的基于多任务卷积神经网络的通用无参考图像质量评价方法，其特征在于，图像块的尺寸为224x224。

4.如权利要求1所述的基于多任务卷积神经网络的通用无参考图像质量评价方法，其特征在于，训练时，图像退化类别分类单元的损失函数为根据退化类别的真值标签和图像退化类别分类单元输出的预测退化类别计算的交叉熵损失函数。

5.如权利要求1所述的基于多任务卷积神经网络的通用无参考图像质量评价方法，其特征在于，训练时，图像退化程度分类单元的损失函数为根据退化程度的真值标签和图像退化类别分类单元输出的预测退化程度计算的交叉熵损失函数；其中，退化程度的真值标签根据图像的质量分数获得。

6.如权利要求5所述的基于多任务卷积神经网络的通用无参考图像质量评价方法，其特征在于，所述退化程度的真值标签根据图像的质量分数获得包括：

假设图像质量主要由图像的退化程度决定，图像质量与图像退化程度之间存在一个对应关系，设定图像各退化程度对应的图像质量锚点为[0.1，0.3，0.5，0.7，0.9]，图像主观质量的分数和标准差分别为μ，σ，假设主观质量评分符合高斯分布：

则图像退化程度的真值标签估计为：

7.如权利要求6所述的基于多任务卷积神经网络的通用无参考图像质量评价方法，其特征在于，图像质量评价单元的损失函数采用L2范数损失函数；

所述卷积神经网络模型的损失函数l_total为：

l_total＝l_q+λl_t+(1-λ)l_l

其中，l_q表示图像质量评分的损失函数，l_t和l_l分别是图像退化类别分类及退化程度分类任务的损失函数，λ用于平衡两个任务之间的平衡。