CN107743225A - 一种利用多层深度表征进行无参考图像质量预测的方法 - Google Patents

Abstract

本发明公开了一种利用多层深度表征进行无参考图像质量预测的方法。本发明包括如下步骤：步骤(1)数据预处理：将所有图像缩放到统一的尺寸大小，减去平局值，将二进制数据转换为深度神经网络能识别的数据格式；步骤(2)特征提取及处理：利用一个在ImageNet上训练好的37层VGGnet模型进行特征提取，提取每层特征并进行处理，得到一个列向量；步骤(3)预测分数：将每层特征融合得到的列向量输入支持向量回归模型得到每层特征的预测分数；将各层分数平均值作为整张图片的质量评估分值。本发明提出了一整简单高效的针对图像质量评价的新方法。并且获得了目前在图像质量评价领域中的最好效果。

Description

一种利用多层深度表征进行无参考图像质量预测的方法

技术领域

本发明提到了一种利用多层深度表征进行无参考图像质量预测(BLind Imagequality predictioN via multi-level DEep Representations,BLINDER)的方法，其中主要涉及一种利用深层次网络进行预训练，并提取处理各层特征进行分数预测的方法，以及构建一个准确率极高的分数预测模型的建模表达。

背景技术

图像质量是比较各种图像处理算法性能优劣以及优化系统参数的重要指标，因此在图像采集、编码压缩、网络传输等领域建立有效的图像质量评价机制具有重要的意义。图像质量评价从方法上可分为主观评价方法和客观评价方法，前者凭借实验人员的主观感知来评价对象的质量；后者依据模型给出的量化指标。相对于主观质量评价，客观质量评价具有操作简单、成本低、易于解析和嵌入实现等优点，已经成为图像质量评价的研究重点。

无参考质量评价是客观质量评价方法之一，无参考图像质量评估(Blind imagequality assessment BIQA)的目标是能够在没有原始图像的参考的状态下，自动评估一副图像的质量并给出和人的主观感受相一致的评价值。

近年来，随着深度学习的迅速发展，使用深度神经网络，如深度卷积神经网络(Convolutional Neural Networks,CNN)和深度循环神经网络(Recurrent NeuralNetworks,RNN)进行端到端(end-to-end)地问题建模成为目前计算机视觉方向上的主流研究方向。在图像质量评价上，利用深度神经网络进行图像质量分数评估已经大大的超越了传统的质量评估方法，但仍存在一些缺点，总体可概括为两点：

(1)现有的用于图像质量评价的深度神经网络大都是浅层的，最大的网络仅有七层。然而其它视觉研究已经证明，网络层次越多，网络模型越深，则实验效果越好。所以用深层次的网络进行图像质量评价的研究是值得深入探索的一个方向。

(2)现有的基于深度神经网络进行图像质量评级的方法中，大都是用网络模型的最后一层网络输出作为预测图像质量分数的关键，但是，对于图像质量评价来说最后一层网络可能并不是最佳的选择。深度网络的最后一层往往会过度泛化一些对质量评价有着重要影响的人工操作，比如噪声和模糊，中间层虽然不具有深层网络携带大量深层次信息的能力，但是对于这些能够影响图片质量分数的因素足够敏感，所以对于提取中间层特征信息作为评估图片质量分数的评估依据很有意义。

发明内容

本发明的目的是针对现有技术的不足，提供一种利用多层深度表征进行无参考图像质量预测的方法。我们对五个标准的图像质量评价的数据做了实验，每个数据集均有n张扭曲的图片，和每张图片对应的平均主观分数值(mean opinion scores MOS)或差别平均值(difference mean opinion scores DMOS)值。

给定图像及相应的MOS值或DMOS值作为训练集。

本发明解决其技术问题所采用的技术方案包括如下步骤：

步骤(1)数据预处理

将所有图像缩放到统一的尺寸大小，减去平局值，将二进制数据转换为深度神经网络能识别的数据格式。

步骤(2)特征提取及处理

利用一个在ImageNet上训练好的37层VGGnet模型进行特征提取，提取每层特征并进行处理，得到一个列向量。

步骤(3)预测分数

将每层特征融合得到的列向量输入支持向量回归模型得到每层特征的预测分数。将各层分数平均值作为整张图片的质量评估分值。

步骤(1)所述的数据预处理：

1-1.在数据集中随机选择部分图像作为训练集，剩下的作为测试集。将训练集中图像缩放为224*224的固定尺寸，缩放后的图像中每个像素均减去RGB的平均值，测试集不作处理。

1-2.将图像的名称和分值一一对应写入txt文本(如：10.jpg4.2)，读取txt文本，按名称检索图像，将二进制格式数据转换为神经网络能够识别的数据。

步骤(2)所述的特征提取及处理：

2-1.由于重新训练适用于图像质量评价的深层次网络难度大，花费大，所以我们选择用已经在ImageNet上训练好的37层VGGnet模型进行试验，并提取各层特征作为图像质量评价的依据。该VGGnet模型已经在图像分类上达到了很理想的效果。

2-2.对图像进行特征提取，使用现有的深度神经网络提取每层图像特征形成图像特征F_l，其中F_l∈R^c×h×w，l是深度神经网络的第l层，在本次发明中l＝(1,2,...,37),c是图像特征的通道数,h和w分别是图像特征的高和宽。

2-3.每一层的图像特征F_l均有c个通道，即c个特征图F_l,k，F_l,k∈R^h×w，是第l层的第k个特征图,h和w依旧是图像特征的高和宽。将每个F_l,k中的最大值提取出来，组成列向量u_l,k，最小值提取出来组成列向量v_l,k。

u_l,k＝max{F_l,k}and

v_l,k＝min{F_l,k} (公式1)

2-4.将步骤2-3得到的c个特征向量组合得到f_l作为第l层的特征进行。

f_l＝{u_l,1,...u_l,c,v_l,1,...v_l,c} (公式2)

其中，f_l的维度是2c,同时包含了每个特征图的最大值和最小值

步骤(3)所述的预测分数：

3-1.利用径向基核函数(radial basis function RBF)的支持向量回归，将f_l作为输入，计算出每一层深度网络的图像质量分数s_l。径向基核函数的定义如下：

K(x_i,x_j)＝<φ(x_i),φ(x_j)>＝exp(-x_i-x_j||²/2σ²) (公式3)

其中，φ(.)可以将低维向量映射到高维空间,σ是高斯核的标准差。

计算图像质量分数s_l的公式如下：

s_l＝〈ω,φ(f_l)〉+b (公式4)

其中，ω是权重，b是偏置，ω和b是在训练中得到的；

经过上述操作，能够得到深度神经网络每一层对于图片的质量评分s，s＝{s_l|l＝1,...,L}；

3-2.把所有层的质量分数相加求平均作为图片的最终质量评分q；如下公式所示：

其中，l表示深度网络的第l层，L表示深度神经网络的深度，此处L＝37。

本发明有益效果如下：

依据图像质量评价相关评价标准，本发明对于图像的预测分数与原分数相关度极高，在一些数据集上的预测效果处理领先地位。因此在做图像处理相关工作时，利用本发明对处理后的图像做图像质量分数预测，与主观预测分值相当，可根据预测值修正图片，提高图片质量。

附图说明

图1是本发明的框架示意图；

图2是本发明的特征提取方法示意图。

具体实施方式

下面结合附图对本发明坐进一步说明。

如图1所示，利用多层深度表征进行无参考质量评价方法，具体包括如下步骤：

步骤(1)数据预处理

将所有图像缩放到统一的尺寸大小，减去平局值，将二进制数据转换为深度神经网络能识别的数据格式。

步骤(2)特征提取及处理

利用一个在ImageNet上训练好的37层VGGnet模型进行特征提取，提取每层特征并进行处理，得到一个列向量。

步骤(3)预测分数

将每层特征融合得到的列向量输入支持向量回归模型得到每层特征的预测分数。将各层分数平均值作为整张图片的质量评估分值。

步骤(1)所述的数据预处理：

1-1.在数据集中随机选择部分图像作为训练集，剩下的作为测试集。将训练集中图像缩放为224*224的固定尺寸，缩放后的图像中每个像素均减去RGB的平均值，测试集不作处理。

1-2.将图像的名称和分值一一对应写入txt文本(如：10.jpg4.2)，读取txt文本，按名称检索图像，将二进制格式数据转换为神经网络能够识别的数据。

步骤(2)所述的特征提取及处理：

2-1.由于重新训练适用于图像质量评价的深层次网络难度大，花费大，所以我们选择用已经在ImageNet上训练好的37层VGGnet模型进行试验，并提取各层特征作为图像质量评价的依据。该VGGnet模型已经在图像分类上达到了很理想的效果。

2-2.对图像进行特征提取，使用现有的深度神经网络提取每层图像特征形成图像特征F_l，其中F_l∈R^c×h×w，l是深度神经网络的第l层，在本次发明中l＝(1,2,...,37),c是图像特征的通道数,h和w分别是图像特征的高和宽。

2-3.每一层的图像特征F_l均有c个通道，即c个特征图F_l,k，F_l,_k∈R^h×w，是第l层的第k个特征图,h和w依旧是图像特征的高和宽。将每个F_l,k中的最大值提取出来，组成列向量u_l,k，最小值提取出来组成列向量v_l,k。

u_l,k＝max{F_l,k}and

v_l,k＝min{F_l,k} (公式1)

2-4.将步骤2-3得到的c个特征向量组合得到f_l作为第l层的特征进行。

f_l＝{u_l,1,...u_l,c,v_l,1,...v_l,c} (公式2)

其中，f_l的维度是2c,同时包含了每个特征图的最大值和最小值

步骤(3)所述的预测分数：

3-1.利用径向基核函数(radial basis function RBF)的支持向量回归，将f_l作为输入，计算出每一层深度网络的图像质量分数s_l。径向基核函数的定义如下：

K(x_i,x_j)＝〈φ(x_i),φ(x_j)〉＝exp(-||x_i-x_j||²/2σ²) (公式3)

其中，φ(.)可以将低维向量映射到高维空间,σ是高斯核的标准差。

计算图像质量分数s_l的公式如下：

s_l＝〈ω,φ(f_l)〉+b (公式4)

其中，ω是权重，b是偏置，ω和b是在训练中得到的。

3-2.经过上述操作，能够得到深度神经网络每一层对于图片的质量评分，s＝{s_ll＝1,...,L}。然后，把所有层的质量分数相加求平均作为图片的最终质量评分q。如下公式所示：

其中，l表示深度网络的第l层，L表示深度神经网络的深度，此处L＝37。

Claims (4)

1.一种利用多层深度表征进行无参考图像质量预测的方法,其特征在于包括如下步骤：

步骤(1)数据预处理

将所有图像缩放到统一的尺寸大小，减去平局值，将二进制数据转换为深度神经网络能识别的数据格式；

步骤(2)特征提取及处理

利用一个在ImageNet上训练好的37层VGGnet模型进行特征提取，提取每层特征并进行处理，得到一个列向量；

步骤(3)预测分数

将每层特征融合得到的列向量输入支持向量回归模型得到每层特征的预测分数；将各层分数平均值作为整张图片的质量评估分值。

2.根据权利要求1所述的一种利用多层深度表征进行无参考图像质量预测的方法,其特征在于步骤(1)所述的数据预处理：

1-1.在数据集中随机选择部分图像作为训练集，剩下的作为测试集；将训练集中图像缩放为224*224的固定尺寸，缩放后的图像中每个像素均减去RGB的平均值，测试集不作处理；

1-2.将图像的名称和分值一一对应写入txt文本，读取txt文本，按名称检索图像，将二进制格式数据转换为神经网络能够识别的数据。

3.根据权利要求2所述的一种利用多层深度表征进行无参考图像质量预测的方法,其特征在于步骤(2)所述的特征提取及处理：

2-1.选择用已经在ImageNet上训练好的37层VGGnet模型进行试验，并提取各层特征作为图像质量评价的依据；

2-2.对图像进行特征提取，使用深度神经网络提取每层图像特征形成图像特征F_l，其中F_l∈R^c×h×w，l是深度神经网络的第l层，l＝(1,2,...,37),c是图像特征的通道数,h和w分别是图像特征的高和宽；

2-3.每一层的图像特征F_l均有c个通道，即c个特征图F_l,k，F_l,k∈R^h×w，是第l层的第k个特征图,h和w依旧是图像特征的高和宽；将每个F_l,k中的最大值提取出来，组成列向量u_l,k，最小值提取出来组成列向量v_l,k；

u_l,k＝max{F_l,k}and

v_l,k＝min{F_l,k} (公式1)

2-4.将步骤2-3得到的c个特征向量组合得到f_l作为第l层的特征进行；

f_l＝{u_l,1,...u_l,c,v_l,1,...v_l,c} (公式2)

其中，f_l的维度是2c,同时包含了每个特征图的最大值和最小值。

4.根据权利要求3所述的一种利用多层深度表征进行无参考图像质量预测的方法,其特征在于步骤(3)所述的预测分数：

3-1.利用径向基核函数的支持向量回归，将f_l作为输入，计算出每一层深度网络的图像质量分数s_l；径向基核函数的定义如下：

其中，φ(.)能够将低维向量映射到高维空间,σ是高斯核的标准差；

计算图像质量分数s_l的公式如下：

s_l＝<ω,φ(f_l)>+b (公式4)

其中，ω是权重，b是偏置，ω和b是在训练中得到的；

经过上述操作，能够得到深度神经网络每一层对于图片的质量评分s，s＝{s_l|l＝1,...,L}；

3-2.把所有层的质量分数相加求平均作为图片的最终质量评分q；如下公式所示：

其中，l表示深度网络的第l层，L表示深度神经网络的深度，此处L＝37。