CN109308696B

CN109308696B - 基于层级特征融合网络的无参考图像质量评价方法

Info

Publication number: CN109308696B
Application number: CN201811071199.1A
Authority: CN
Inventors: 吴金建; 梁富虎; 马居坡; 石光明
Original assignee: Xidian University
Current assignee: Xidian University
Priority date: 2018-09-14
Filing date: 2018-09-14
Publication date: 2021-09-28
Anticipated expiration: 2038-09-14
Also published as: CN109308696A

Abstract

本发明公开了一种基于层级特征融合网络的无参考图像质量评价方法，主要解决现有技术精度低、速度慢的问题。其实现方案是：1.从MSCOCO数据集挑选参考图像并通过添加噪声建立污染图像数据库；2.对训练集图像和测试集图像同时进行去均值与裁剪；3.根据人类视觉系统从局部特征到全局语义的分层次处理机制，设计一个进行端到端联合优化的层级特征融合网络模型；4.利用训练集和测试集对层级特征融合网络模型进行训练；5.对待评测图像进行去均值与裁剪处理，将处理后的图像输入训练好的层级特征融合网络模型，获得图像质量预测分值；本发明极大地提高了无参考质量评价的精度与速度，可用于图像筛选、压缩、视频质量监控。

Description

基于层级特征融合网络的无参考图像质量评价方法

技术领域

本发明属于图像处理技术领域，特别涉及无参考图像质量评价方法，可以用于图像筛选、压缩、视频质量监控。

技术背景

随着互联网和手机终端的兴起，每天都会产生海量的图像和视频数据。但令人遗憾的是，在图像与视频生成、处理、传输和存储阶段，都会不可避免的产生各种各样的失真，因此自动评价图像质量变得不可或缺。主观质量评价也就应运而生并且在图像视频领域得到了广泛应用。

在过去的十年里，出现了各种各样的性能优越的图像质量评价算法，根据参考图像是否可获得，将这些算法分为三种：全参考图像质量评价算法，部分参考图像质量评价算法，无参考图像质量评价算法。全参考质量评价算法需要参考原始图像的全部信息，部分参考质量评价算法仅需参考部分图像信息。但是在实际情况中，无论是无人机拍摄的图像还是监控设备拍摄的图像，参考图像都是无从获得的，所以前两种算法对实际应用提出了很大挑战。基于参考图像难以获得这个问题，不需要任何原始图像信息的无参考质量评价开始兴起并逐渐成为热门研究方向。

从特征提取的角度出发，早期的无参考质量评价主要针对某几种噪声类型，例如块状噪声和模糊噪声来构建特征，或者是在空域和DCT域提取自然场景统计NSS特征。特征提取后，再利用支持向量机SVR将这些特征回归得到质量分数。但是，这些方法很难设计能充分表征图像质量衰减的特征。随着CNN的广泛应用，最近几年出现了很多基于CNN的无参考图像质量评价算法。Bosse等人在文章“Deep neural networks for no-reference andfull-reference image quality assessment”中提出用十个卷积层和五个池化层进行特征提取，然后用两层全连接层回归得到质量分数。Ma等人在文章“End-to-end blind imagequality assessment using deep neural networks”中提出了多任务网络：一个污染类型判别网络首先判断输入图像的污染类型，一个质量预测网络为图像进行质量评估。虽然这些方法是端到端的网络，但是他们只利用最后一层的输出作为特征表征来进行质量预测。神经系统科学研究学者表明，在人类视觉系统HVS中视觉识别也是层次化的过程，因此在进行质量评价时，不同级别的层级质量衰减也应考虑。Wu等人在文章“Hierarchical featuredegradation based blind image quality assessment”中提出将底层局部结构特征与Resnet提取的高层语义特征相结合，然后使用SVR将合并后的特征映射成最终的质量分数。但是这类算法因为特征提取与质量预测是分离的，所以不能进行联合优化，大大降低了网络效率。这些网络虽然取得了很大的成功，但是仍然有弊端：1)端到端的网络虽然特征提取和质量预测能进行联合优化，但是他们只利用最后一层进行质量预测，并没有考虑不同层级的质量衰减；2)结合不同层级质量衰减的网络虽然考虑了不同层会带来不同的质量衰减，但特征提取和质量预测是分离的，并不能进行联合优化。这些不足会影响质量评价的精准度与速度，限制了实际应用。

发明内容

本发明目的在于针对上述现有技术的不足，提出一种基于层级特征融合网络的无参考图像质量评价方法，以提高质量评价的精度，加快网络运行速度。

为实现上述目的，本发明的技术方案包括如下：

(1)从MSCOCO数据集挑选参考图像并通过添加噪声建立污染图像数据库，将数据库样本随机分为两份，其中80％的污染图用于训练，20％的污染图用于测试；

(2)对训练集图像与测试集图像同时进行去均值与裁剪，得到样本中心点在原点而且图像尺寸一致的训练集与测试集；

(3)根据人类视觉系统从局部特征到全局语义的分层次处理机制，设计一个进行端到端联合优化的层级特征融合网络模型；

(4)利用步骤(2)得到的训练集和测试集对步骤(3)设计的层级特征融合网络模型进行训练，得到训练好的层级特征融合网络模型；

(5)对待评测图像进行去均值与裁剪处理，将处理后的图像输入到步骤(4)中得到的训练好的层级特征融合网络模型，获得图像质量预测分值。

本发明与现有技术相比，具有如下优点：

1.本发明由于采用一个轻量级的层级特征融合网络，参数量远远少于其他质量评价网络，不仅提高了精度，而且运行速度快。

2.本发明受人类视觉系统分层次处理机制的启发，设计出的层级特征融合网络能从多个级别衡量图像质量的衰减；

3.本发明能从多个级别衡量图像质量的衰减的同时，又能对特征提取与质量评价进行联合优化，扩展了无参考质量评价的思路。

附图说明

图1是本发明的实现流程图。

图2是本发明中构建的层级特征融合网络整体结构图。

具体实施方式

以下结合附图对本发明做进一步详细描述。

参照图1，本发明的实现步骤如下：

步骤1，构建并划分污染图像数据库。

(1a)从MSCOCO数据集挑选一万张高清无污染图作为参考图像；

(1b)对这些参考图像添加噪声，共产生一百万张污染图像；

(1c)用全参考算法为每张污染图像添加质量值，并采用如下映射函数将每张的质量值范围统一到(0～10)：

其中，Q_s是全参考算法预测的质量分值，Q是归一化后的质量分数，{β₁,β₂,β₃,β₄,β₅}是待拟合的参数；

(1d)将步骤(1c)质量值统一后的数据库样本随机分为两份，其中80％的污染图用于训练，20％的污染图用于测试。

步骤2，训练集和测试集样本进行预处理。

(2a)统计训练样本的所有像素均值；

(2b)从训练集和测试集中的图像像素值中同时减去该均值；

(2c)将去均值后的训练集与测试集中的图像都随机裁剪为300*300*3大小的图像。

步骤3，搭建层级特征融合网络模型。

人感知图像是一个从局部特征到全局语义的感受过程，根据人类视觉系统这种分层次的处理机制，本发明设计了一个层级特征融合网络模型，参照图2，本步骤建立的层级特征融合网络模型包括：级联网络、侧向下采样网络和回归网络。各网络设置如下：

所述级联网络，其包含输入层，10个特征提取卷积层和五个池化层，该输入层为300*300*3大小的图像；这些特征提取卷积层用于从底层到高层的层级特征提取，得到层级特征，每个特征提取卷积层卷积核大小为3*3，步长为1*1；这些池化层用于对特征提取卷积层提取的层级特征进行降维，每个池化层的卷积核大小与步长都为2*2；

所述侧向下采样网络，其由6个特征下采样卷积层组成，用于对所述级联网络得到的层级特征下采样，将特征降到同一尺度，并得到4个特征向量；每个特征下采样卷积层的卷积核大小为3*3，步长为2*2；

所述回归网络，其由五个子回归网络和输出层组成，这些子回归网络用于对所述侧向下采样网络得到的特征向量进行回归，五个子回归网络中的FC-1-1，……，FC-4-1组成前四个子回归网络，维度分别为{64,64,64,64}，最后一个子回归网络由两个全连接层FC-5-1，FC-5-2组成，FC-5-1维度为100，FC-5-2维度为1。前四个子回归网络FC-1-1，……，FC-4-1分别将侧向下采样网络得到的4个特征向量回归得到四个质量分数Q₁，……，Q₄，这四个质量分数的作用是辅助损失函数L_δ(q)进行误差计算，最后一个子回归网络用于将侧向下采样网络得到的4个特征向量所连接成的256维特征向量进行回归，得到质量分数Q；该质量分数Q通过输出层输出。

步骤4，对层级特征融合网络模型进行训练。

损失函数是神经网络优化的目标函数，神经网络训练的过程就是最小化损失函数的过程。本实例在对层级特征融合网络模型挑选损失函数进行训练时，考虑到所述数据库污染图像的质量值是由全参考算法产生的，所以会产生一些图像质量值不准确的异常样本，因此需要对现有的损失函数进行选用，降低网络对异常样本的敏感性，提高网络的鲁棒性，再对其进行优化，完成对层级特征融合网络模型的训练。其具体实现如下：

(4a)选取如下Huber Loss损失函数L_δ(q)：

其中δ表示超参数，q表示预测质量分数，

是图像真实质量值，当q和

的残差小时，损失函数近似表现为二次函数，当残差大时近似表现为线性函数；

(4b)选取Adam算法对损失函数L_δ(q)进行优化：

优化算法的作用是通过调整网络模型参数来最小化损失函数L_δ(q)，常用的神经网络优化算法有：SGD算法、Adam算法、RMSProp算法及牛顿迭代法，本实例考虑到所述污染图像数据库规模较大，故选用Adam优化算法。

该Adam算法是替代传统随机梯度下降过程的一阶优化算法，用其在对损失函数L_δ(q)进行优化时，先为不同的参数设计独立的自适应性学习率，再用该学习率来调整所述层级特征融合网络模型不同参数的权重，直至损失函数L_δ(q)收敛，得到训练好的层级特征融合网络模型。

步骤5，对待测评图像进行质量评估。

(5a)用待测评图像的像素值减去步骤(2a)得到的训练样本的均值，再将去均值后的待测评图像随机分为N幅300*300*3大小的图像；

(5b)将(5a)得到的N幅图像送到步骤4得到的训练好的层级特征融合网络模型中，得到N幅图像的分数，取这N幅图像的平均值即为待测评图像最终的质量分数，本实例中N＝4但不限于N＝4。

本发明的效果可通过以下仿真实验进行说明：

用步骤4得到的训练好的层级特征融合网络模型在5个标准数据库：LIVE、CSIQ、TID2013、LIVE MD和LIVE CH上进行测试，结果如下表：

表1：本发明与其他无参考质量评价方法对比结果

从表1可以看出，本发明设计的层级特征融合网络模型在对TID2013、LIVE MD和LIVE CH数据库的评价精度优于其他无参考质量评价算法，在对LIVE、CSIQ数据库上评价精度与最好的无参考质量评价算法接近。

综上，本发明中提出的级联层级特征融合网络的无参考质量评价方法能有效提高质量评价精度，且级联层级特征融合网络模型参数量只有七十万，对比Bosse所提网络五百万的参数量，显著提高了网络运行速度。

以上描述仅是本发明的一个具体实例，不构成对本发明的任何限制。显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修改和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims

1.一种基于层级特征融合网络的无参考质量评价方法，其实现包括如下：

(3)根据人类视觉系统从局部特征到全局语义的分层次处理机制，设计一个进行端到端联合优化的层级特征融合网络模型，其结构依次为输入层、10个用于特征提取卷积层与6个用于特征下采样卷积层、5个池化层、6个全连接层和输出层；

每层参数如下

输入层为300*300*3大小的图像，

每个特征提取卷积层的卷积核大小为3*3，步长为1*1，

每个特征下采样卷积层的卷积核大小为3*3，步长为2*2，

每个池化层卷积核大小与步长均为2*2，

6个全连接层维度分别为{64,64,64,64,100,1}，

输出层为输入图像的质量分数；

2.根据权利要求1所述的方法，其中步骤(1)从MSCOCO数据集挑选参考图像并通过添加噪声建立污染图像数据库，按如下步骤进行：

(1a)从MSCOCO数据集挑选一万张高清无污染图作为参考图像；

(1b)对这些参考图像添加噪声，共产生一百万张污染图像；

(1c)用全参考算法为每张污染图像添加质量值，并采用映射函数对每张的质量值范围进行统一，得到污染图像数据库。

3.根据权利要求1所述的方法，其中步骤(2)对训练集图像和测试集图像同时进行去均值与裁剪，其实现如下：

(2a)统计训练样本的所有像素均值；

(2b)从训练集和测试集中的图像像素值中同时减去该均值；

4.根据权利要求1所述的方法，其中步骤(4)中利用训练集和测试集对层级特征融合网络模型进行训练，按如下步骤进行：

(4a)选取如下Huber Loss损失函数L_δ(q)：

其中δ表示超参数，q表示预测质量分数，

是图像真实质量值，当q和

(4b)采用Adam算法，通过减小L_δ(q)调整所述层级特征融合网络模型的参数权重，直至L_δ(q)收敛，得到训练好的层级特征融合网络模型。

5.根据权利要求1所述的方法，其中所述步骤(5)，其实现如下：

(5a)用测评图像的像素值减去步骤(2a)得到的训练样本的均值，再将去均值后的待测评图像随机分为N幅300*300*3大小的图像；

(5b)将(5a)得到的N幅图像送到步骤(4)得到的训练好的层级特征融合网络模型中，得到N幅图像的分数，取这N幅图像的平均值作为待测评图像最终的质量分数本N>＝1。