CN108074239A - 一种基于先验感知质量特征图的无参考图像质量客观评价方法 - Google Patents

Abstract

本发明公开了一种基于先验感知质量特征图的无参考图像质量客观评价方法，本发明通过待评价图像先由全卷积网络生成感知质量特征图，再由深度网络对感知质量特征图进行池化得到主观分数的方法，实现图像的无参考质量评价。由全参考图像质量评价方法生成的感知质量特征图做为标签训练基于U‑net的相似质量图生成全卷积网络，由主观评价分数作为标签训练感知质量特征图质量分数池化网络，失真图通过训练好的质量特征图生成全卷积网络和质量分数池化网络生成质量特征图和质量评价分数。本发明在得到失真图像质量分数的同时，还可以得到一张反映失真区域及程度的感知质量特征图，能更好的反应失真图像的失真程度和失真信息。

Description

一种基于先验感知质量特征图的无参考图像质量客观评价 方法

技术领域

本发涉及一种基于先验感知质量特征图的无参考图像质量客观评价方法，属于数字图像处理技术领域。

背景技术

图像作为视觉信息的来源,蕴含了大量的有价值信息。图像质量的好坏直接影响到人们的主观感受和信息量获取,图像质量评价(Image quality assessment,IQA)的研究也在近20年受到广泛的重视。

图像质量评价可以分为主观评价方法和客观评价方法。主观评价由观察者对图像质量进行主观评分,但主观评价工作量大、耗时长,不方便；客观评价方法是由计算机根据一定算法计算得到图像的质量指标,根据评价时是否需要参考图像又可以分为全参考(Full reference,FR)、半参考(部分参考)(Reduced reference,RR)和无参考(Noreference,NR)等三类评价方法:

(1)全参考图像质量评价方法。FR算法是指在给定理想图像作为参考图像的标准下，比较待评价图像与参考图像之间的差异，分析待评价图像的失真程度，从而得到待评价图像的质量评估。常见的FR方法的有：基于图像像素统计基础的图像质量评价(主要有峰值信噪比和均方误差)、基于信息论基础的图像质量评价(主要有信息保真度准则和视觉信息保真度)、基于结构信息基础的图像质量评价(主要为结构相似度)。FR算法是目前为止在客观图像评价中最可靠的方法。

(2)半参考图像质量评价方法。RR算法是以提取参考图像的部分特征信息作为参考，对待评测图像进行比较分析，从而得到图像的质量评估。常见的RR算法主要为：基于原始图像特征方法、基于数字水印方法和基于Wavelet域统计模型的方法。

(3)无参考图像质量评价方法。NR算法是指没有理想图像下，对待评测图像进行质量评估的方法。常用的NR算法主要为：基于块压缩的方法、基于深度学习的方法(CNN、BIECON等)。

针对图像在获取、处理、传输和记录的过程中，由于成像系统、处理方法、传输介质和记录设备等不完善，加之物体运动、噪声干扰等原因所造成的图像失真和图像降质的问题，往往要对失真图像质量进行定量的评价，由失真图像直接得到主观评价分数而不使用失真图像的参考图像，称为无参考图像质量客观评价。

发明内容

针对现有图像质量评价中无参考图像质量评价性能差的问题，本发明提出了一种无参考质量客观评价方法，利用全参考图像质量客观评价方法生成的先验感知质量特征图作为训练标签训练深度全卷积网络，使失真图像通过全卷积网络可以产生一个感知质量特征图，并训练分数池化网络，由得到的感知质量特征图得到最后的图像主观质量分数。

本发明采用的技术方案为一种基于先验感知质量特征图的无参考图像质量客观评价方法，包括以下步骤：

步骤1，生成先验感知质量特征图像库。

选取失真图像数据库，由每一张失真图像和其参考图像运用全参考图像质量评价方法FSIM生成失真梯度信息图FSIMg，由所有失真图像的FSIMg作为先验感知质量特征图像库。

步骤2，训练感知质量特征图生成网络。

由失真图像数据库中的失真图像和生成的感知质量特征图像库作为训练数据，训练一个基于U-Net的全卷积感知质量特征图生成网络。所述感知质量特征图生成网络是一种基于U-Net结构的全卷积网络，感知质量特征图生成网络的输入为一张三通道的彩色图；感知质量特征图生成网络的输出为一张与输入等大的灰度图。训练感知质量特征图生成网络的步骤如下：

步骤2.1，将失真图像数据库每一张失真图像和其对应的感知质量特征图按行列每隔120像素剪裁144×144大小的失真图像块。

步骤2.2，搭建基于U-Net的全卷积感知质量特征图生成网络。

步骤2.3，将步骤2.1中剪裁好的失真图像块作为基于U-Net的全卷积感知质量特征图生成网络的输入，对应的感知质量特征图作为标签，采用逻辑斯蒂回归对感知质量特征图生成网络进行训练。

步骤3，训练分数池化网络。

由感知质量特征图生成网络的输出图作为训练分数池化网络的输入，图像主观失真分数作为标签，训练分数池化网络。所述分数池化网络由五层卷积层和两层全连接层组成，分数池化网络的输入为一大小为144×144的单通道图像，分数池化网络的输出为一0到100间的分数。

步骤3.1，搭建分数池化网络，将分数池化接在感知质量特征图生成网络Logistic输出层之后。

步骤3.2，训练分数池化网络。训练时固定感知质量特征图生成网络，使分数池化网络的输入为感知质量特征图生成网络的输出，以图像主观失真分数为标签，采用线性回归对分数池化网络进行训练。

步骤4，对待预测失真图像进行无参考质量客观评价。

将待预测失真图像输入预测网络(感知质量特征图生成网络+分数池化网络)，得到相感知质量特征图和预测主观评价分数。

步骤4.1，将待预测失真图像按行列每隔120像素剪裁为一组144×144大小的小块。

步骤4.2，将每一小块输入预测网络(感知质量特征图生成网络+分数池化网络)，网络输出每个小块的感知质量特征图和预测分数。

步骤4.3，将每个小块的感知质量特征图拼接，得到待预测失真图像的感知质量特征图。

步骤4.4，将所有个小块的预测分数平均，得到失真图质量预测分数。

与现有技术相比，本发明具有以下优点：

(1)生成一个感知质量特征图，本发明方法模拟全参考质量客观评价的方法，可以产生一个人眼视觉系统(HVS)的相关质量图，逼近从像素级别反映的失真相似度指数图，本发明方法预测的质量图可以简单而有效的反映出像素级别的失真区域。

(2)本方法采用深度学习的方法，可以更好的回归拟合图像的失真与主观分数的关系，实验证明，本发明的性能优于传统的无参考质量评价方法，甚至优于一些全参考质量评价方法。

附图说明

图1为本发明具体实施方式的流程图；

图2为本发明网络结构图，其中(a)部分为感知质量特征图生成网络，(b)部分为分数池化网络；

图3为本发明生成感知质量特征图对比，(a)为原图，(b)为全参考方法生成的感知质量特征图，(c)部分为本方法生成的感知质量特征图。

具体实施方式

实施方式。

实施方式的流程图如图1所示，包括以下步骤：

步骤S10，生成感知质量特征图像库；

步骤S20，训练感知质量特征图生成网络；

步骤S30，训练分数池化网络；

步骤S40，对待预测失真图像进行无参考质量评价。

实施方式的训练感知质量特征图生成网络调整步骤S20还包括以下步骤：

步骤S200，将TID2013数据库每一失真图像和其对应的感知质量特征图按行列每隔120像素剪裁144×144大小的图像块；

步骤S210，搭建基于U-Net的全卷积感知质量特征图生成网络；

步骤S220，将剪裁好的失真图像块作为输入，对应的感知质量特征图作为标签，采用逻辑斯蒂回归对感知质量特征图生成网络进行训练。

实施方式的训练分数池化网络调整步骤S30还包括以下步骤：

步骤S300，搭建分数池化网络，将分数池化接在感知质量特征图生成网络Logistic输出层之后；

步骤S310，训练分数池化网络。训练时固定相似图生成网络，使分数池化网络的输入为质量特征图生成网络的输出，以图像主观失真分数为标签，采用线性回归对分数池化网络进行训练。

实施方式的对待预测失真图像进行无参考质量评价调整步骤S40还包括以下步骤：

步骤S400，将待预测失真图像按行列每隔120像素剪裁为一组144×144大小的小块。

步骤S410，将每一小块输入预测网络(感知质量特征图生成网络+分数池化网络)，网络输出每个小块的感知质量特征图和预测分数。

步骤S420，将每个小块的感知质量特征图拼接，得到待预测失真图像的感知质量特征图。

步骤S430，将所有个小块的预测分数平均，得到失真图质量预测分数。

下面给出应用本发明的实验结果。

表1给出了本发明方法在LIVE IQA、CSIQ、TID2013三个失真图像数据集下的测试结果。实验将每个数据库80％的失真图像作为训练集，20％的图像作为测试集进行测试，测试评价方式由SRCC和PLCC指数组成。由表可知，本发明方法在三个数据集上的结果均高于最先进的同样基于深度学习的无参考质量评价方法BIECON，并且在TID2013上有较大提升，说明利用本发明方法相比于大多数方法效果更好。

表1 本发明方法在不同数据库下的性能比较

Claims (4)

1.一种基于先验感知质量特征图的无参考图像质量客观评价方法，其特征在于：该方法包括以下步骤，

步骤1，生成先验感知质量特征图像库；

选取失真图像数据库，由每一张失真图像和其参考图像运用全参考图像质量评价方法FSIM生成失真梯度信息图FSIMg，由所有失真图像的FSIMg作为先验感知质量特征图像库；

步骤2，训练感知质量特征图生成网络；

由失真图像数据库中的失真图像和生成的感知质量特征图像库作为训练数据，训练一个基于U-Net的全卷积感知质量特征图生成网络；所述感知质量特征图生成网络是一种基于U-Net结构的全卷积网络，感知质量特征图生成网络的输入为一张三通道的彩色图；感知质量特征图生成网络的输出为一张与输入等大的灰度图；

步骤3，训练分数池化网络；

由感知质量特征图生成网络的输出图作为训练分数池化网络的输入，图像主观失真分数作为标签，训练分数池化网络；所述分数池化网络由五层卷积层和两层全连接层组成，分数池化网络的输入为一大小为144×144的单通道图像，分数池化网络的输出为一0到100间的分数；

步骤4，对待预测失真图像进行无参考质量客观评价；

将待预测失真图像输入预测网络，得到相感知质量特征图和预测主观评价分数。

2.根据权利要求1所述的一种基于先验感知质量特征图的无参考图像质量客观评价方法，其特征在于：训练感知质量特征图生成网络的步骤如下：

步骤2.1，将失真图像数据库每一张失真图像和其对应的感知质量特征图按行列每隔120像素剪裁144×144大小的失真图像块；

步骤2.2，搭建基于U-Net的全卷积感知质量特征图生成网络；

步骤2.3，将步骤2.1中剪裁好的失真图像块作为基于U-Net的全卷积感知质量特征图生成网络的输入，对应的感知质量特征图作为标签，采用逻辑斯蒂回归对感知质量特征图生成网络进行训练。

3.根据权利要求1所述的一种基于先验感知质量特征图的无参考图像质量客观评价方法，其特征在于：步骤3.1，搭建分数池化网络，将分数池化接在感知质量特征图生成网络逻辑斯蒂回归输出层之后；

步骤3.2，训练分数池化网络；训练时固定感知质量特征图生成网络，使分数池化网络的输入为感知质量特征图生成网络的输出，以图像主观失真分数为标签，采用线性回归对分数池化网络进行训练。

4.根据权利要求1所述的一种基于先验感知质量特征图的无参考图像质量客观评价方法，其特征在于：步骤4.1，将待预测失真图像按行列每隔120像素剪裁为一组144×144大小的小块；

步骤4.2，将每一小块输入预测网络即感知质量特征图生成网络+分数池化网络，网络输出每个小块的感知质量特征图和预测分数；

步骤4.3，将每个小块的感知质量特征图拼接，得到待预测失真图像的感知质量特征图；

步骤4.4，将所有个小块的预测分数平均，得到失真图质量预测分数。