CN109961434A - 面向层级语义衰减的无参考图像质量评价方法 - Google Patents

Abstract

本发明公开了一种面向层级语义衰减的无参考图像质量评价方法，主要解决现有评价技术准确度低的问题。其实现方案是：1.用图像层级语义衰减构建图像质量衰减的评价指标；2.划分图像数据集为训练数据集和测试数据集；3.对训练集图像和测试集图像进行去均值与裁剪；4.设计面向层级语义衰减的网络模型；5.利用训练数据集和测试数据集对面向层级语义衰减的网络模型进行训练；6.对待评价图像进行去均值与裁剪后输入到已训练好的面向层级语义衰减的网络模型，得到图像质量评价值。本发明极大地提高了无参考图像质量评价的精度，可用于视频质量监控、图像筛选、图像优化。

Description

面向层级语义衰减的无参考图像质量评价方法

技术领域

本发明属于图像处理技术领域，特别涉及无参考图像质量评价方法，可以用于视频质量监控、图像筛选、图像优化。

技术背景

随着信息化时代的飞速发展，人们获取信息的方式从传统的纸质媒介转变为数字媒介，而图像和视频数据则是主要的信息来源。但是在实际的图像与视频生成、处理、传输和存储阶段，都会不可避免的受到不同程度的污染，使得信息交流变得困难，同时不同的应用场景需要的图像质量也不一样。因此图像质量评价变得不可或缺，建立完善实时的图像质量评价系统具有重要意义。

图像质量评价主要分为主观图像质量评价和客观图像质量评价。主观图像质量评价依赖于人的知识背景和观测环境，客观图像质量评价则是根据人眼的视觉系统来建立数学模型。客观图像质量评价依据评价算法对原始图像的依赖程度分为全参考、部分参考和无参考图像质量评价，由于全参考和部分参考图像质量评价算法需要原始未受污染的图像信息作为参考，这一条件在实际中很难满足，如航拍图像、医学图像等无原始参考图像，这类算法都在实际中的应用受到很大限制。基于参考图像难以获得这个问题，不需要任何原始图像信息的无参考质量评价开始兴起并逐渐成为热门研究方向。

早期的无参考图像质量评价技术主要是针对特定的噪声类型，这类方法假定影响图像质量的噪声种类已知，通过对特定噪声构建特征模，Wu在论文“An objective out-of-focus blurn measurement”根据模糊图像的边缘计算点扩散函数，将点扩散函数的半径作为受模糊噪声污染程度的度量。近年来，研究人员提出了非特定噪声类型的评价方法，通过对噪声构建特征，或者利用自然场景统计的方法NSS在空域或DCT域中提取NSS特征，提取特征后，利用传统数学方法或机器学习理论构建特征模型，然后用该模型去预测图像的质量。Ye在论文“No-reference image quality assessment based on visual codebook”使用频率滤波器提取图像的局部信息并投影到已经训练好的码本上，将投影系数作为特征向量输入SVR进行分析预测。但是，这些方法很难设计能充分表征图像质量衰减的特征。

随着神经网络的广泛应用，近期出现了很多基于CNN的无参考图像质量评价算法。Bosse等人在论文“Deep neural networks for no-reference and full-referenceimage quality assessment”中使用带标签的图像库训练一个端到端的卷积神经网络，其中10层卷积层和5层池化层用于特征提取，2层全连接层用于特征回归。Ma等人在论文中“End-to-end blind image quality assessment using deep neural networks”中设计了一个多任务端到端的优化深度神经网络，包含两个子网络：第一级网络用于鉴别噪声种类，第二级网络使用复杂梯度下降法进行训练，基于第一级网络的输出结果预测图像的质量。该方法也只是利用最后一层的输出作为特征表征来进行质量预测。对人类视觉系统HVS的研究表明，视觉识别是一个层次化的过程，因此在进行图像质量评价时，不同层次的质量衰减也应考虑。Wu等人在论文“Hierarchical feature degradation based blind imagequality assessment”中提出考虑人眼识别的层次化过程，评价不同层次的质量衰减，将底层局部结构特征与Resnet提取的高层语义特征相结合，然后使用SVR将合并后的特征映射成最终的质量分数。

上述现有基于CNN的无参考图像评价方法中，虽然都取得了较好的效果，但还是存在一些问题：1)端到端的网络虽然特征提取和质量预测在同一网络优化，但是只利用最后一层进行质量预测，并没有考虑不同层级的质量衰减；2)结合不同层级质量衰减的网络虽然考虑了图像的层级衰减，但是没有构建一个能对图像层级衰减描述的评价指标，只是简单的用神经网络不同层的特征来描述层级质量衰减。这些问题会影响客观质量评价的准确性，限制了实际应用。

发明内容

本发明目的在于针对上述现有技术的不足，提出一种面向层级语义衰减的无参考图像质量评价方法，以提高图像质量评价的准确度。

为实现上述目的，本发明的技术方案包括如下：

(1)构建图像质量衰减的评价指标，即从图像的层级语义出发，用局部细节语义、区域轮廓语义、整体概念语义的衰减作为图像质量衰减的评价指标；

(2)在可见光图像质量评价数据库中随机选择80％的污染图像作为训练数据集，20％的污染图像作为测试数据集；

(3)对训练集图像与测试集图像依次进行去均值和裁剪的预处理，得到预处理后训练数据集与测试数据集；

(4)依据图像质量衰减的评价指标，设计一个面向层级语义衰减的端到端优化网络模型:

(4a)设计层级语义特征提取网络，其包括局部细节语义特征提取子网络、区域轮廓语义特征提取子网络、整体概念语义特征提取子网络，用于提取层级语义特征；

(4b)设计层级语义特征融合网络，其包括语义特征融合子网络、回归子网络，该语义特征融合子网络用于对(4a)中提取的层级语义特征按不同权重进行融合，该回归子网络用于将语义特征融合子网络融合后的特征进行回归，得到图像质量的预测值；

(5)训练面向层级语义衰减的网络模型:

(5a)选取损失函数和神经网络优化算法；

(5b)利用预处理后的训练数据集、测试数据集及选取的损失函数和神经网络优化算法，对(4a)中三种层级语义特征提取子网络分别单独预训练；

(5c)将已预训练好的三种层级语义特征提取子网络的输出作为(4b)中层级语义特征融合网络的输入，训练层级语义特征融合网络，最终得到面向层级语义衰减的网络模型；

(6)对待评测图像进行(3)的预处理之后，输入到已训练好的面向层级语义衰减的网络模型中，获得待测图像的质量评价值。

本发明与现有技术相比，具有如下优点：

1.本发明用层级语义衰减度量图像质量衰减，包括局部细节语义衰减、区域轮廓语义衰减、整体概念语义衰减，构建了图像质量衰减的评价指标，提高了图像质量评价的准确度

2.本发明设计的面向层级语义衰减的网络，利用不同层级的语义衰减，能够从不同层次度量图像质量衰减，使无参考图像质量评价与人类视觉系统分层次处理机制更加相符。

附图说明

图1是本发明的实现流程图。

图2是本发明中构建的面向层级语义衰减的网络模型整体结构图。

具体实施方式

以下结合附图对本发明做进一步详细描述。

参照图1，本发明的实现步骤如下：

步骤1，构建图像质量衰减的评价指标。

由于人眼捕捉到的图像内容会从局部信息到全局概念的丢失，图像语义表达是视觉表象到高层概念表征的有效桥梁，基于此，本步骤用图像的层级语义衰减构建图像质量衰减的评价指标，即用局部细节语义衰减、区域轮廓语义衰减、整体概念语义衰减这层级语义衰减作为图像质量衰减的评价指标，其中：

局部细节语义衰减：用于度量图像的细节信息，它有三个等级，轻微衰减、显著衰减、严重衰减，在局部细节轻微衰减时，图像的细节信息轻微损失，图像质量基本不受影响；在局部细节显著衰减时，图像的细节信息有所损失，图像质量受到轻微影响；在局部细节严重衰减时，图像的细节信息无法获取，图像质量受到严重影响；

区域轮廓语义衰减：用于度量图像的轮廓信息，它有三个等级，轻微衰减、显著衰减、严重衰减。在区域轮廓轻微衰减时，图像的轮廓出现轻微退化，图像质量基本不受影响；在区域轮廓显著衰减时，图像的轮廓出现明显退化，图像质量受到轻微影响；在区域轮廓严重衰减时图像的轮廓出现严重的退化，图像质量受到显著影响；

整体概念语义衰减：用于度量图像的整体概念信息，它有三个等级，轻微衰减、显著衰减、严重衰减。在整体概念轻微衰减时，图像的整体概念模糊较小，图像质量基本不受影响；在整体概念显著衰减时，图像的整体概念模糊较大，图像质量受到显著影响；在整体概念严重衰减时，图像的整体概念模糊不清，图像质量受到严重影响。

步骤2，划分可见光图像质量评价数据库。

选取图像数据库为TID2013，LIVE，LIVE-MD，LIVE-CH，CSIQ，并将所选的每个数据库都随机的分为两份，其中80％的图像作为训练集图像用于模型训练，20％的图像作为测试集图像用于模型测试。

步骤3，对训练集图像和测试集图像进行预处理。

(3a)计算出训练集图像的像素均值；

(3b)分别用训练集图像的像素值和测试集图像的像素值减去(3a)得到的均值，得到去均值后的训练集图像和测试集图像；

(3c)将去均值后的训练集图像和测试集图像中每幅图像均裁剪为300*300*3的大小。

步骤4，搭建面向层级语义衰减的网络模型。

面向层级语义衰减的网络模型包含2个部分：层级语义特征提取网络、层级语义特征融合网络，其中：

层级语义特征提取网络包含3个子网络，即局部细节语义特征提取子网络、区域轮廓语义特征提取子网络、整体概念语义特征提取子网络；

层级语义特征融合网络包含2个子网络，即语义特征融合子网络、回归子网络。

参照图2，本步骤的设计的网络模型结构如下：

所述局部细节语义特征提取子网络，其结构依次为8个特征提取卷积层、4个池化层、1个特征反卷积层和5个下采样卷积层，其中，每个特征提取卷积层用于提取图像的局部细节语义特征，卷积核大小为3*3，步长为1*1；每个池化层用于对特征提取卷积层提取的特征进行降维，卷积核大小与步长都为2*2；该特征反卷积层用于对特征提取卷积层提取的特征上采样后与输入图像相对应，卷积核大小16*16，步长为16*16；每个下采样层用于对特征反卷积层上采样后的特征进行下采样，卷积核大小为3*3，步长为2*2，经下采样层下采样后得到10*10*256大小的特征向量；

所述区域轮廓语义特征提取子网络，其结构依次为10个特征提取卷积层、5个池化层、4个特征反卷积层和5个下采样卷积层，其中，每个特征提取卷积层用于提取图像的区域轮廓语义特征，卷积核大小为3*3，步长为1*1；每个池化层用于对特征提取卷积层提取的特征进行降维，卷积核大小与步长都为2*2；每个特征反卷积层用于对特征提取卷积层提取的特征上采样后与输入图像相对应，卷积核大小为3*3，步长为2*2；每个下采样层用于对特征反卷积层上采样后的特征进行下采样，卷积核大小为3*3，步长为2*2，经下采样层下采样后得到10*10*256大小的特征向量；

所述区域轮廓语义特征提取子网络，其结构依次为13个特征提取卷积层、5个池化层特，其中，每个征提取卷积层用于提取图像的整体概念语义特征，卷积核大小为3*3，步长为1*1；每个池化层用于对特征提取卷积层提取的特征进行降维，卷积核大小与步长都为2*2，经池化层后得到10*10*512大小的特征向量；

所述语义特征融合子网络，其有3个特征融合权重w1、w2、w3，其中第一个特征融合权重w1是局部细节语义特征的融合权重，第二个特征融合权重w2是区域轮廓语义特征的融合权重，第三个特征融合权重w3是整体概念语义特征的融合权重；这三个特征融合权重将上述层级语义特征提取网络提取的三个特征向量进行融合，得到10*10*1024大小的融合特征向量；

所述回归子网络，其结构依次为1个最大池化层和2个全连接层，其中，该最大池化层将融合后的特征进行降维，得到1*1*1024大小的特征向量，卷积核大小为10*10，步长为10*10；第一个全连接层的维度是100，第二个全连接层的大小为1，上述语义特征融合子网络融合后的特征向量经该最大池化层和两个全连接层后回归到一个值作为质量评价值Q。

步骤5，对面向层级语义衰减的网络模型进行训练。

由于面向层级语义衰减的网络模型，包含层级语义特征提取网络和层级语义特征融合网络，考虑到参数量的问题，本实例在训练过程中先对层级语义特征提取网络进行预训练，然后利用已预训练好的层级语义特征提取网络的输出作为层级语义特征融合网络的输入，训练层级语义特征融合网络。

网络模型训练的具体实现如下：

(5a)选取损失函数和神经网络优化算法：

神经网络训练的过程就是用神经网络优化算法最小化损失函数的过程，所以要选择合适的损失函数和神经网络优化算法，提高网络的鲁棒性，降低网络对异常数据的敏感性。

本实例中选取的损失函数是Huber Loss函数L_δ(q)，表达式如下：

其中δ表示超参数，q表示预测质量分数，是图像真实质量值；

常用的神经网络优化算法有：SGD算法、Adam算法、RMSProp算法及牛顿迭代法，本实例考虑到数据库较大，故选取的优化算法是Adam，该算法是替代传统随机梯度下降过程的一阶优化算法；

(5b)训练层级语义特征提取网络：

使用步骤2中得到的训练集图像和测试集图像，分别独立的预训练局部细节语义特征提取子网络、区域轮廓语义特征提取子网络、整体概念语义特征提取子网络，在训练过程中，使用选取的神经网络优化算法通过调整网络模型参数来最小化损失函数，通过设置学习率、batchs来辅助神经网络优化算法使损失函数收敛；

(5c)训练层级语义特征融合网络:

将步骤(5b)中已预训练好的层级语义特征提取网络的输出作为层级语义特征融合网络的输入，训练层级语义特征融合网络，在训练过程中，使用选取的神经网络优化算法通过调整网络模型参数来最小化损失函数，通过设置学习率、batchs来辅助神经网络优化算法使损失函数收敛，最终得到训练好的面向层级语义衰减的网络模型。

步骤6，对待评价图像进行质量评价。

按照与步骤3相同的方法对待评测图像进行去均值和裁剪的预处理之后，输入到步骤5中已训练好的面向层级语义衰减的网络模型中，得到待测图像的质量评价值。

本发明的效果可通过以下仿真实验进行说明：

用步骤5中已训练好的面向层级语义衰减的网络模型，与其他已有的无参考图像质量评价方法作比较，具体方法是，在步骤2中的每个可见光图像质量评价的数据库TID2013，LIVE，LIVE-MD，LIVE-CH，CSIQ上进行测试，比较本发明的其他已有的无参考图像质量评价方法的指标SROCC，其中，其他已有的无参考图像质量评价方法有BLIINDS-II、DIIVINE、BRISQUE、NIQE、CORNIA、HOSA、ILNIQE、FRIQUEE、MEON、DIQaM、PQR、VIDGIQV、BIECON、BPSQM，比较结果如表1：

表1：本发明与其他无参考质量评价方法对比结果

	LIVE	CSIQ	TID2013	LIVE MD	LIVE CH
						BLIINDS-II	0.919	0.570	0.536	0.827	0.405
DIIVINE	0.925	0.784	0.654	0.874	0.546
						BRISQUE	0.939	0.750	0.573	0.897	0.607
NIQE	0.915	0.630	0.299	0.745	0.430
						CORNIA	0.942	0.714	0.549	0.900	0.618
HOSA	0.948	0.781	0.688	0.902	0.660
						ILNIQE	0.902	0.807	0.519	0.878	0.430
FRIQUEE	0.948	0.839	0.669	0.925	0.720
						MEON	-	-	0.808	-	-
DIQaM	0.960	-	0.835	-	0.606
						PQR	0.965	0.873	0.740	-	-
VIDGIQA	0.969	-	-	-	-
						BIECON	0.958	0.815	0.717	0.909	0.595
BPSQM	0.973	0.874	0.862	-	-
						本发明	0.985	0.917	0.909	0.917	0.716

从表1可以看出，本发明设计的面向层级语义衰减的网络模型在对TID2013、LIVEMD、LIVE CH、LIVE、CSIQ数据库的评价准确度优于其他无参考图像质量评价算法。

综上，本发明中提出的面向层级语义衰减的无参考图像质量评价方法，使用图像层级语义衰减度量图像质量衰减有效地提高了图像质量评价的准确度。

以上描述仅是本发明的一个具体实例，不构成对本发明的任何限制，显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修改和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (8)

1.一种面向层级语义衰减的无参考图像质量评价方法，其特征在于，包括如下：

(1)构建图像质量衰减的评价指标，即从图像的层级语义出发，用局部细节语义、区域轮廓语义、整体概念语义的衰减作为图像质量衰减的评价指标；

(2)在可见光图像质量评价数据库中随机选择80％的污染图像作为训练数据集，20％的污染图像作为测试数据集；

(3)对训练集图像与测试集图像依次进行去均值和裁剪的预处理，得到预处理后训练数据集与测试数据集；

(4)依据图像质量衰减的评价指标，设计一个面向层级语义衰减的端到端优化网络模型:

(4a)设计层级语义特征提取网络，其包括局部细节语义特征提取子网络、区域轮廓语义特征提取子网络、整体概念语义特征提取子网络，用于提取层级语义特征；

(4b)设计层级语义特征融合网络，其包括语义特征融合子网络、回归子网络，该语义特征融合子网络用于对(4a)中提取的层级语义特征按不同权重进行融合，该回归子网络用于将语义特征融合子网络融合后的特征进行回归，得到图像质量的预测值；

(5)训练面向层级语义衰减的网络模型:

(5a)选取损失函数和神经网络优化算法；

(5b)利用预处理后的训练数据集、测试数据集及选取的损失函数和神经网络优化算法，对(4a)中三种层级语义特征提取子网络分别单独预训练；

(5c)将已预训练好的三种层级语义特征提取子网络的输出作为(4b)中层级语义特征融合网络的输入，训练层级语义特征融合网络，最终得到面向层级语义衰减的网络模型；

(6)对待评测图像进行(3)的预处理之后，输入到已训练好的面向层级语义衰减的网络模型中，获得待测图像的质量评价值。

2.根据权利要求1所述的方法，其中(3)对训练集图像和测试集图像进行去均值和裁剪的预处理，其实现如下：

(3a)计算出训练集图像的像素均值；

(3b)分别用训练集图像的像素值和测试集图像的像素值减去(3a)得到的均值，得到去均值后的训练集图像和测试集图像；

(3c)将去均值后的训练集图像和测试集图像中每幅图像均裁剪为300*300*3的大小。

3.根据权利要求1所述的方法，其中(4a)中的局部细节语义特征提取子网络，其结构依次为8个特征提取卷积层、4个池化层、1个特征反卷积层和5个下采样卷积层

每个特征提取卷积层的卷积核大小为3*3，步长为1*1，

每个池化层卷积核大小为2*2，步长为2*2，

每个特征反卷积层的卷积核大小16*16，步长为16*16，

每个下采样卷积层的卷积核大小为3*3，步长为2*2。

4.根据权利要求1所述的方法，其中(4a)中的区域轮廓语义特征提取子网络，其结构依次为10个特征提取卷积层、5个池化层、4个特征反卷积层和5个下采样卷积层；

每个特征提取卷积层的卷积核大小为3*3，步长为1*1，

每个池化层卷积核大小为2*2，步长为2*2，

每个特征反卷积的卷积核大小为3*3，步长为2*2，

每个下采样卷积层的卷积核大小为3*3，步长为2*2。

5.根据权利要求1所述的方法，其中(4a)中的整体概念语义特征提取子网络，其结构依次为13个特征提取卷积层和5个池化层；

每个特征提取卷积层的卷积核大小为3*3，步长为1*1，

每个池化层卷积核大小为2*2，步长为2*2。

6.根据权利要求1所述的方法，其中(4b)中的语义特征融合子网络，其有3个特征融合权重w1、w2、w3，其中w1是局部细节语义特征的融合权重，w2是区域轮廓语义特征的融合权重，w3是整体概念语义特征的融合权重。

7.根据权利要求1所述的方法，其中(4b)中的回归子网络，其结构依次为1个最大池化层和2个全连接层，

最大池化层的卷积核大小为10*10，步长为10*10，

第一个全连接层维度为100，第二个全连接层维度为1。

8.根据权利要求1所述的方法，其中(5a)中选取的损失函数和优化算法如下：

选取的损失函数是Huber Loss函数，表达式如下：

其中δ表示超参数，q表示预测质量分数，是图像真实质量值；

选取的神经网络优化算法为Adam算法。