CN109740667B - 一种基于质量排序网络和语义分类的图像质量评价方法 - Google Patents

Abstract

本发明公开了一种基于质量排序网络和语义分类的图像质量评价方法，本方法通过构造排序图像对，训练一个深度质量排序网络得到一组图像的质量排序，为了对排序结果进行修正，本发明通过对失真图像进行语义分类，在每一语义内进行质量重排序，用这一组排序结果替换所有图像排序中对应的排序，从而得到一组更高精度的排序结果，完成质量评价任务。本发明使用的深度质量排序网络，输入为两张失真图像，输出为两张图像质量的比较结果，通过这一模型，可以对一组图像进行质量排序。本发明对失真图像进行语义分类，是为了使深度排序网络对两张图像的质量判断更为准确，从而得到更精确的质量排序结果。

Description

一种基于质量排序网络和语义分类的图像质量评价方法

技术领域

本发涉及一种基于质量排序网络和语义分类的图像质量评价方法，属于数字图像处理技术领域。

背景技术

图像作为视觉信息的来源,蕴含了大量的有价值信息。图像质量的好坏直接影响到人们的主观感受和信息量获取,图像质量评价(Image quality assessment,IQA)的研究也在近20年受到广泛的重视。

图像质量评价可以分为主观评价方法和客观评价方法。主观评价由观察者对图像质量进行主观评分,但主观评价工作量大、耗时长,不方便；客观评价方法是由计算机根据一定算法计算得到图像的质量指标,根据评价时是否需要参考图像又可以分为全参考(Full reference,FR)、半参考(部分参考)(Reduced reference,RR)和无参考(Noreference,NR)等三类评价方法:

(1)全参考图像质量评价方法。FR算法是指在给定理想图像作为参考图像的标准下，比较待评价图像与参考图像之间的差异，分析待评价图像的失真程度，从而得到待评价图像的质量评估。常见的FR方法的有：基于图像像素统计基础的图像质量评价(主要有峰值信噪比和均方误差)、基于信息论基础的图像质量评价(主要有信息保真度准则和视觉信息保真度)、基于结构信息基础的图像质量评价(主要为结构相似度)。FR算法是目前为止在客观图像评价中最可靠的方法。

(2)半参考图像质量评价方法。RR算法是以提取参考图像的部分特征信息作为参考，对待评测图像进行比较分析，从而得到图像的质量评估。常见的RR算法主要为：基于原始图像特征方法、基于数字水印方法和基于Wavelet域统计模型的方法。

(3)无参考图像质量评价方法。NR算法是指没有理想图像下，对待评测图像进行质量评估的方法。常用的NR算法主要为：基于块压缩的方法、基于深度学习的方法(CNN、BIECON等)。

针对图像在获取、处理、传输和记录的过程中，由于成像系统、处理方法、传输介质和记录设备等不完善，加之物体运动、噪声干扰等原因所造成的图像失真和图像降质的问题，往往要对一组失真图像的质量进行衡量，由失真图像直接得到图像的质量衡量而不使用失真图像的参考图像，称为无参考图像质量客观评价。

发明内容

针对现有图像质量评价中无参考图像质量评价性能差的问题，本发明提出了一种无参考质量客观评价方法，首先使用图像质量排序模型对一组自然失真图像进行质量排序，再将这组失真图像进行人工语义分类，使用图像质量排序模型对每一语义类别进行质量排序，最后使用每一语义类别的质量排序替换对应图像在总体排序中的位置，最终得到修正过的失真质量排序，完成质量评价过程。

本发明采用的技术方案为一种基于质量排序网络和语义分类的图像质量评价方法，包括以下步骤：

步骤1，在质量评价数据库内生成排序图像对。

在一个失真图像数据库内，选取所有主观评价分数大于定值(一般设为20)的两张图像，组成排序图像对训练库，每一个排序图像对的标签为两张图像对应的质量分数，和两张图像质量分数的比较结果(0表示小于，1表示大于)。

步骤2，训练针对数据库内图像的深度质量排序网络。

由生成的训练集内的排序图像对，训练一个深度质量排序网络，网络的输入为排序图像对，输出和标签为两张图像的质量比较结果。训练深度质量排序网络的步骤如下：

步骤2.1，搭建深度质量排序预训练网络，其输入为排序图像对，由于首先进行预训练，其输出为两张图像的质量分数；

步骤2.2，使用排序图像对和质量分数标签预训练深度质量预训练网络；

步骤2.3，将质量排序预训练网络的输出改为质量分数比较结果(0或1)，保留网络参数，得到深度质量排序网络；

步骤2.4，使用排序图像对和质量分数比较结果训练深度质量排序网络，得到深度质量排序模型。

步骤3，得到所有待测试图像的质量排序。

通过训练好的深度质量排序模型，可以对所有待测试图像进行排序，得到一组排序结果，完成初步的质量评价。

步骤3.1，给出一组测试图像，依次使用深度排序模型进行两两比较，使用插入排序的方法即可以得到一组质量排序；

步骤3.2，按照这组排序计算图像质量指标SROCC，完成初步的质量评价。

步骤4，对质量评价数据库的图像进行语义分类。

按照植物、风景、人物、雕塑、道路、夜晚、场景、动物、食物这9个类别，将质量评价数据库的图像分类。

步骤5，按照语义类别进行质量排序。

在每一个类别内，训练深度质量排序模型，得到每一语义类别内的质量排序。

步骤5.1，在每一个语义类别内，生成排序图像对；

步骤5.2，使用步骤2.2训练好的质量预训练网络，再对每一个语义类别训练针对每一类的质量排序网络，得到针对每一类的质量排序模型；

步骤5.3，由每一类的质量排序模型得到每一类测试集的质量排序，这些每一类的测试图像构成了总体的测试集。

步骤6，由语义分类排序提高测试集总体排序精度。

由步骤5.3得到的每一类排序，对步骤3.1得到的测试集总体排序进行修改，得到一个更为精确的测试集总体排序，完成本方法的质量评价。

步骤6.1，对于每一个语义类别，使用步骤5.3得到的单类排序替换步骤3.1总体排序中的这一组图像，得到一个新的排序；

步骤6.2，这一新排序就是最后的质量评价结果，计算其SRCC。

与现有技术相比，本发明具有以下优点：

(1)在现有的技术方法里，往往将质量评价的问题简单转化为回归质量分数的问题，而随着自然失真数据库的规模更大、内容更复杂，这样一种对单个图像回归分数的方法往往由于泛化性不足的问题而变得不适用。对于人眼来讲，更易于区分两张图像的失真强弱，本发明使用图像比较的方法，利用数学模型来模拟人眼的判断能力，对两幅失真图像的失真强弱进行判断，进而得到大规模图像的失真程度排序，可以增强质量评价模型感知失真的能力以及对于大规模图像数据库的泛化能力，可以更科学的进行质量评价任务。

(2)在自然失真图像中，图像内容和失真类型都变的更加复杂，人眼在比较两幅图像的失真强弱时，如果这两幅图像拥有相同的语义信息如都是拍摄动物的照片，那么对比这样的两张失真图像的失真强弱将更加容易。本发明将数据库内的失真图像按照语义信息分类，在每一个语义分类内进行质量排序(通过两张图的质量比较)，那么得到的这样一个按照语义类别划分的子集的排序的可信度要高于这一个语义子集在所有图像按比较方法得到的排序。

附图说明

图1为本发明具体实施方式的流程图；

图2为本发明深度质量排序网络结构图；

具体实施方式

以下结合附图和实施例对本方法进行详细说明。

实施方式。

实施方式的流程图如图1所示，包括以下步骤：

步骤S10，生成所有训练图像的排序图像对；

步骤S20，训练针对所有图像的深度质量排序网络；

步骤S30，对所有测试集图像进行质量排序；

步骤S40，对所有图像进行语义分类；

步骤S50，按照语义类别进行质量排序；

步骤S60，使用语义类别排序提高所有测试集的排序。

实施方式的训练针对所有图像的深度质量排序网络调整步骤S20还包括以下步骤：

步骤S200，搭建并训练深度质量排序预训练网络，其输入为排序图像对，其输出为两张图像的质量分数；

步骤S210，将质量排序预训练网络的输出改为质量分数比较结果，保留网络参数，得到深度质量排序网络；

步骤S220，使用排序图像对和质量分数比较结果训练深度质量排序网络，得到深度质量排序模型。

实施方式的对所有测试集图像进行质量排序调整步骤S30还包括以下步骤：

步骤S300，对于一组测试图像，依次使用深度排序模型进行两两比较，使用插入排序的方法即可以得到一组质量排序；

步骤S310，按照这组排序计算图像质量指标SRCC，完成初步的质量评价。

实施方式的按照语义类别进行质量排序调整步骤S50还包括以下步骤：

步骤S500，在每一个语义类别内，生成排序图像对；

步骤S510，使用步骤S200训练好的质量预训练网络，再对每一个语义类别训练针对每一类的质量排序网络，得到针对每一类的质量排序模型；

步骤S520，由每一类的质量排序模型得到每一类测试集的质量排序。

实施方式的使用语义类别排序提高所有测试集的排序调整步骤S60还包括以下步骤：

步骤S600，对于每一个语义类别，使用步骤S520得到的单类排序替换步骤S300总体排序中的这一组图像，得到一个新的排序；

步骤S610，这一新排序就是最后的质量评价结果，计算其SROCC。

下面给出应用本发明的实验结果。

表1展示了使用本发明在Live Challenge数据库上进行语义分类的分类结果，共将数据库分成了9个类别。

表1本发明对Live Challenge数据库语义分类的结果

类别	植物	风景	人物	雕塑	道路	夜晚	场景	动物	食物
										数量	142	197	185	50	67	186	198	98	37

表2展示了使用本发明在Live Challenge数据库上对测试集的排序精度和使用语义分类排序修正后的排序精度，可见，使用语义分类后的排序对于总体排序的精度有很大的提高。

表2本发明对Live Challenge数据库测试结果

排序结果	总体排序	总体修正排序
			SRCC	0.788	0.816

Claims (3)

1.一种基于质量排序网络和语义分类的图像质量评价方法，其特征在于：该方法包括以下步骤，

步骤1，在质量评价数据库内生成排序图像对；

在一个失真图像数据库内，选取所有主观评价分数大于定值的两张图像，定值设为20；组成排序图像对训练库，每一个排序图像对的标签为两张图像对应的质量分数，和两张图像质量分数的比较结果，0表示小于，1表示大于；

步骤2，训练针对数据库内图像的深度质量排序网络；

由生成的训练集内排序图像对，训练一个深度质量排序网络，网络的输入为排序图像对，输出和标签为两张图像的质量比较结果；

训练针对数据库内图像的深度质量排序网络的步骤如下，

步骤2.1，搭建深度质量排序预训练网络，其输入为排序图像对，由于首先进行预训练，其输出为两张图像的质量分数；

步骤2.2，使用排序图像对和质量分数标签预训练深度质量预训练网络；

步骤2.3，将质量排序预训练网络的输出改为质量分数比较结果0或1，保留网络参数，得到深度质量排序网络；

步骤2.4，使用排序图像对和质量分数比较结果训练深度质量排序网络，得到深度质量排序模型；

步骤3，得到所有待测试图像的质量排序；

通过训练好的深度质量排序模型，对所有待测试图像进行排序，得到一组排序结果，完成初步的质量评价；

步骤4，对质量评价数据库的图像进行语义分类；

按照9个语义类别：植物、风景、人物、雕塑、道路、夜晚、场景、动物、食物，将质量评价数据库的图像分类；

步骤5，按照语义类别进行质量排序；

在每一个类别内，训练步骤2.2中的训练好的质量预训练网络，得到每一语义类别内的质量排序；

步骤6，由语义分类排序提高测试集总体排序精度；

由步骤5得到的每一类排序，对步骤3得到的测试集总体排序进行修改，得到一个测试集总体排序，完成本方法的质量评价。

2.根据权利要求1所述的一种基于质量排序网络和语义分类的图像质量评价方法，其特征在于：按照语义类别进行质量排序的步骤如下，

步骤5.1，在每一个语义类别内，生成排序图像对；

步骤5.2，使用步骤2.2训练好的质量预训练网络，再对每一个语义类别训练针对每一类的质量排序网络，得到针对每一类的质量排序模型；

步骤5.3，由每一类的质量排序网络得到每一类测试集的质量排序，这些每一类的测试图像构成了总体的测试集。

3.根据权利要求1所述的一种基于质量排序网络和语义分类的图像质量评价方法，其特征在于：由语义分类排序提高测试集总体排序精度的步骤如下：

步骤6.1，对于每一个语义类别，使用单类排序替换步骤3总体排序中的这一组图像，得到一个新的排序；

步骤6.2，这一新排序就是最后的质量评价结果，计算其SROCC。

Images