CN116129208A - 图像质量评估及其模型训练方法、装置及电子设备 - Google Patents

Abstract

本申请公开了一种图像质量评估及其模型训练方法、装置及电子设备，涉及数据处理技术领域，以解决现有图像质量评估不够准确的问题。该方法包括：获取训练图像集；从训练图像集中选取第一图像对，将第一图像对输入图像质量评估模型，通过图像质量评估模型中的特征提取网络获得第一图像特征和第二图像特征；对比第一图像特征与第二图像特征，获得第三图像特征；融合第一图像特征、第二图像特征和第三图像特征，并基于融合后的图像特征，确定对第一图像对的质量评估结果；基于质量评估结果和标注的第一图像对的质量参数，确定第一损失函数值，并基于第一损失函数值，训练特征提取网络。本申请实施例能够保证基于该模型的图像质量评估结果较为准确。

Description

图像质量评估及其模型训练方法、装置及电子设备

技术领域

本申请涉及数据处理技术领域，尤其涉及一种图像质量评估及其模型训练方法、装置及电子设备。

背景技术

图像质量评估(Image Quality Assessment，IQA)方法按照原始参考图像提供信息的多少一般可分为三类，即全参考IQA(Full Reference-IQA，FR-IQA)、半参考IQA(Reduced Reference-IQA，RR-IQA)和无参考IQA(No Reference-IQA，NR-IQA)。其中，NR-IQA只有失真图像，难度较高，是IQA中最有挑战也最有实用价值的一种方法。

随着深度学习技术的兴起，利用深度学习来解决图像质量评估的方法(即DeepIQA)得到广泛研究，目前，基于DeepIQA的图像质量排序方案的实现流程大致为：采用平均主观得分(Mean Opinion Score，MOS)的方式进行数据标注工作，即多人对同一张图片进行打分，然后取平均分；利用深度学习中的特征提取网络(通常为卷积神经网络(Convolutional Neural Networks，CNN))进行图像特征提取；利用图像质量分数的回归网络对提取的图像特征进行图像质量得分回归，根据质量得分对图片集进行排序。

然而，基于DeepIQA的实现方案中，特征提取网络往往只能获取单一图像的质量特征，并且是单一的回归图像质量分数，从而导致图像质量评估结果不够准确，可靠性差。

发明内容

本申请实施例提供一种图像质量评估及其模型训练方法、装置及电子设备，以解决现有图像质量评估方式不够准确，可靠性差的问题。

第一方面，本申请实施例提供了一种图像质量评估模型训练方法，包括：

获取标注有质量参数的训练图像集；

从所述训练图像集中选取第一图像对，并将所述第一图像对输入图像质量评估模型，通过所述图像质量评估模型中的特征提取网络获得第一图像特征和第二图像特征，其中，所述第一图像对包括第一图像和第二图像，所述第一图像特征为所述第一图像的图像特征，所述第二图像特征为所述第二图像的图像特征；

对比所述第一图像特征与所述第二图像特征，获得第三图像特征；

融合所述第一图像特征、所述第二图像特征和所述第三图像特征，并基于融合后的图像特征，确定对所述第一图像对的质量评估结果；

基于所述质量评估结果和标注的所述第一图像对的质量参数，确定第一损失函数值，并基于所述第一损失函数值，训练所述图像质量评估模型中的特征提取网络，以得到用于评估图像质量的目标图像质量评估模型。

可选地，所述质量参数包括质量比对参数；所述训练图像集包括多张图像，且所述多张图像中每两张图像为一个图像对，各图像对标注有质量比对参数。

可选地，所述将所述第一图像对输入图像质量评估模型，包括：

在所述第一图像对中存在尺寸小于所述特征提取网络的最小允许输入尺寸的第三图像情况下，参照所述最小允许输入尺寸，对所述第三图像进行尺寸补全，其中，所述第三图像为所述第一图像和/或所述第二图像，且尺寸补全后的所述第三图像未被缩放；

将经过尺寸补全处理后的所述第一图像对输入所述图像质量评估模型。

可选地，所述第三图像特征包括第四图像特征和第五图像特征；

所述第四图像特征为所述第一图像特征与所述第二图像特征的差值特征，所述第五图像特征为所述第二图像特征与所述第一图像特征的差值特征。

可选地，所述训练图像集中的图像对还标注有相似性参数；

所述获得第一图像特征和第二图像特征之后，所述方法还包括：

基于所述第一图像特征和所述第二图像特征，确定对所述第一图像对的相似比较结果；

基于所述相似比较结果和标注的所述第一图像对的相似性参数，确定第二损失函数值；

所述基于所述第一损失函数值，训练所述图像质量评估模型中的特征提取网络，包括：

结合所述第一损失函数值和所述第二损失函数值，训练所述特征提取网络。

可选地，所述确定第二损失函数值之后，所述结合所述第一损失函数值和所述第二损失函数值，训练所述特征提取网络之前，所述方法还包括：

基于所述第二损失函数值，对所述特征提取网络进行相似性任务训练；

所述结合所述第一损失函数值和所述第二损失函数值，训练所述特征提取网络，包括：

结合所述第一损失函数值和所述第二损失函数值，对经过相似性任务训练后的所述特征提取网络进行质量对比任务训练。

可选地，所述质量参数包括质量得分；

所述获得第一图像特征和第二图像特征之后，所述方法还包括：

基于所述第一图像特征和所述第二图像特征，确定对所述第一图像对的质量评分结果；

基于所述质量评分结果和标注的所述第一图像对的质量得分，确定第三损失函数值；

所述结合所述第一损失函数值和所述第二损失函数值，对经过相似性任务训练后的所述特征提取网络进行质量对比任务训练之后，所述方法还包括：

结合所述第一损失函数值、所述第二损失函数值和所述第三损失函数值，对经过质量对比任务训练后的所述特征提取网络进行质量评分任务训练。

可选地，所述基于所述第一损失函数值，训练所述图像质量评估模型中的特征提取网络之后，所述方法还包括：

采用插入比对算法对所述图像质量评估模型进行训练，以得到用于对输入图像集进行质量排序的所述目标图像质量评估模型；

其中，所述采用插入比对算法对所述图像质量评估模型进行训练的过程如下：

从训练图像集中选取第二图像对，并将所述第二图像对输入所述图像质量评估模型，获取所述图像质量评估模型输出的对所述第二图像对的质量对比结果；

根据对所述第二图像对的质量对比结果，对所述第二图像对中的图像进行质量排序，得到已排序图像集；

从所述已排序图像集中选取基准图像，以及从所述训练图像集中选取待排序图像，得到由所述基准图像和所述待排序图像组成的第三图像对；

将所述第三图像对输入所述图像质量评估模型，获取所述图像质量评估模型输出的对所述第三图像对的质量对比结果；

基于所述对所述第三图像对的质量对比结果，确定所述待排序图像在所述已排序图像集中的排序位置，并按照所述排序位置将所述待排序图像加入所述已排序图像集中；

重复上述从所述已排序图像集中选取基准图像至按照所述排序位置将所述待排序图像加入所述已排序图像集中的步骤，直至对所述训练图像集中的图像进行质量排序完毕。

第二方面，本申请实施例还提供一种图像质量评估方法，包括：

获取待评估图像集；

将所述待评估图像集输入目标图像质量评估模型，获取所述目标图像质量评估模型输出的对所述待评估图像集的质量评估结果；

其中，所述目标图像质量评估模型是经第一方面所述的图像质量评估模型训练方法得到的。

第三方面，本申请实施例还提供一种图像质量评估模型训练装置，包括：

第一获取模块，用于获取标注有质量参数的训练图像集；

第一处理模块，用于从所述训练图像集中选取第一图像对，并将所述第一图像对输入图像质量评估模型，通过所述图像质量评估模型中的特征提取网络获得第一图像特征和第二图像特征，其中，所述第一图像对包括第一图像和第二图像，所述第一图像特征为所述第一图像的图像特征，所述第二图像特征为所述第二图像的图像特征；

对比模块，用于对比所述第一图像特征与所述第二图像特征，获得第三图像特征；

第二处理模块，用于融合所述第一图像特征、所述第二图像特征和所述第三图像特征，并基于融合后的图像特征，确定对所述第一图像对的质量评估结果；

第一训练模块，用于基于所述质量评估结果和标注的所述第一图像对的质量参数，确定第一损失函数值，并基于所述第一损失函数值，训练所述图像质量评估模型中的特征提取网络，以得到用于评估图像质量的目标图像质量评估模型。

可选地，所述质量参数包括质量比对参数；所述训练图像集包括多张图像，且所述多张图像中每两张图像为一个图像对，各图像对标注有质量比对参数。

可选地，所述第一处理模块包括：

处理单元，用于在所述第一图像对中存在尺寸小于所述特征提取网络的最小允许输入尺寸的第三图像情况下，参照所述最小允许输入尺寸，对所述第三图像进行尺寸补全，其中，所述第三图像为所述第一图像和/或所述第二图像，且尺寸补全后的所述第三图像未被缩放；

输入单元，用于将经过尺寸补全处理后的所述第一图像对输入所述图像质量评估模型。

可选地，所述第三图像特征包括第四图像特征和第五图像特征；

所述第四图像特征为所述第一图像特征与所述第二图像特征的差值特征，所述第五图像特征为所述第二图像特征与所述第一图像特征的差值特征。

可选地，所述训练图像集中的图像对还标注有相似性参数；

所述图像质量评估模型训练装置还包括：

第一确定模块，用于基于所述第一图像特征和所述第二图像特征，确定对所述第一图像对的相似比较结果；

第二确定模块，用于基于所述相似比较结果和标注的所述第一图像对的相似性参数，确定第二损失函数值；

所述第一训练模块用于结合所述第一损失函数值和所述第二损失函数值，训练所述特征提取网络。

可选地，所述图像质量评估模型训练装置还包括：

第二训练模块，用于基于所述第二损失函数值，对所述特征提取网络进行相似性任务训练；

所述第一训练模块用于结合所述第一损失函数值和所述第二损失函数值，对经过相似性任务训练后的所述特征提取网络进行质量对比任务训练。

可选地，所述质量参数包括质量得分；

所述图像质量评估模型训练装置还包括：

第三确定模块，用于基于所述第一图像特征和所述第二图像特征，确定对所述第一图像对的质量评分结果；

第四确定模块，用于基于所述质量评分结果和标注的所述第一图像对的质量得分，确定第三损失函数值；

所述图像质量评估模型训练装置还包括：

第三训练模块，用于结合所述第一损失函数值、所述第二损失函数值和所述第三损失函数值，对经过质量对比任务训练后的所述特征提取网络进行质量评分任务训练。

可选地，所述图像质量评估模型训练装置还包括：

第四训练模块，用于采用插入比对算法对所述图像质量评估模型进行训练，以得到用于对输入图像集进行质量排序的所述目标图像质量评估模型；

其中，所述采用插入比对算法对所述图像质量评估模型进行训练的过程如下：

从训练图像集中选取第二图像对，并将所述第二图像对输入所述图像质量评估模型，获取所述图像质量评估模型输出的对所述第二图像对的质量对比结果；

根据对所述第二图像对的质量对比结果，对所述第二图像对中的图像进行质量排序，得到已排序图像集；

从所述已排序图像集中选取基准图像，以及从所述训练图像集中选取待排序图像，得到由所述基准图像和所述待排序图像组成的第三图像对；

将所述第三图像对输入所述图像质量评估模型，获取所述图像质量评估模型输出的对所述第三图像对的质量对比结果；

基于所述对所述第三图像对的质量对比结果，确定所述待排序图像在所述已排序图像集中的排序位置，并按照所述排序位置将所述待排序图像加入所述已排序图像集中；

重复上述从所述已排序图像集中选取基准图像至按照所述排序位置将所述待排序图像加入所述已排序图像集中的步骤，直至对所述训练图像集中的图像进行质量排序完毕。

第四方面，本申请实施例还提供一种图像质量评估装置，包括：

第二获取模块，获取待评估图像集；

质量评估模块，用于将所述待评估图像集输入目标图像质量评估模型，获取所述目标图像质量评估模型输出的对所述待评估图像集的质量评估结果；

其中，所述目标图像质量评估模型是经第一方面所述的图像质量评估模型训练方法得到的。

第五方面，本申请实施例还提供一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的图像质量评估模型训练方法中的步骤；或者实现如第二方面所述的图像质量评估方法中的步骤。

第六方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的图像质量评估模型训练方法中的步骤；或者实现如第二方面所述的图像质量评估方法中的步骤。

在本申请实施例中，获取标注有质量参数的训练图像集；从所述训练图像集中选取第一图像对，并将所述第一图像对输入图像质量评估模型，通过所述图像质量评估模型中的特征提取网络获得第一图像特征和第二图像特征，其中，所述第一图像对包括第一图像和第二图像，所述第一图像特征为所述第一图像的图像特征，所述第二图像特征为所述第二图像的图像特征；对比所述第一图像特征与所述第二图像特征，获得第三图像特征；融合所述第一图像特征、所述第二图像特征和所述第三图像特征，并基于融合后的图像特征，确定对所述第一图像对的质量评估结果；基于所述质量评估结果和标注的所述第一图像对的质量参数，确定第一损失函数值，并基于所述第一损失函数值，训练所述图像质量评估模型中的特征提取网络，以得到用于评估图像质量的目标图像质量评估模型。这样，通过引入图像质量对比和融合多种图像特征的方式训练图像质量评估模型，能够保证训练得到的目标图像质量评估模型具备较高精度，进而保证基于该模型的图像质量评估结果具备较高准确性和可靠性。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的图像质量评估模型训练方法的流程图；

图2是本申请实施例提供的图像质量评估模型的结构框架图；

图3是本申请实施例提供的图像质量评估方法的流程图；

图4是本申请实施例提供的图像质量评估模型训练装置的结构图；

图5是本申请实施例提供的图像质量评估装置的结构图；

图6是本申请实施例提供的电子设备的结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

参见图1，图1是本申请实施例提供的图像质量评估模型训练方法的流程图，如图1所示，包括以下步骤：

步骤101、获取标注有质量参数的训练图像集。

本申请实施例中，为获得用于模型训练的训练图像集，可以预先获取大量图像集，并对图像集中的各图像分别标注质量参数，所述质量参数可以是如质量比对参数、质量得分、质量等级等参数，所述质量比对参数可以是对两张或更多张图像的质量进行对比所得到的参数，如用1表示一对图像中，图像1的质量高于图像2的质量，用0表示图像1的质量与图像2的质量相当，用-1表示图像1的质量低于图像2的质量。

这样，在准备训练图像质量评估模型时，可以获取上述预先标注好质量参数的图像集作为训练图像集，例如，用户可以将这些图像集输入模型训练装置中，模型训练装置则可以读取这些图像集，并利用该图像集开始训练模型。

可选地，所述质量参数包括质量比对参数；所述训练图像集包括多张图像，且所述多张图像中每两张图像为一个图像对，各图像对标注有质量比对参数。

即一种实施方式中，在数据标注阶段，可以采用质量比对的方式来对所述训练图像集中的图像对进行质量比对参数标注。

现有技术中，通常采用的是传统平均主观得分(Mean Opinion Score，MOS)标注方法，即多人对同一张图像进行质量打分，然后取平均分作为这张图像的质量得分，这种标注方法不仅效率很低，且人工和时间成本很大。

而本申请实施例中，提供了一种图像质量判定的新方法，从人的主观认为如果只给定单一图片，在图像质量的标准正态分布上，在中间段质量相近的图像人的大脑是很难判定出这张图像的质量得分，但是在给定两张图像的前提下，人的大脑是比较容易判断出哪张图像质量好些，本申请实施例正是基于这个思路，提出了可以在标记图像质量时，不采用传统的MOS标记方法，而采用比对的方式来标记图像质量。

即可以每次给定两张图像假定为A和B，让标记人员标记出A与B的关系，如果A比B质量好，则标记为1，A比B质量差，则标记为-1，A与B质量相当，则标记为0，这样可以大大提升数据标注的效率和准确性。

具体地，可以将所述训练图像集中的各图像进行随机排序，然后取每相邻两张图像组成一个图像对，再分别对各图像对进行质量比对，并基于质量比对结果，对各图像对标注相应的质量比对参数，所述质量比对参数可以采用1、0和-1这三个参数，分别表示图像对中图像1(如前一张图像)的质量高于、等于和小于图像2(如后一张图像)的质量。

例如，假设有10万张图像，对10万张图像进行随机排序后，取相邻图像对进行质量关系排序，标记的次数为5万次，且标记准确率高，与传统的标记方式中，采用5个人来做MOS标记(需要50万次)相比，本申请实施例中的数据标注方式只需要传统MOS标注方式的1/10的工作量。

因此，采用该实施方式中的数据标注方式，可相比现有MOS标注方式极大提升数据标注的效率和准确率，减少人工成本。

步骤102、从所述训练图像集中选取第一图像对，并将所述第一图像对输入图像质量评估模型，通过所述图像质量评估模型中的特征提取网络获得第一图像特征和第二图像特征，其中，所述第一图像对包括第一图像和第二图像，所述第一图像特征为所述第一图像的图像特征，所述第二图像特征为所述第二图像的图像特征。

本申请实施例中，每次训练时，可以从所述训练图像集中选取一个图像对，具体可以是从所述训练图像集中随机选取两张图像组成一个图像对，也可以是预先对所述训练图像集中的图像划分了图像对，从而可以从所述训练图像集中的多个图像对中随机或按序选择一个图像对，被选择的图像对即为第一图像对。

然后可将所述第一图像对作为输入数据，输入待训练的图像质量评估模型中，以对所述第一图像对进行特征提取、比对和融合，最终输出对所述第一图像对的质量评估结果。

其中，所述图像质量评估模型可以是根据需求预先构建的模型，且构建的所述图像质量评估模型中包括特征提取网络，用于对输入图像对进行图像特征提取，所述图像质量评估模型中的其他模块则基于所述特征提取网络输出的图像特征进行图像质量评估。而图像质量评估的结果的准确性非常依赖于所述特征提取网络提取的图像特征，因此，本申请实施例中，主要需要基于图像质量评估结果对所述特征提取网络的参数进行训练，以限制和引导所述特征提取网络能够提取图像质量相关特征，进而保证对图像质量的准确评估。

故该步骤102中，在将所述第一图像对输入所述图像质量评估模型后，可先通过所述图像质量评估模型中的特征提取网络对所述第一图像对进行特征提取，获得所述第一图像对中两张图像的图像特征，即第一图像的第一图像特征和第二图像的第二图像特征。所述特征提取网络可以是如卷积神经网络(Convolutional Neural Networks，CNN)，循环神经网络(Recurrent Neural Network，RNN)网络等。

需说明的是，本申请实施例中，为实现同时对参与对比的两张图像同时进行特征提取，可以引入孪生网络(Saimese-Net)即两个一样的特征提取网络作为训练网络，以共享特征提取网络的网络结构。

可选地，所述将所述第一图像对输入图像质量评估模型，包括：

在所述第一图像对中存在尺寸小于所述特征提取网络的最小允许输入尺寸的第三图像情况下，参照所述最小允许输入尺寸，对所述第三图像进行尺寸补全，其中，所述第三图像为所述第一图像和/或所述第二图像，且尺寸补全后的所述第三图像未被缩放；

将经过尺寸补全处理后的所述第一图像对输入所述图像质量评估模型。

即一种实施方式中，待训练的所述图像质量评估模型可不对输入图像的尺寸进行明确限制，即可以支持对多种尺寸的图像进行处理，且在输入图像尺寸过大或过小时，都不会对输入图像进行缩放处理，从而不会影响图像特征提取，进而不会影响图像质量判断。

具体地，该本申请实施例中的数据预处理方式，不同于传统图像质量评估方法如DeepIQA中的方式，传统的处理方式是对一张图像进行固定大小(一般是32×32像素)的随机剪裁，再作为模型的训练输入，这种剪裁方式在处理分辨率低的小图时是无能为力的。而本申请实施例中，对于这种小图，即对于所述第一图像对中尺寸小于所述特征提取网络的最小允许输入尺寸的图像，可以对该图像进行尺寸补全处理，如可将该图像的尺寸补全至所述最小允许输入尺寸，而不是对该图像进行拉伸放大处理，最终将尺寸处理后的图像作为训练数据输入所述图像质量评估模型中。

其中，所述尺寸补全处理可以是对图像进行像素值补0操作，即对图像不缩放的边缘进行涂黑操作，直至图像尺寸与所述最小允许输入尺寸一致，这样，图像中像素值为0的部分不会影响后续提取的图像特征。

另外，需说明的是，在特征提取网络层中，传统的方式对于输入数据必须固定大小，而本申请实施例中的方案在于解决不同尺度图像无压缩、无缩放的特征提取，在于最大限度的保持图像本身的特征，采用的方式是不对输入图像对的尺寸作具体限制，对于输入的图像对，两张图像的尺寸可以允许是不同的，例如，假设输入的两张图像的尺寸分别为96×96和78×78，经过几层特征提取和若干次池化后，尺寸变为6×6和5×5。

而在传统CNN网络中，参与对比的两张图像必须尺度一直才能进行后续的特征融合以及连接分类或者回归网络，因此，为了最终得到相同尺度的图像特征，本申请实施例中的特征提取网络，可以采用特征均值的方法，对不同维度的图像取特征均值以降维到1维尺度，然后再通过12通道的滤波器(filter)，进行1×1卷积升维，目的是在暴力取特征均值后进行升维，来维持特征在多维空间对可塑性。

这样，由于该实施方式中不对图像尺寸进行限制，且不对图像进行缩放处理，从而不仅可保证对输入图像的灵活性，且可确保图像特征提取过程中，不会丢失原图信息，进而不会影响图像评估质量，可保证最终的图像质量评估的准确性。

步骤103、对比所述第一图像特征与所述第二图像特征，获得第三图像特征。

本申请实施例中，为解决传统特征融合方式中只对各图像特征做了简单拼接，导致无法关联到其他图像的质量信息，进而影响最终图像质量评估的准确性的问题，提出了引入相互比对的特征关系，来实现多特征融合，以确保图像质量评估的准确性。

具体地，在获得所述第一图像特征与所述第二图像特征后，可以对比所述第一图像特征与所述第二图像特征，来进一步获得第三图像特征，例如，所述第三图像特征可以包括所述第一图像特征与所述第二图像特征之间的差异特征和/或相似特征。也就是说，通过所述第三图像特征，可以反映出所述第一图像与所述第二图像之间的差异或相似性。

可选地，所述第三图像特征包括第四图像特征和第五图像特征；

所述第四图像特征为所述第一图像特征与所述第二图像特征的差值特征，所述第五图像特征为所述第二图像特征与所述第一图像特征的差值特征。

即一种具体的实施方式中，可通过将所述第一图像特征与所述第二图像特征作差，来获得所述第一图像特征与所述第二图像特征的差值特征，即第四图像特征，将所述第二图像特征与所述第一图像特征作差，来获得所述第二图像特征与所述第一图像特征的差值特征，即第五图像特征。进而后续步骤104中，可以融合更多的差异特征，来对所述第一图像对进行更为准确可信的质量评估。

这样，该实施方式中，通过确定所述第一图像特征与所述第二图像特征的差值特征，及所述第二图像特征与所述第一图像特征的差值特征，可保证融合更多图像特征用于全面评估图像质量，能够解决确信图像对第一图像的图像质量比第二图像的好，也确信第二图像的图像质量比第一图像的差的问题，即可保证最终图像质量评估结果的准确可靠性。

步骤104、融合所述第一图像特征、所述第二图像特征和所述第三图像特征，并基于融合后的图像特征，确定对所述第一图像对的质量评估结果。

该步骤中，可以对所述第一图像特征、所述第二图像特征和所述第三图像特征进行融合，例如，可以将所述第一图像特征、所述第二图像特征和所述第三图像特征进行特征拼接，得到全局的图像特征。并可基于融合后的图像特征，对所述第一图像对进行质量评估，具体可以是评估所述第一图像对中所述第一图像与所述第二图像的质量关系，如评估哪个图像的质量更高，或者，也可以是对所述第一图像与所述第二图像进行评分，以确定哪个图像的质量更佳，从而可以得到对所述第一图像对的质量评估结果。其中，所述图像质量评估模型可对于不同的融合图像特征，通过一定机制对应拟合得到不同的质量评估结果。

步骤105、基于所述质量评估结果和标注的所述第一图像对的质量参数，确定第一损失函数值，并基于所述第一损失函数值，训练所述图像质量评估模型中的特征提取网络，以得到用于评估图像质量的目标图像质量评估模型。

在得到所述质量评估结果后，可以利用所述质量评估结果和预先对所述第一图像对标注的质量参数，并使用合适的损失函数来计算所述图像质量评估模型的输出的损失值，也即第一损失函数值，以评估所述图像质量评估模型的输出与真实标注值之间的误差。例如，可以采用均方误差损失函数(Mean Squared Error，MSE)来计算所述图像质量评估模型输出的质量评估结果的损失值。

这样，可基于所述第一损失函数值，训练所述图像质量评估模型中的特征提取网络，以训练所述特征提取网络能够从图像中提取得到准确的用于评估图像质量的有效特征，最终得到可用于评估图像质量的目标图像质量评估模型。

具体地，可以是以最小化所述图像质量评估模型的输出损失值，或者使所述输出损失值低于最大允许损失值为训练目标，对所述特征提取网络的参数进行优化调整，直至所述图像质量评估模型的输出趋于稳定，符合所述训练目标。

可选地，所述训练图像集中的图像对还标注有相似性参数；

所述步骤102之后，所述方法还包括：

基于所述第一图像特征和所述第二图像特征，确定对所述第一图像对的相似比较结果；

基于所述相似比较结果和标注的所述第一图像对的相似性参数，确定第二损失函数值；

所述基于所述第一损失函数值，训练所述图像质量评估模型中的特征提取网络，包括：

结合所述第一损失函数值和所述第二损失函数值，训练所述特征提取网络。

即一种实施方式中，还可以结合对所述第一图像对的相似性判断，对所述图像质量评估模型中的特征提取网络进行训练，以采用相似性比较策略来牵制所述特征提取网络的特征提取，以便训练所述图像质量评估模型在评估图像质量时还考虑图像间的相似性影响。

具体地，该实施方式中，还可预先对所述训练图像集中的图像对标注相似性参数，例如，不仅标注图像对中两张图像的质量参数，还标注这两张图像的相似性参数，如用参数1和0分别表示相似和不相似。

且可共享所述特征提取网络输出的所述第一图像特征和所述第二图像特征，基于所述第一图像特征和所述第二图像特征，对所述第一图像对进行相似性比较，具体可以通过比较两图像特征的相似程度来确定所述第一图像对中两张图像的相似性与否，从而得到对所述第一图像对的相似比较结果。

并可利用所述相似比较结果和预先对所述第一图像对标注的相似性参数，使用合适的损失函数来计算所述图像质量评估模型在进行相似性比较时的输出损失值，也即第二损失函数值，以评估所述图像质量评估模型的相似性输出结果与相似性参数标注值之间的误差。

具体地，可以采用对比损失函数(Contrastive Loss)来计算所述第二损失函数值，该损失函数主要是用于降维场景中，即本来相似的样本，在经过降维(特征提取)后，在特征空间中，两个样本仍旧相似，而原本不相似的样本，在经过降维后，在特征空间中，两个样本仍旧不相似。同样，该损失函数也可以很好的表达成对样本的匹配程度。

这样，该实施方式中，可结合所述第一损失函数值和所述第二损失函数值，来训练所述图像质量评估模型中的所述特征提取网络，以训练所述特征提取网络能够从图像中提取得到更为准确的用于评估图像质量的有效特征。其中，所述结合所述第一损失函数值和所述第二损失函数值，可以是采用所述第一损失函数值与所述第二损失函数值的和作为总的损失值，例如，所述第一损失函数值为LOSS1，所述第二损失函数值为LOSS2，则总的损失值LOSS＝LOSS1+LOSS2。

进一步地，所述确定第二损失函数值之后，所述结合所述第一损失函数值和所述第二损失函数值，训练所述特征提取网络之前，所述方法还包括：

基于所述第二损失函数值，对所述特征提取网络进行相似性任务训练；

所述结合所述第一损失函数值和所述第二损失函数值，训练所述特征提取网络，包括：

结合所述第一损失函数值和所述第二损失函数值，对经过相似性任务训练后的所述特征提取网络进行质量对比任务训练。

即一种实施方式中，可以采用多任务联合训练的方式来训练所述特征提取网络。

具体地，可以先基于相似性任务训练中的模型输出损失值即所述第二损失函数值LOSS2，对所述特征提取网络进行相似性任务训练，以训练所述特征提取网络能够有效提取用于评价图像间相似性的特征，也即可单独采用LOSS2作为损失函数，进行反向传播来训练所述特征提取网络。需说明的是，所述相似性任务训练中并不仅限于利用所述第一图像对作为输入时的模型输出损失值进行训练，而是可以不断地利用所述训练图像集中的图像对进行多次相似性任务的迭代训练，直至对所述特征提取网络的相似性任务训练完毕。

在对所述特征提取网络进行完相似性任务训练之后，可以再结合所述第一损失函数值LOSS1和所述第二损失函数值LOSS2，如利用所述第一损失函数值与所述第二损失函数值之和，对经过相似性任务训练后得到的所述特征提取网络进行质量对比任务训练，以训练所述特征提取网络能够有效提取用于评价图像间质量的特征，也即可采用LOSS1和LOSS2的和共同作为损失函数，进行反向传播来再次训练所述特征提取网络。

这样，通过这种多任务联合训练的策略可以有效牵制相似任务的特征提取，进而使所述特征提取网络趋于提取到期望的用于评估图像质量的特征，进而确保图像质量评估的准确性。

可选地，所述质量参数包括质量得分；

所述获得第一图像特征和第二图像特征之后，所述方法还包括：

基于所述第一图像特征和所述第二图像特征，确定对所述第一图像对的质量评分结果；

基于所述质量评分结果和标注的所述第一图像对的质量得分，确定第三损失函数值；

所述结合所述第一损失函数值和所述第二损失函数值，对经过相似性任务训练后的所述特征提取网络进行质量对比任务训练之后，所述方法还包括：

结合所述第一损失函数值、所述第二损失函数值和所述第三损失函数值，对经过质量对比任务训练后的所述特征提取网络进行质量评分任务训练。

一种实施方式中，还可以进一步引入质量评分训练任务，以训练所述图像质量评估模型还具备对图像进行具体评分的功能，即使得所述图像质量评估模型可对图像集进行质量对比排序及评分。

具体地，该实施方式中，可对所述训练图像集中的图像标注质量得分，例如，不仅标注图像对中两张图像的质量比对参数和相似性参数，还标注每张图像的质量得分，如基于100分的满分机制来对各图像进行打分。

且还可共享所述特征提取网络输出的所述第一图像特征和所述第二图像特征，基于所述第一图像特征和所述第二图像特征，对所述第一图像对进行质量评分，具体可以是基于各自图像特征对各图像进行打分，从而得到对所述第一图像对的质量评分结果，即包括所述第一图像的得分和所述第二图像的得分。

并可利用所述质量评分结果和预先对所述第一图像对中的图像标注的质量得分，使用合适的损失函数来计算所述图像质量评估模型在进行质量评分时的输出损失值，也即第三损失函数值，以评估所述图像质量评估模型的质量评分输出结果与质量得分标注值之间的误差。例如，可以采用MSE损失函数来计算所述第三损失函数值。

在对所述特征提取网络进行完上述质量对比任务训练之后，可以再结合所述第一损失函数值LOSS1、所述第二损失函数值LOSS2和所述第三损失函数值，如利用所述第一损失函数值、所述第二损失函数值与所述第三损失函数值之和，对经过质量对比任务训练后得到的所述特征提取网络再进行质量评分任务训练，以训练所述特征提取网络能够有效提取用于评价图像质量的特征，也即可采用LOSS1+LOSS2+LOSS3作为损失函数，进行反向传播来再次训练所述特征提取网络。

这样，该实施方式中，通过结合所述第一损失函数值、所述第二损失函数值和所述第二损失函数值，来训练所述图像质量评估模型中的所述特征提取网络，可以保证训练得到具备多任务的图像质量评估模型，即可支持对图像进行质量对比和评分，从而能够满足更多场景下的图像质量评估需求。

可选地，所述基于所述第一损失函数值，训练所述图像质量评估模型中的特征提取网络之后，所述方法还包括：

采用插入比对算法对所述图像质量评估模型进行训练，以得到用于对输入图像集进行质量排序的所述目标图像质量评估模型；

其中，所述采用插入比对算法对所述图像质量评估模型进行训练的过程如下：

从训练图像集中选取第二图像对，并将所述第二图像对输入所述图像质量评估模型，获取所述图像质量评估模型输出的对所述第二图像对的质量对比结果；

根据对所述第二图像对的质量对比结果，对所述第二图像对中的图像进行质量排序，得到已排序图像集；

从所述已排序图像集中选取基准图像，以及从所述训练图像集中选取待排序图像，得到由所述基准图像和所述待排序图像组成的第三图像对；

将所述第三图像对输入所述图像质量评估模型，获取所述图像质量评估模型输出的对所述第三图像对的质量对比结果；

基于所述对所述第三图像对的质量对比结果，确定所述待排序图像在所述已排序图像集中的排序位置，并按照所述排序位置将所述待排序图像加入所述已排序图像集中；

重复上述从所述已排序图像集中选取基准图像至按照所述排序位置将所述待排序图像加入所述已排序图像集中的步骤，直至对所述训练图像集中的图像进行质量排序完毕。

在对所述图像质量评估模型进行以上训练任务之后，一种实施方式中，还可以采用插入比对算法训练所述图像质量评估模型对输入图像集进行按质量关系排序，以训练得到实现图像质量排序功能的目标图像质量评估模型。

具体地，所述插入比对算法的计算过程大致为：

从训练图像集中随机选取图像对，被选择的图像对即为第二图像对，通过前面已训练得到的图像质量评估模型对该图像对进行质量对比，获得质量对比结果；根据该质量对比结果，对所述第二图像对中的图像进行质量排序，并放入已排序图像集；

从所述已排序图像集中选取基准图像，其中，通常为减少比对次数，可以是每次对新图像进行比对排序时，从所述已排序图像集中选取中位质量的图像也即排序位置靠中间的图像作为基准图像；

然后每次从所述训练图像集中选取一张待排序图像，得到由所述基准图像和当前待排序图像组成的第三图像对；再将所述第三图像对输入所述图像质量评估模型进行质量对比，获得对所述第三图像对的质量对比结果；

基于对所述第三图像对的质量对比结果，确定当前待排序图像在所述已排序图像集中的排序位置，并按照所述排序位置将当前待排序图像加入所述已排序图像集中。其中，需说明的是，有时并非一次对比便能确定当前待排序图像在所述已排序图像集中的位置，在这种情况下，需要再对当前待排序图像与所述基准图像的前后图像进行对比，直至能够确定当前待排序图像在所述已排序图像集中的位置，最后再按照确定的排序位置将当前待排序图像加入所述已排序图像集中。

对于剩余的未进行质量排序的图像，也可采用类似的方式重新选取基准图像，并与最新的基准图像进行对比，来确定图像排序位置，直至遍历完所有待排序图像。

以假定给定图像集(p1,p2,p3,…,p10)为例，可先对该图像集进行随机图像质量排序；依次输入p1和p2，得出质量比对关系，即可使用参数(1,0,-1)表示，对应(大于，相似，小于)的质量关系，根据比对结果按质量从高到低排序；再取前一步排好顺序的中间图片，与待进入排序的图像进行比对，然后依次重复这个过程，直至遍历过所有待排序图像；完成排序后，便可得到从高到低的图像质量排序列表。

这样，该实施方式中，通过采用插入比对算法训练所述图像质量评估模型，可保证训练得到能够用于对图像集进行质量排序的目标图像质量评估模型，满足实际应用场景中的图像质量排序需求。

下面结合图2所示的图像质量评估模型，来说明本申请实施例中的具体实施方式：

如图2所示，该图像质量评估模型可采用压缩和激励网络(Squeeze-and-Excitation Networks，SENet)中的残差网络(Residual Network，ResNet)，也即SENET-ResNet50作为特征提取网络。图像对经过SENET-ResNet50中的前几层(如Layer0、Layer1和Layer2)进行卷积处理，再经平均池化层(Avg_Pool)对不同维度的图像取特征均值，降维到1维尺度，得到512通道、1×1维的图像特征。再通过12通道的滤波器(filter)，进行1×1卷积升维，最终输出两个平均特征值，即mean-feature1和mean-feature2，简称f1和f2。

相似任务训练中，图像对相似对应输出结果为1，不相似对应输出结果为0，并且采用对比损失函数。

质量对比任务训练中，对f1、f2、f1-f2和f2-f1四个特征进行融合，再拟合对应到输出结果，其中图像1质量高于图像2质量对应输出结果为1，图像1质量等于图像2质量对应输出结果为0，图像2质量高于图像1质量对应输出结果为-1。该任务训练中，可以采用MSE损失函数。

质量评分任务训练中，可以采用全连接层FC将12维特征降维到1维，再基于图像1和图像2的1维特征，确定两张图像的质量评分输出，即Output1(1)和Output2(2)。该任务训练中，也可采用MSE损失函数。

另外，该图像质量评估模型采用3个策略训练，其中，策略1(Trick1)为输入图像对，采用原图大小，不缩放；策略2(Trick2)为采用(f1,f2,f1-f2,f2-f1)四个特征进行融合的方式；策略3(Trick3)为不同训练阶段采用不同损失LOSS叠加，具体为相似任务训练阶段，采用LOSS2，质量对比任务训练阶段，采用LOSS1+LOSS2，质量评分训练阶段，采用LOSS1+LOSS2+LOSS3。

本申请实施例的图像质量评估模型训练方法，获取标注有质量参数的训练图像集；从所述训练图像集中选取第一图像对，并将所述第一图像对输入图像质量评估模型，通过所述图像质量评估模型中的特征提取网络获得第一图像特征和第二图像特征，其中，所述第一图像对包括第一图像和第二图像，所述第一图像特征为所述第一图像的图像特征，所述第二图像特征为所述第二图像的图像特征；对比所述第一图像特征与所述第二图像特征，获得第三图像特征；融合所述第一图像特征、所述第二图像特征和所述第三图像特征，并基于融合后的图像特征，确定对所述第一图像对的质量评估结果；基于所述质量评估结果和标注的所述第一图像对的质量参数，确定第一损失函数值，并基于所述第一损失函数值，训练所述图像质量评估模型中的特征提取网络，以得到用于评估图像质量的目标图像质量评估模型。这样，通过引入图像质量对比和融合多种图像特征的方式训练图像质量评估模型，能够保证训练得到的目标图像质量评估模型具备较高精度，进而保证基于该模型的图像质量评估结果具备较高准确性和可靠性。

参见图3，图3是本申请实施例提供的图像质量评估方法的流程图，如图3所示，包括以下步骤：

步骤301、获取待评估图像集。

具体地，可根据实际需求，获取需要进行质量评估的图像集。例如，在一些实际应用场景中，如需要对人脸、交通标志或特定物体进行识别时，可以获取采集的多张图像作为待评估图像集，以从中挑选出质量最好的一张图像即头图进行识别，即上述待评估图像集可以是人脸图像集、交通标志图像集或者任何同一种类型的图像集。

步骤302、将所述待评估图像集输入目标图像质量评估模型，获取所述目标图像质量评估模型输出的对所述待评估图像集的质量评估结果；

其中，所述目标图像质量评估模型是经图1所示的图像质量评估模型训练方法得到的。

该步骤中，可利用图1所示方法实施例中训练得到的目标图像质量评估模型来对所述待评估图像集进行质量评估，即将所述待评估图像集输入所述目标图像质量评估模型中，再获取所述目标图像质量评估模型输出的对所述待评估图像集的质量评估结果即可。其中，在所述目标图像质量评估模型经过质量排序训练的情况下，所述质量评估结果为对所述待评估图像集的质量排序结果。

本申请实施例的图像质量评估方法，获取待评估图像集；将所述待评估图像集输入目标图像质量评估模型，获取所述目标图像质量评估模型输出的对所述待评估图像集的质量评估结果；其中，所述目标图像质量评估模型是经图1所示的图像质量评估模型训练方法得到的。这样，由于目标图像质量评估模型是通过引入图像质量对比和融合多种图像特征的方式训练得到的，具备较高精度，从而可保证基于该模型的图像质量评估结果具备较高准确性和可靠性。

本申请实施例相比现有技术，具有以下优点：

1)图像对的输入尺度无限制。现有深度学习技术方案在图像输入上必须是固定尺寸，这样有些图像就会缩放或者放大，会扭曲甚至变形，容易引起视觉上图像质量的判断；本申请实施例中，设计了可以尺度无关的图像对，输入至网络，能够最大程度上保持图像的所有特征。

2)采用给定图像对质量相比较的方法来设计网络模型，更接近人对图像质量的判断。因为给定一张图像很难精确给出质量得分，但是比较容易给出两张图像谁比谁好。

3)采用LOSS的叠加传递方式，可以把质量比对任务的LOSS值和相似任务的LOSS值，甚至质量评分任务的LOSS值相叠加，能够更加有针对性的指导特征提取网络提取有关图像质量的特征值。

4)多任务的联合训练方式，相比现有技术可以高效完成模型训练。

5)采用图像对比对的标注方式，相比现有技术节省约1/10的人力成本。

本申请实施例还提供了一种图像质量评估模型训练装置。参见图4，图4是本申请实施例提供的图像质量评估模型训练装置的结构图。由于图像质量评估模型训练装置解决问题的原理与本申请实施例中图像质量评估模型训练方法相似，因此该图像质量评估模型训练装置的实施可以参见方法的实施，重复之处不再赘述。

如图4所示，图像质量评估模型训练装置400包括：

第一获取模块401，用于获取标注有质量参数的训练图像集；

第一处理模块402，用于从所述训练图像集中选取第一图像对，并将所述第一图像对输入图像质量评估模型，通过所述图像质量评估模型中的特征提取网络获得第一图像特征和第二图像特征，其中，所述第一图像对包括第一图像和第二图像，所述第一图像特征为所述第一图像的图像特征，所述第二图像特征为所述第二图像的图像特征；

对比模块403，用于对比所述第一图像特征与所述第二图像特征，获得第三图像特征；

第二处理模块404，用于融合所述第一图像特征、所述第二图像特征和所述第三图像特征，并基于融合后的图像特征，确定对所述第一图像对的质量评估结果；

第一训练模块405，用于基于所述质量评估结果和标注的所述第一图像对的质量参数，确定第一损失函数值，并基于所述第一损失函数值，训练所述图像质量评估模型中的特征提取网络，以得到用于评估图像质量的目标图像质量评估模型。

可选地，所述质量参数包括质量比对参数；所述训练图像集包括多张图像，且所述多张图像中每两张图像为一个图像对，各图像对标注有质量比对参数。

可选地，第一处理模块402包括：

处理单元，用于在所述第一图像对中存在尺寸小于所述特征提取网络的最小允许输入尺寸的第三图像情况下，参照所述最小允许输入尺寸，对所述第三图像进行尺寸补全，其中，所述第三图像为所述第一图像和/或所述第二图像，且尺寸补全后的所述第三图像未被缩放；

输入单元，用于将经过尺寸补全处理后的所述第一图像对输入所述图像质量评估模型。

可选地，所述第三图像特征包括第四图像特征和第五图像特征；

所述第四图像特征为所述第一图像特征与所述第二图像特征的差值特征，所述第五图像特征为所述第二图像特征与所述第一图像特征的差值特征。

可选地，所述训练图像集中的图像对还标注有相似性参数；

图像质量评估模型训练装置400还包括：

第一确定模块，用于基于所述第一图像特征和所述第二图像特征，确定对所述第一图像对的相似比较结果；

第二确定模块，用于基于所述相似比较结果和标注的所述第一图像对的相似性参数，确定第二损失函数值；

第一训练模块405用于结合所述第一损失函数值和所述第二损失函数值，训练所述特征提取网络。

可选地，图像质量评估模型训练装置400还包括：

第二训练模块，用于基于所述第二损失函数值，对所述特征提取网络进行相似性任务训练；

第一训练模块405用于结合所述第一损失函数值和所述第二损失函数值，对经过相似性任务训练后的所述特征提取网络进行质量对比任务训练。

可选地，所述质量参数包括质量得分；

图像质量评估模型训练装置400还包括：

第三确定模块，用于基于所述第一图像特征和所述第二图像特征，确定对所述第一图像对的质量评分结果；

第四确定模块，用于基于所述质量评分结果和标注的所述第一图像对的质量得分，确定第三损失函数值；

图像质量评估模型训练装置400还包括：

第三训练模块，用于结合所述第一损失函数值、所述第二损失函数值和所述第三损失函数值，对经过质量对比任务训练后的所述特征提取网络进行质量评分任务训练。

可选地，图像质量评估模型训练装置400还包括：

第四训练模块，用于采用插入比对算法对所述图像质量评估模型进行训练，以得到用于对输入图像集进行质量排序的所述目标图像质量评估模型；

其中，所述采用插入比对算法对所述图像质量评估模型进行训练的过程如下：

从训练图像集中选取第二图像对，并将所述第二图像对输入所述图像质量评估模型，获取所述图像质量评估模型输出的对所述第二图像对的质量对比结果；

根据对所述第二图像对的质量对比结果，对所述第二图像对中的图像进行质量排序，得到已排序图像集；

从所述已排序图像集中选取基准图像，以及从所述训练图像集中选取待排序图像，得到由所述基准图像和所述待排序图像组成的第三图像对；

将所述第三图像对输入所述图像质量评估模型，获取所述图像质量评估模型输出的对所述第三图像对的质量对比结果；

基于所述对所述第三图像对的质量对比结果，确定所述待排序图像在所述已排序图像集中的排序位置，并按照所述排序位置将所述待排序图像加入所述已排序图像集中；

重复上述从所述已排序图像集中选取基准图像至按照所述排序位置将所述待排序图像加入所述已排序图像集中的步骤，直至对所述训练图像集中的图像进行质量排序完毕。

本申请实施例提供的图像质量评估模型训练装置400，可以执行图1所示方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。

本申请实施例的电子设备400，获取标注有质量参数的训练图像集；从所述训练图像集中选取第一图像对，并将所述第一图像对输入图像质量评估模型，通过所述图像质量评估模型中的特征提取网络获得第一图像特征和第二图像特征，其中，所述第一图像对包括第一图像和第二图像，所述第一图像特征为所述第一图像的图像特征，所述第二图像特征为所述第二图像的图像特征；对比所述第一图像特征与所述第二图像特征，获得第三图像特征；融合所述第一图像特征、所述第二图像特征和所述第三图像特征，并基于融合后的图像特征，确定对所述第一图像对的质量评估结果；基于所述质量评估结果和标注的所述第一图像对的质量参数，确定第一损失函数值，并基于所述第一损失函数值，训练所述图像质量评估模型中的特征提取网络，以得到用于评估图像质量的目标图像质量评估模型。这样，通过引入图像质量对比和融合多种图像特征的方式训练图像质量评估模型，能够保证训练得到的目标图像质量评估模型具备较高精度，进而保证基于该模型的图像质量评估结果具备较高准确性和可靠性。

本申请实施例还提供了一种图像质量评估装置。参见图5，图5是本申请实施例提供的图像质量评估装置的结构图。由于图像质量评估装置解决问题的原理与本申请实施例中图像质量评估方法相似，因此该图像质量评估装置的实施可以参见方法的实施，重复之处不再赘述。

如图5所示，图像质量评估装置500包括：

第二获取模块501，获取待评估图像集；

质量评估模块502，用于将所述待评估图像集输入目标图像质量评估模型，获取所述目标图像质量评估模型输出的对所述待评估图像集的质量评估结果；

其中，所述目标图像质量评估模型是经图1所示的图像质量评估模型训练方法得到的。

本申请实施例提供的图像质量评估装置500，可以执行图3所示方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。

本申请实施例的图像质量评估装置，获取待评估图像集；将所述待评估图像集输入目标图像质量评估模型，获取所述目标图像质量评估模型输出的对所述待评估图像集的质量评估结果；其中，所述目标图像质量评估模型是经图1所示的图像质量评估模型训练方法得到的。这样，由于目标图像质量评估模型是通过引入图像质量对比和融合多种图像特征的方式训练得到的，具备较高精度，从而可保证基于该模型的图像质量评估结果具备较高准确性和可靠性。

本申请实施例还提供了一种电子设备。由于电子设备解决问题的原理与本申请实施例中图像质量评估模型训练方法或图像质量评估方法相似，因此该终端的实施可以参见方法的实施，重复之处不再赘述。如图6所示，本申请实施例的电子设备，包括：处理器600和存储器620。

一种实施方式中，处理器600，用于读取存储器620中的程序，执行下列过程：

获取标注有质量参数的训练图像集；

从所述训练图像集中选取第一图像对，并将所述第一图像对输入图像质量评估模型，通过所述图像质量评估模型中的特征提取网络获得第一图像特征和第二图像特征，其中，所述第一图像对包括第一图像和第二图像，所述第一图像特征为所述第一图像的图像特征，所述第二图像特征为所述第二图像的图像特征；

对比所述第一图像特征与所述第二图像特征，获得第三图像特征；

融合所述第一图像特征、所述第二图像特征和所述第三图像特征，并基于融合后的图像特征，确定对所述第一图像对的质量评估结果；

基于所述质量评估结果和标注的所述第一图像对的质量参数，确定第一损失函数值，并基于所述第一损失函数值，训练所述图像质量评估模型中的特征提取网络，以得到用于评估图像质量的目标图像质量评估模型。

其中，在图6中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器600代表的一个或多个处理器和存储器620代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。处理器600负责管理总线架构和通常的处理，存储器620可以存储处理器600在执行操作时所使用的数据。

可选地，所述质量参数包括质量比对参数；所述训练图像集包括多张图像，且所述多张图像中每两张图像为一个图像对，各图像对标注有质量比对参数。

可选地，处理器600还用于读取存储器620中的程序，执行如下步骤：

在所述第一图像对中存在尺寸小于所述特征提取网络的最小允许输入尺寸的第三图像情况下，参照所述最小允许输入尺寸，对所述第三图像进行尺寸补全，其中，所述第三图像为所述第一图像和/或所述第二图像，且尺寸补全后的所述第三图像未被缩放；

将经过尺寸补全处理后的所述第一图像对输入所述图像质量评估模型。

可选地，所述第三图像特征包括第四图像特征和第五图像特征；

所述第四图像特征为所述第一图像特征与所述第二图像特征的差值特征，所述第五图像特征为所述第二图像特征与所述第一图像特征的差值特征。

可选地，所述训练图像集中的图像对还标注有相似性参数；

处理器600还用于读取存储器620中的程序，执行如下步骤：

基于所述第一图像特征和所述第二图像特征，确定对所述第一图像对的相似比较结果；

基于所述相似比较结果和标注的所述第一图像对的相似性参数，确定第二损失函数值；

结合所述第一损失函数值和所述第二损失函数值，训练所述特征提取网络。

可选地，处理器600还用于读取存储器620中的程序，执行如下步骤：

基于所述第二损失函数值，对所述特征提取网络进行相似性任务训练；

结合所述第一损失函数值和所述第二损失函数值，对经过相似性任务训练后的所述特征提取网络进行质量对比任务训练。

可选地，所述质量参数包括质量得分；

处理器600还用于读取存储器620中的程序，执行如下步骤：

基于所述第一图像特征和所述第二图像特征，确定对所述第一图像对的质量评分结果；

基于所述质量评分结果和标注的所述第一图像对的质量得分，确定第三损失函数值；

结合所述第一损失函数值、所述第二损失函数值和所述第三损失函数值，对经过质量对比任务训练后的所述特征提取网络进行质量评分任务训练。

可选地，处理器600还用于读取存储器620中的程序，执行如下步骤：

采用插入比对算法对所述图像质量评估模型进行训练，以得到用于对输入图像集进行质量排序的所述目标图像质量评估模型；

其中，所述采用插入比对算法对所述图像质量评估模型进行训练的过程如下：

从训练图像集中选取第二图像对，并将所述第二图像对输入所述图像质量评估模型，获取所述图像质量评估模型输出的对所述第二图像对的质量对比结果；

根据对所述第二图像对的质量对比结果，对所述第二图像对中的图像进行质量排序，得到已排序图像集；

从所述已排序图像集中选取基准图像，以及从所述训练图像集中选取待排序图像，得到由所述基准图像和所述待排序图像组成的第三图像对；

将所述第三图像对输入所述图像质量评估模型，获取所述图像质量评估模型输出的对所述第三图像对的质量对比结果；

基于所述对所述第三图像对的质量对比结果，确定所述待排序图像在所述已排序图像集中的排序位置，并按照所述排序位置将所述待排序图像加入所述已排序图像集中；

重复上述从所述已排序图像集中选取基准图像至按照所述排序位置将所述待排序图像加入所述已排序图像集中的步骤，直至对所述训练图像集中的图像进行质量排序完毕。

另一种实施方式中，处理器600，用于读取存储器620中的程序，执行下列过程：

获取待评估图像集；

将所述待评估图像集输入目标图像质量评估模型，获取所述目标图像质量评估模型输出的对所述待评估图像集的质量评估结果；

其中，所述目标图像质量评估模型是经图1所示的图像质量评估模型训练方法得到的。

本申请实施例提供的电子设备，可以执行图1或图3所示方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。

此外，本申请实施例的计算机可读存储介质，用于存储计算机程序，所述计算机程序可被处理器执行实现图1或图3所示方法实施例中的各个步骤。

在本申请所提供的几个实施例中，应该理解到，所揭露方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述收发方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (13)

1.一种图像质量评估模型训练方法，其特征在于，包括：

获取标注有质量参数的训练图像集；

从所述训练图像集中选取第一图像对，并将所述第一图像对输入图像质量评估模型，通过所述图像质量评估模型中的特征提取网络获得第一图像特征和第二图像特征，其中，所述第一图像对包括第一图像和第二图像，所述第一图像特征为所述第一图像的图像特征，所述第二图像特征为所述第二图像的图像特征；

对比所述第一图像特征与所述第二图像特征，获得第三图像特征；

融合所述第一图像特征、所述第二图像特征和所述第三图像特征，并基于融合后的图像特征，确定对所述第一图像对的质量评估结果；

基于所述质量评估结果和标注的所述第一图像对的质量参数，确定第一损失函数值，并基于所述第一损失函数值，训练所述图像质量评估模型中的特征提取网络，以得到用于评估图像质量的目标图像质量评估模型。

2.根据权利要求1所述的方法，其特征在于，所述质量参数包括质量比对参数；所述训练图像集包括多张图像，且所述多张图像中每两张图像为一个图像对，各图像对标注有质量比对参数。

3.根据权利要求1所述的方法，其特征在于，所述将所述第一图像对输入图像质量评估模型，包括：

在所述第一图像对中存在尺寸小于所述特征提取网络的最小允许输入尺寸的第三图像情况下，参照所述最小允许输入尺寸，对所述第三图像进行尺寸补全，其中，所述第三图像为所述第一图像和/或所述第二图像，且尺寸补全后的所述第三图像未被缩放；

将经过尺寸补全处理后的所述第一图像对输入所述图像质量评估模型。

4.根据权利要求1所述的方法，其特征在于，所述第三图像特征包括第四图像特征和第五图像特征；

所述第四图像特征为所述第一图像特征与所述第二图像特征的差值特征，所述第五图像特征为所述第二图像特征与所述第一图像特征的差值特征。

5.根据权利要求1所述的方法，其特征在于，所述训练图像集中的图像对还标注有相似性参数；

所述获得第一图像特征和第二图像特征之后，所述方法还包括：

基于所述第一图像特征和所述第二图像特征，确定对所述第一图像对的相似比较结果；

基于所述相似比较结果和标注的所述第一图像对的相似性参数，确定第二损失函数值；

所述基于所述第一损失函数值，训练所述图像质量评估模型中的特征提取网络，包括：

结合所述第一损失函数值和所述第二损失函数值，训练所述特征提取网络。

6.根据权利要求5所述的方法，其特征在于，所述确定第二损失函数值之后，所述结合所述第一损失函数值和所述第二损失函数值，训练所述特征提取网络之前，所述方法还包括：

基于所述第二损失函数值，对所述特征提取网络进行相似性任务训练；

所述结合所述第一损失函数值和所述第二损失函数值，训练所述特征提取网络，包括：

结合所述第一损失函数值和所述第二损失函数值，对经过相似性任务训练后的所述特征提取网络进行质量对比任务训练。

7.根据权利要求6所述的方法，其特征在于，所述质量参数包括质量得分；

所述获得第一图像特征和第二图像特征之后，所述方法还包括：

基于所述第一图像特征和所述第二图像特征，确定对所述第一图像对的质量评分结果；

基于所述质量评分结果和标注的所述第一图像对的质量得分，确定第三损失函数值；

所述结合所述第一损失函数值和所述第二损失函数值，对经过相似性任务训练后的所述特征提取网络进行质量对比任务训练之后，所述方法还包括：

结合所述第一损失函数值、所述第二损失函数值和所述第三损失函数值，对经过质量对比任务训练后的所述特征提取网络进行质量评分任务训练。

8.根据权利要求1至7中任一项所述的方法，其特征在于，所述基于所述第一损失函数值，训练所述图像质量评估模型中的特征提取网络之后，所述方法还包括：

采用插入比对算法对所述图像质量评估模型进行训练，以得到用于对输入图像集进行质量排序的所述目标图像质量评估模型；

其中，所述采用插入比对算法对所述图像质量评估模型进行训练的过程如下：

从训练图像集中选取第二图像对，并将所述第二图像对输入所述图像质量评估模型，获取所述图像质量评估模型输出的对所述第二图像对的质量对比结果；

根据对所述第二图像对的质量对比结果，对所述第二图像对中的图像进行质量排序，得到已排序图像集；

从所述已排序图像集中选取基准图像，以及从所述训练图像集中选取待排序图像，得到由所述基准图像和所述待排序图像组成的第三图像对；

将所述第三图像对输入所述图像质量评估模型，获取所述图像质量评估模型输出的对所述第三图像对的质量对比结果；

基于所述对所述第三图像对的质量对比结果，确定所述待排序图像在所述已排序图像集中的排序位置，并按照所述排序位置将所述待排序图像加入所述已排序图像集中；

重复上述从所述已排序图像集中选取基准图像至按照所述排序位置将所述待排序图像加入所述已排序图像集中的步骤，直至对所述训练图像集中的图像进行质量排序完毕。

9.一种图像质量评估方法，其特征在于，包括：

获取待评估图像集；

将所述待评估图像集输入目标图像质量评估模型，获取所述目标图像质量评估模型输出的对所述待评估图像集的质量评估结果；

其中，所述目标图像质量评估模型是经权利要求1至8任一项所述的图像质量评估模型训练方法得到的。

10.一种图像质量评估模型训练装置，其特征在于，包括：

第一获取模块，用于获取标注有质量参数的训练图像集；

第一处理模块，用于从所述训练图像集中选取第一图像对，并将所述第一图像对输入图像质量评估模型，通过所述图像质量评估模型中的特征提取网络获得第一图像特征和第二图像特征，其中，所述第一图像对包括第一图像和第二图像，所述第一图像特征为所述第一图像的图像特征，所述第二图像特征为所述第二图像的图像特征；

对比模块，用于对比所述第一图像特征与所述第二图像特征，获得第三图像特征；

第二处理模块，用于融合所述第一图像特征、所述第二图像特征和所述第三图像特征，并基于融合后的图像特征，确定对所述第一图像对的质量评估结果；

第一训练模块，用于基于所述质量评估结果和标注的所述第一图像对的质量参数，确定第一损失函数值，并基于所述第一损失函数值，训练所述图像质量评估模型中的特征提取网络，以得到用于评估图像质量的目标图像质量评估模型。

11.一种图像质量评估装置，其特征在于，包括：

第二获取模块，获取待评估图像集；

质量评估模块，用于将所述待评估图像集输入目标图像质量评估模型，获取所述目标图像质量评估模型输出的对所述待评估图像集的质量评估结果；

其中，所述目标图像质量评估模型是经权利要求1至8任一项所述的图像质量评估模型训练方法得到的。

12.一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；其特征在于，所述处理器，用于读取存储器中的程序实现如权利要求1至8中任一项所述的图像质量评估模型训练方法中的步骤；或者实现如权利要求9所述的图像质量评估方法中的步骤。

13.一种计算机可读存储介质，用于存储计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的图像质量评估模型训练方法中的步骤；或者实现如权利要求9所述的图像质量评估方法中的步骤。

Images