CN111612766B - 图像质量评价方法、装置和电子设备 - Google Patents

Abstract

本发明提供了一种图像质量评价方法、装置和电子设备，该方法包括：获取待处理图像，并将该待处理图像输入至图像质量评价模型中，得到待处理图像的质量评价结果。该方式中的图像质量评价模型既可对无参考图片的图像进行质量评价，也可对有参考图片的图像进行质量评价。

Description

图像质量评价方法、装置和电子设备

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种图像质量评价方法、装置和电子设备。

背景技术

图像质量客观评价分为全参考、部分参考和无参考三种类型。全参考图像质量评价是指在选择理想图像作为参考图像的情况下，比较待评图像与参考图像之间的差异，分析待评图像的失真程度，从而得到待评图像的质量评估；部分参考图像质量评价是指以理想图像的部分特征信息作为参考，对待评图像进行比较分析，从而得到图像质量评价结果。无参考图像质量评价完全无需参考图像，根据失真图像的自身特征来估计图像的质量。

相关技术中，基于全参考图像质量评价的方法包括信噪比、峰值信噪比、均方误差和图像差异预测等；基于无参考图像质量评价的方法包括基于边缘分析的方法、基于变换域的方法和基于深度学习网络的评价方法，但上述图像质量评价方法均是只针对无参考图像质量评价的方法，或者只针对全参考图像质量评价的方法，应用场景受限，导致图像质量评价方法的泛化性较差。

发明内容

本发明的目的在于提供一种图像质量评价方法、装置和电子设备机器可读存储介质，以提高图像质量评价的泛化性。

第一方面，本发明实施例提供一种图像质量评价方法，该方法包括：获取待处理图像；将该待处理图像输入至图像质量评价模型，其中，图像质量评价模型用于对无参考图片的图像或有参考图片的图像进行图像质量评价；获取图像质量评价模型输出的待处理图像的质量评价结果。

在可选的实施方式中，上述图像质量评价模型通过以下方式训练得到：获取样本集合，其中，该样本集合包括：第一样本组和第二样本组；第一样本组中的样本图像携带有通过无参考图像质量评价方式得到的评价值；第二样本组中的样本图像的评价值，通过全参考图像质量评价方式得到初始值后，根据第一样本组中的样本图像的评价值调整初始值得到；通过该样本集合对初始图像质量评价模型进行训练，得到训练完成的图像质量评价模型。

在可选的实施方式中，上述第二样本组中的样本图像的评价值，具体通过下述方式调整得到：根据第一样本组中的样本图像的评价值和第二样本组中的样本图像的初始值，得到评分函数；该评分函数用于：根据第一样本组中的样本图像的评价值相同的取值范围，调整第二样本组中的样本图像的初始值的取值范围；将第二样本组中的样本图像的初始值输入至评分函数中，得到第二样本组中的样本图像的评价值。

在可选的实施方式中，根据第一样本组中的样本图像的评价值和第二样本组中的样本图像的初始值，得到评分函数的步骤，包括：根据第一样本组中的样本图像的评价值的取值范围，为第二样本组中的样本图像进行打分，得到打分值；基于第二样本组中的样本图像的初始值和打分值，确定满足预设条件的第三样本组；确定第二样本组中与第三样本组中的样本图像的匹配图像，将第二样本组中的匹配图像的初始值，映射到第三样本组中的样本图像的打分值上，得到映射关系系数；基于该映射关系系数，确定评分函数。

在可选的实施方式中，根据第一样本组中的样本图像的评价值的取值范围，为第二样本组中的样本图像进行打分，得到打分值的步骤，包括：基于第一样本组训练预设的打分模型，得到训练后的打分模型；通过训练后的打分模型，为第二样本组中的样本图像进行打分，得到第二样本组中的样本图像的打分值；其中，训练后的打分模型对样本图像的打分值的取值范围，与第一样本组中的样本图像的评分值的取值范围相同。

在可选的实施方式中，上述基于第二样本组中的样本图像的初始值和打分值，确定满足预设条件的第三样本组的步骤，包括：按照预设规则，生成第二样本组中的样本图像和样本图像的打分值对应的第一序列，以及第二样本组中的样本图像和样本图像的初始值对应的第二序列；计算第一序列和第二序列中，每个样本图像的打分值和初始值的秩序相关系数；基于秩序相关系数，确定满足预设条件的第三样本组。

在可选的实施方式中，上述预设条件为秩序相关系数为预设值；上述基于秩序相关系数，确定满足预设条件的第三样本组的步骤，包括：从第一序列中，提取秩序相关系数为预设值的样本图像，以及秩序相关系数为预设值的样本图像对应的打分值，生成第三样本组。

在可选的实施方式中，上述确定第二样本组中与第三样本组中的样本图像的匹配图像，将第二样本组中的匹配图像的初始值，映射到第三样本组中的样本图像的打分值上，得到映射关系系数的步骤，包括：从第二样本组中，提取与第三样本组中的样本图像相同的样本图像，作为匹配图像；将匹配图像在第二样本组中的初始值，映射到匹配图像在第三样本组的打分值上，得到线性映射系数，将该线性映射系数作为映射关系系数。

在可选的实施方式中，上述评分函数为：f(x)＝Ax-B；其中，f(x)为第二样本组中的样本图像的评价值；x为第二样本组中的样本图像的初始值，A和B分别为将匹配图像在第二样本组中的初始值，映射到匹配图像在第三样本组的打分值上，得到的线性映射系数。

在可选的实施方式中，上述通过样本集合对初始图像质量评价模型进行训练，得到训练完成的图像质量评价模型的步骤，包括：从样本集合中确定样本图像，将该样本图像输入至初始图像质量评价模型中，得到输出结果；根据该输出结果，确定损失值；基于该损失值调整初始图像质量评价模型，直到损失值收敛，得到训练完成的图像质量评价模型。

第二方面，本发明实施例提供一种图像质量评价装置，该装置包括：图像获取模块，用于获取待处理图像；质量评价模块，用于将待处理图像输入至图像质量评价模型中，其中，该图像质量评价模型用于对无参考图片的图像或有参考图片的图像进行图像质量评价；获取图像质量评价模型输出的待处理图像的质量评价结果。

第三方面，本发明实施例提供一种电子设备，包括处理器和存储器，该存储器存储有能够被处理器执行的机器可执行指令，该处理器执行机器可执行指令以实现上述图像质量评价方法。

第四方面，本发明实施例提供一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，该机器可执行指令促使处理器实现上述图像质量评价方法。

本发明实施例带来了以下有益效果：

本发明提供的一种图像质量评价方法、装置和电子设备，首先获取待处理图像；然后将该待处理图像输入至图像质量评价模型中，得到该待处理图像的质量评价结果。该方式中的图像质量评价模型，既可对无参考图片的图像进行质量评价，也可对有参考图片的图像进行质量评价，提高了图像质量评价的泛化性。

本发明的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本发明的上述技术即可得知。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施方式，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种图像质量评价方法的流程图；

图2为本发明实施例提供的另一种图像质量评价方法的流程图；

图3为本发明实施例提供的另一种图像质量评价方法的流程图；

图4为本发明实施例提供的一种图像质量评价装置的结构示意图；

图5为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图像质量评价(Image Quality Assessment，简称IQA)是图像处理中的基本技术之一，主要是通过对图像进行特性分析研究，然后评估出图像优劣(也可以是图像失真程度)等。图像质量评价在图像处理系统中，对于算法分析比较、系统性能评估等方面有着重要的作用。随着对数字图像领域的广泛研究，图像质量评价的研究也越来越受到研究者的关注，提出并完善了许多图像质量评价的指标和方法，目前图像质量客观评价可分为全参考(Full-Reference，简称FR)，部分参考(Reduced-Reference，简称RR)和无参考(No-Reference，简称NR)三种类型。

全参考图像质量评价是指在选择理想图像作为参考图像的情况下，比较待评图像与参考图像之间的差异，分析待评图像的失真程度，从而得到待评图像的质量评估，也即是在评价失真图像时，提供一个无失真的原始图像,经过失真图像与原始图像的比对，得到对失真图像的评价结果。常用的全参考图像质量评价主要是以像素统计、信息论、结构信息三方面为基础。

部分参考图像质量评价是指以理想图像的部分特征信息作为参考，对待评图像进行比较分析，从而得到图像质量评价结果。

无参考图像质量评价也称为盲图像质量(Blind image quality，简称BIQ)评价，该评价完全无需参考图像，根据失真图像的自身特征来估计图像的质量，该评价可以是面向特定失真类型的,如针对模糊、噪声、块状效应的严重程度进行评价；可以是先进行失真原因分类,再进行定量评价的方式；也可以同时评价不同失真类型。

相关技术中，基于全参考图像质量评价的方法包括信噪比(Signal noise ratio，简称SNR)、峰值信噪比(Peak signal noise ratio，简称PSNR)、均方误差(Mean squareerror，简称MSE)、平均结构相似度(Mean structure similarity，简称MSSIM)、视觉信息保真度(Visual information fidelity，简称VIF)、视觉信噪比(Visual signal-to-noiseratio，简称VSPR)、最显著失真(Most apparent distortion，简称MAD)、图像差异预测(Image difference prediction，简称IDP)等。基于无参考图像质量评价的方法包括基于边缘分析的方法、基于变换域的方法、基于像素统计信息的方法和基于深度学习网络的评价方法。

基于深度学习网络的评价方法可分为基于监督学习的无参考图像质量评价算法和基于无监督学习的无参考图像质量评价算法。基于监督学习的无参考图像质量评价算法主要包括基于传统机器学习的方法和基于深度学习的方法，如通过支持向量回归等传统机器学习方法学习视觉特征到图像视觉质量的映射模型，而基于深度学习的方法则主要通过构建深度神经网络，学习图像的视觉特征以构建图像质量评价模型，或直接通过端到端来学习失真图像到图像视觉质量的函数表达。基于无监督学习的无参考图像质量评价算法主要包括基于传统机器学习的方法和基于深度学习的方法。

综合上述图像质量评价方法，每种方法均是只针对无参考图像质量评价的方法，或者只针对全参考图像质量评价的方法，应用场景受限，且难以对在复杂的图像质量评价应用场景下进行质量评价，导致图像质量评价方法的泛化性较差。基于此，本发明实施例提供了一种图像质量评价方法、装置和电子设备，该技术即可以用于全参考图像质量评价，可以用于无参考图像质量评价，也可以应用于其他复杂的图像质量评价场景中。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种图像质量评价方法进行详细介绍，如图1所示，该方法包括如下步骤：

步骤S102，获取待处理图像。

上述待处理图像可以是通过相机拍摄的照片，也可以是从视频文件或者直播视频中截取的视频帧等，该待处理图像中可以包含有人物、动物、建筑物、风景等。该待处理图像可以是无参考图片的图像；也可以是有参考图片的图像，该参考图片也即是一张理想状态下拍摄的、无失真的标准图像。

步骤S104，将上述待处理图像输入至图像质量评价模型中，其中，该图像质量评价模型用于对无参考图片的图像或有参考图片的图像进行图像质量评价。

步骤S106，获取上述图像质量评价模型输出的待处理图像的质量评价结果。

如果获取到的待处理图像为无参考图片的图像时，将该待处理图像输入预先训练完成的图像质量评价模型中，可以得到该待处理图像的质量评价结果；如果获取到的待处理图像携带有参考图片，将待处理图像输入至图像质量评价模型中相当于将待处理图像及其携带的参考图像共同输入至图像质量评价模型中，以使模型质量评价模型针对参考图像对待处理图像进行质量评价，得到该待处理图像的质量评价结果。

上述图像质量评价模型可以是神经网络模型，也可以是深度学习模型。在对初始图像质量评价模型进行训练之前，需要获取样本集合，该样本集合中通常包含有大量的样本图像，该样本图像可以携带有通过无参考图像质量评价方式得到的评价值；也可以携带有通过全参考图像质量评价方式得到的评价值。由于通过两种方式得到的评价值的值域不同，需要调整其中一种方式得到的评价值，以使两种方式对应的样本图像的评价的值域保持一致，在具体实现时，可以调整通过无参考图像质量评价方式得到的评价值，也可以调整通过全参考图像质量评价方式得到的评价值。

在图像质量评价模型进行训练时，首先将评价值调整后的集合确定为样本集合；从该样本集合中确定目标样本，将该目标样本输入至初始图像质量评价模型中，得到损失值；基于该损失值调整初始图像质量评价模型的网络参数；继续从样本集合中确定目标样本，输入至网络参数调整后的初始图像质量评价模型中得到损失值，直到该损失值收敛或者达到预设的训练次数，得到训练完成的图像质量评价模型。由于图像质量评价模型是通过样本集合中携带有通过无参考图像质量评价方式得到的评价值，和携带有通过全参考图像质量评价方式得到的评价值的样本图像共同训练得到的，因此该图像质量评价模型既可以对无参考图片的待处理图像进行质量评价，也可以对有参考图片的待处理图像进行质量评价，提高了图像质量评价模型的泛化性。

在一些实施例中上述初始图像质量评价模型可以是预设的无参考图像质量评价对应的深度学习模型，该深度学习模型可以是基于监督学习的无参考图像质量评价模型，也可以是基于无监督学习的无参考图像质量评价模型。

本发明提供的一种图像质量评价方法，首先获取待处理图像；然后将该待处理图像输入至图像质量评价模型中，得到该待处理图像的质量评价结果。该方式中的图像质量评价模型，既可对无参考图片的图像进行质量评价，也可对有参考图片的图像进行质量评价，提高了图像质量评价模型的泛化性。

本发明实施例还提供另一种图像质量评价方法，该方法在上述实施例所述方法的基础上实现；该方法重点描述训练图像质量评价模型的具体过程(通过下述步骤S202-S204实现)；如图2所示，该方法包括如下具体步骤：

步骤S202，获取样本集合，其中，样本集合包括：第一样本组和第二样本组；该第一样本组中的样本图像携带有通过无参考图像质量评价方式得到的评价值；该第二样本组中的样本图像的评价值，通过全参考图像质量评价方式得到初始值后，根据第一样本组中的样本图像的评价值调整初始值得到。

需要准备两个样本集合，也即是第一样本组和第二样本组，该第一样本组可以是无参考质量评价数据集，可以理解为该第一样本组中包含有大量的样本图像，以及每个样本图像对应的通过无参考图像质量评价方式得到的评价值，该评价值用于评价样本图像的质量，通常评价值越大，样本图像的质量越好(清晰度高、噪声小、失真度小等)；第二样本组中也包含有大量的样本图像，以及每个样本图像对应的参考图像和初始值，该初始值为通过全参考图像质量评价方式对样本图像进行图像质量评价，得到的分数，通常该分数越大，样本图像的质量越好。

准备好第一样本组和第二样本组后，需要根据第一样本组中的样本图像的评价值调整第二样本组中的样本图像的初始值，也即是将第二样本组中的每个样本图像对应的初始值的取值范围与第一样本组中的样本图像的评价值的取值范围保持一致，从而使得第一样本组中的样本图像和第二样本组中的样本图像对应的评价结果的取值范围相同，从而可以扩大训练集的规模和数量。

步骤S204，通过上述样本集合对初始图像质量评价模型进行训练，得到训练完成的图像质量评价模型。

在具体实现时，上述步骤S204可以通过下述步骤10-11实现：

步骤10，从样本集合中确定样本图像，将该样本图像输入至初始图像质量评价模型中，得到输出结果。

该初始图像质量评价模型可以是无参考图像质量评价模型，该无参考图像质量评价模型可以是神经网络模型、深度学习模型等。在具体实现时，该初始图像质量评价模型可以包括：特征提取层、全局平均池化层和输出层；其中，特征提取层用于对样本图像进行特征提取，得到该样本图像的特征数据；全局平均池化层用于对特征数据进行全局平均池化操作，得到该样本图像全局特征；输出层用于根据全局特征，得到处理后的输出结果。

步骤11，根据上述输出结果，确定损失值；基于该损失值调整初始图像质量评价模型，直到损失值收敛，得到训练完成的图像质量评价模型。

上述损失值越大，说明输出结果与样本图像对应的评价值相差越大，需要基于该损失值调整初始图像质量评价模型的网络参数，并需要继续从样本集合中确定新的样本图像，将新的样本图像输入至网络参数调整后的初始图像质量评价模型中，得到新的输出结果，再基于新的输出结果计算损失值，直到该损失值收敛，停止调整初始图像质量评价模型的网络参数，得到图像质量评价模型。

在训练图像质量评价模型的过程中，还需要通过预设的测试集对图像质量评价模型进行测试，以不断优化模型的网络结构，直到网络精度达到要求，得到最终的图像质量评价模型，在具体实现时，上述优化模型的网络结构的方式包括剪枝、量化、调整参数等。

步骤S206，如果获取到的待处理图像，将该待处理图像输入至训练后的图像质量评价模型中，得到该待处理图像的质量评价结果。

上述图像质量评价方法，基于第一样本组和第二样本组训练得到的图像质量评价模型，既可用来评价无参考图片的图像又可用来评价有参考图片的图像，解决了图像质量评价只能特定评价某一种应用场景下的图像的缺点，该方式具有更好的泛化性。

本发明实施例还提供另一种图像质量评价方法，该方法在上述实施例所述方法的基础上实现；该方法重点描述在训练图像质量评价模型之前，根据第一样本组中的样本图像的评价值，调整第二样本图像的初始值的具体过程(通过下述步骤S302-S304实现)；如图3所示，该方法包括如下具体步骤：

步骤S302，根据第一样本组中的样本图像的评价值和第二样本组中的样本图像的初始值，得到评分函数；该评分函数用于：根据第一样本组中的样本图像的评价值相同的取值范围，调整第二样本组中的样本图像的初始值的取值范围。

在具体实现时，上述第一样本组中包含有大量的样本图像，以及每个样本图像对应的评价值，该评价值是通过无参考图像质量评价方式得到的，该评价值的取值范围为0-120；上述第二样本组中包含有大量的样本图像，以及每个样本图像对应的参考图像和初始值，该初始值是通过全参考图像质量评价方式得到的，该初始值的取值范围为0-5。具体地，该第二样本组可以通过下述方式确定：首先选取多张参考图像(也即是无失真的原始图像)，然后针对多张参考图像中的每张参考图像添加不同的失真类型和失真强度，得到大量的失真图像，也即是得到大量的样本图像，然后在通过参考图像对失真图像进行图像质量评价，得到失真图像的初始值。

例如，假设第二样本组中包含有81张参考图像，针对每张参考图像分别添加25种失真类型，得到每张参考图像对应的25张失真图像，每张失真图像中包含有一种失真类型；然后针对每张失真图像进行5种不同程度的失真加强处理，得到每张失真图像对应的5张失真加强图像，进而可以得到81*25*5张样本图像。

基于上述描述可知，第一样本组中的样本图像的评价值与第二样本组中的样本图像的初始值的取值范围不同，因而需要调整初始值，以保证第一样本组中的样本图像的评价值和第二样本组中的样本图像的初始值的取值范围一致，以便于后续训练的图像质量评价模型可以兼顾无参考图像质量评价和全参考图像质量评价任务。

针对同一种失真程度，由于两个样本组的取值范围不同，因而得到的评价值和初始值的取值范围不同，因而需要通过寻找针对同一失真程度的评价值和初始值的关系，来确定评分函数，以通过该评分函数将第二样本组中的样本图像的初始值的取值范围，调整得与第一样本组中的样本图像的评价值的取值范围相同，且调整得到的评价值为该样本图像的、准确的图像质量评价结果。在具体实现时，可以通过下述步骤20-23实现：

步骤20，根据第一样本组中的样本图像的评价值的取值范围，为第二样本组中的样本图像进行打分，得到打分值。

为了保证调整后的第二样本组中的样本图像的初始值的取值范围与第一样本组中的样本图像的评价值的取值范围一致，需要根据第一样本组中的样本图像的质量评价规则，对第二样组中的样本图像重新进行打分，得到第二样本组中的样本图像的打分值。

在具体实现时，可以基于第一样本组训练预设的打分模型，得到训练后的打分模型；然后通过训练后的打分模型，为第二样本组中的样本图像进行打分，得到第二样本组中的样本图像的打分值；其中，训练后的打分模型对样本图像的打分值的取值范围，与第一样本组中的样本图像的评分值的取值范围相同。上述预设的打分模型可以是无参考图像质量评价模型，该无参考图像质量评价模型可以是神经网络模型、深度学习模型等。

步骤21，基于上述第二样本组中的样本图像的初始值和打分值，确定满足预设条件的第三样本组。

由于第二样本组中的样本图像的初始值是通过全参考图像质量评价方式得到的，而第二样本组中的样本图像的打分值是通过无参考图像质量评价方式得到的，两种打分规则不同，导致打分值相对于原始的初始值会有一定的偏差(也即是可能存在由于更换打分规则，导致打分值误差较大的现象)，需要根据第二样本组中的样本图像的初始值和打分值存在的普遍规律，从第二样本组中，删除不符合普遍规律的样本图像和该样本图像对应的打分值，将剩余的、符合普遍规律的样本图像和该样本图像对应的打分值保存至第三样本组中，从而可以得到满足预设条件(具有普遍规律)的第三样本组。

在具体实现时，上述步骤21可以通过下述步骤30-32实现：

步骤30，按照预设规则，生成第二样本组中的样本图像和该样本图像的打分值对应的第一序列，以及第二样本组中的样本图像和该样本图像的初始值对应的第二序列。

上述预设规则可以是打分值(或者初始值)从大到小的顺序、从到小到大的顺序或者随机排列的顺序。按照预设规则对第二样本组中的打分值进行排列，得到由第二样本组中的样本图像和该样本图像的打分值组成的第一序列，按照预设规则对第二样本组中的初始值进行排序，得到由第二样本组中的样本图像和该样本图像的初始值组成的第二序列。

步骤31，计算上述第一序列和第二序列中，每个样本图像的打分值和初始值的秩序相关系数。

上述秩序相关系数(the Spearman rank-order correlation coefficient，简称SROCC)也可称为斯皮尔曼秩序相关系数，通常是衡量秩序的相关性的，且该SROCC只与序列中元素(相当于同一个样本图像对应的打分值和初始值)的排序有关。针对第二样本组中的同一张样本图像，通常第一序列中的打分值的排序与第二序列中的初始值的排序相同时，SROCC＝1。

步骤32，基于上述秩序相关系数，确定满足预设条件的第三样本组。

在具体实现时，可以选取秩序相关系数等于预设值的或者秩序相关系数在预设范围内的样本图像，以及该样本图像对应的打分值，作为第三样本组中的样本图像和该样本图像的打分值。例如，上述预设条件可以为秩序相关系数为预设值；该预设值可以根据用户需求设置(例如，1)，从第一序列中，提取秩序相关系数为预设值的样本图像，以及秩序相关系数为预设值的样本图像对应的打分值，生成第三样本组。

为了便于对上述第三样本组的确定方式进行理解，下面详细介绍确定第三样本组的确定方式：首先根据第一序列中的样本图像与打分值的对应关系，以及第二序列中的样本图像与打分值的对应关系，计算每个样本图像对应的SROCC值，从所有样本图像对应的SROCC值中，提取出SROCC＝1的样本图像，以及该样本图像对应的打分值，组合成最大序列L1，该最大序列L1也即是第三样本组；其中SROCC＝1相当于同一张样本图像的打分值在第一序列中的排序与其在第二序列中的初始值的排序相同。下表1中的样本图像编号为1、2、3和4的图像，表示第一序列和第二序列中包含的样本图像，由于表1中的样本图像标号为2和3对应的打分值的排序与初始值的排序不同，因此需要将该样本图像删除，最终得到第三样组包括：编号为1的样本图像和该样本图像对应的打分值，以及编号为4的样本图像和该样本图像对应的打分值。表1中是按照从小到大顺序对初始值和打分值进行排序的，在一些实施例中也可以是按照从大到小的排序进行排序。

表1

步骤22，确定上述第二样本组中与第三样本组中的样本图像的匹配图像，将第二样本组中的匹配图像的初始值，映射到第三样本组中的样本图像的打分值上，得到映射关系系数。

上述第二样本组中包含有第三样本组中的所有样本图像，因而可以从第二样本组中提取出与第三样本组中的样本图像匹配的样本图像，提取出的样本图像也即是上述匹配图像，也可以理解为该匹配图像是第三样本组中的所有样本图像在第二样本组中对应的样本图像。在具体实现时，从第二样本组中，提取与第三样本组中的样本图像相同的样本图像，作为匹配图像；将该匹配图像在第二样本组中的初始值，映射到该匹配图像在所述第三样本组的打分值上，得到线性映射系数，将该线性映射系数作为映射关系系数，也可以理解为将该匹配图像对应的初始值和打分值分别作为直角坐标系中的X轴对应的数值和Y轴对应的数值，得到直角坐标系中的一个点，将所有的点进行函数拟合可以得到X轴对应的数值与Y轴对应的数值之间的映射关系系数。

步骤23，基于上述映射关系系数，确定评分函数。

在具体实现时，上述评分函数为：f(x)＝Ax-B；其中，f(x)为第二样本组中的样本图像的评价值；x为第二样本组中的样本图像的初始值，A和B分别为将匹配图像在第二样本组中的初始值，映射到匹配图像在第三样本组的打分值上，得到的线性映射系数。在将匹配图像在第二样本组中的初始值，映射到匹配图像在第三样本组的打分值上时，每个匹配图像对应的映射关系可能均不相同，也可能相同的数量较少或者较多，我们需要从中确定出符合大多数的匹配图像的初始值和评价值的映射规律的映射关系系数，作为最终的映射关系系数，例如，上述评分函数可以为f(x)＝16.51260414x-11.94178125。

步骤S304，将第二样本组中的样本图像的初始值输入至评分函数中，得到该第二样本组中的样本图像的评价值。

步骤S306，根据第一样本组和评价值调整后的第二样本组，训练图像质量评价模型，得到训练后的图像质量评价模型。

步骤S308，如果获取到的待处理图像，将该待处理图像输入至训练后的图像质量评价模型中，得到该待处理图像的质量评价结果。

上述图像质量评价方法，首先对图像质量评价模型进行训练之前，首先根据第一样本组中的样本图像的评价值和第二样本组中的样本图像的初始值，得到评分函数；再将第二样本组中的样本图像的初始值输入至评分函数中，得到该第二样本组中的样本图像的评价值；然后根据第一样本组和评价值调整后的第二样本组，训练图像质量评价模型，得到训练后的图像质量评价模型；如果获取到的待处理图像，将该待处理图像输入至训练后的图像质量评价模型中，得到该待处理图像的质量评价结果。该方式根据第一样本组中的样本图像的取值范围，调整第二样本组中的样本图像的取值范围，以使无参考图像质量评价和全参考图像质量评价对应的评价值的取值范围相同，从而基于第一样本组和初始值调整后的第二样本组训练得到的图像质量评价模型，可同时用来评价无参考图片的图像和有参考图片的图像，解决了图像质量评价只能特定评价某一种应用场景的缺点和不足，该方式具有更好的泛化性。

对应于上述方法实施例，本发明实施例还提供了一种图像质量评价装置，如图4所示，该装置包括：

图像获取模块40，用于获取待处理图像。

质量评价模块41，用于将待处理图像输入至图像质量评价模型中，其中，该图像质量评价模型用于对无参考图片的图像或有参考图片的图像进行图像质量评价。

结果获取模块42，获取图像质量评价模型输出的该待处理图像的质量评价结果。

上述图像质量评价装置，首先获取待处理图像；然后将该待处理图像输入至预先训练完成的图像质量评价模型中，得到该待处理图像的质量评价结果。该方式中的图像质量评价模型，既可对无参考图片的图像进行质量评价，也可对有参考图片的图像进行质量评价。

进一步地，上述装置还包括模型训练模块，用于：获取样本集合，其中，该样本集合包括：第一样本组和第二样本组；第一样本组中的样本图像携带有通过无参考图像质量评价方式得到的评价值；第二样本组中的样本图像的评价值，通过全参考图像质量评价方式得到初始值后，根据第一样本组中的样本图像的评价值调整初始值得到；通过样本集合对初始图像质量评价模型进行训练，得到训练完成的图像质量评价模型。

进一步地，上述装置还包括初始值调整模块，包括：评分函数确定模块，用于根据第一样本组中的样本图像的评价值和第二样本组中的样本图像的初始值，得到评分函数；该评分函数用于：根据第一样本组中的样本图像的评价值相同的取值范围，调整第二样本组中的样本图像的初始值的取值范围；评价值确定模块，用于将第二样本组中的样本图像的初始值输入至评分函数中，得到第二样本组中的样本图像的评价值。

具体地，上述评分函数确定模块，包括：打分单元，用于根据第一样本组中的样本图像的评价值的取值范围，为第二样本组中的样本图像进行打分，得到打分值；第三样本组确定单元，用于基于第二样本组中的样本图像的初始值和打分值，确定满足预设条件的第三样本组；映射单元，用于确定第二样本组中与第三样本组中的样本图像的匹配图像，将第二样本组中的匹配图像的初始值，映射到第三样本组中的样本图像的打分值上，得到映射关系系数；函数确定单元，用于基于映射关系系数，确定评分函数。

进一步地，上述打分单元，用于：基于第一样本组训练预设的打分模型，得到训练后的打分模型；通过训练后的打分模型，为第二样本组中的样本图像进行打分，得到第二样本组中的样本图像的打分值；其中，训练后的打分模型对样本图像的打分值的取值范围，与第一样本组中的样本图像的评分值的取值范围相同。

进一步地，上述第三样本组确定单元，用于：按照预设规则，生成第二样本组中的样本图像和样本图像的打分值对应的第一序列，以及第二样本组中的样本图像和样本图像的初始值对应的第二序列；计算第一序列和第二序列中，每个样本图像的打分值和初始值的秩序相关系数；基于该秩序相关系数，确定满足预设条件的第三样本组。

具体地，上述第三样本组确定单元，还用于：从第一序列中，提取秩序相关系数为预设值的样本图像，以及秩序相关系数为预设值的样本图像对应的打分值，生成第三样本组。

进一步地，上述映射单元，用于：从第二样本组中，提取与第三样本组中的样本图像相同的样本图像，作为匹配图像；将匹配图像在第二样本组中的初始值，映射到匹配图像在第三样本组的打分值上，得到线性映射系数，将该线性映射系数作为映射关系系数。

具体地，上述评分函数为：f(x)＝Ax-B；其中，f(x)为第二样本组中的样本图像的评价值；x为第二样本组中的样本图像的初始值，A和B分别为将匹配图像在第二样本组中的初始值，映射到匹配图像在第三样本组的打分值上，得到的线性映射系数。

进一步地，上述模型训练模块，还用于：从样本集合中确定样本图像，将该样本图像输入至图像质量评价模型中，得到输出结果；根据该输出结果，确定损失值；基于该损失值调整初始图像质量评价模型，直到损失值收敛，得到训练完成的图像质量评价模型。

本发明实施例所提供的图像质量评价装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

本发明实施例还提供了一种电子设备，参见图5所示，该电子设备包括处理器和存储器，该存储器存储有能够被处理器执行的机器可执行指令，该处理器执行机器可执行指令以实现上述图像质量评价方法。

进一步地，图5所示的电子设备还包括总线102和通信接口103，处理器101、通信接口103和存储器100通过总线102连接。

其中，存储器100可能包含高速随机存取存储器(RAM，RandomAccessMemory)，也可能还包括非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器。通过至少一个通信接口103(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线102可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器100，处理器101读取存储器100中的信息，结合其硬件完成前述实施例的方法的步骤。

本发明实施例还提供一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，该机器可执行指令促使处理器实现上述图像质量评价方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和/或电子设备的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种图像质量评价方法，其特征在于，所述方法包括：

获取待处理图像；

将所述待处理图像输入至图像质量评价模型，其中，所述图像质量评价模型用于对无参考图片的图像或有参考图片的图像进行图像质量评价；所述图像质量评价模型通过以下方式训练得到：

获取样本集合，其中，所述样本集合包括：第一样本组和第二样本组；所述第一样本组中的样本图像携带有通过无参考图像质量评价方式得到的评价值；

根据所述第一样本组中的样本图像的评价值的取值范围，为所述第二样本组中的样本图像进行打分，得到打分值；

基于所述第二样本组中的样本图像的初始值和所述打分值，确定满足预设条件的第三样本组；

确定所述第二样本组中与所述第三样本组中的样本图像的匹配图像，将所述第二样本组中的匹配图像的初始值，映射到所述第三样本组中的样本图像的打分值上，得到映射关系系数；

基于所述映射关系系数，确定评分函数；

将所述第二样本组中的样本图像的初始值输入至所述评分函数中，得到所述第二样本组中的样本图像的评价值；

通过所述样本集合对初始图像质量评价模型进行训练，得到训练完成的所述图像质量评价模型；

获取所述图像质量评价模型输出的所述待处理图像的质量评价结果。

2.根据权利要求1所述的方法，其特征在于，根据所述第一样本组中的样本图像的评价值的取值范围，为所述第二样本组中的样本图像进行打分，得到打分值的步骤，包括：

基于所述第一样本组训练预设的打分模型，得到训练后的打分模型；

通过所述训练后的打分模型，为所述第二样本组中的样本图像进行打分，得到所述第二样本组中的样本图像的打分值；

其中，所述训练后的打分模型对所述样本图像的打分值的取值范围，与所述第一样本组中的样本图像的评分值的取值范围相同。

3.根据权利要求1所述的方法，其特征在于，所述基于所述第二样本组中的样本图像的初始值和所述打分值，确定满足预设条件的第三样本组的步骤，包括：

按照预设规则，生成所述第二样本组中的样本图像和所述样本图像的打分值对应的第一序列，以及所述第二样本组中的样本图像和所述样本图像的初始值对应的第二序列；

计算所述第一序列和所述第二序列中，每个所述样本图像的打分值和初始值的秩序相关系数；

基于所述秩序相关系数，确定满足预设条件的第三样本组。

4.根据权利要求3所述的方法，其特征在于，所述预设条件为所述秩序相关系数为预设值；所述基于所述秩序相关系数，确定满足预设条件的第三样本组的步骤，包括：

从所述第一序列中，提取所述秩序相关系数为所述预设值的样本图像，以及所述秩序相关系数为预设值的样本图像对应的打分值，生成所述第三样本组。

5.根据权利要求1所述的方法，其特征在于，所述确定所述第二样本组中与所述第三样本组中的样本图像的匹配图像，将所述第二样本组中的匹配图像的初始值，映射到所述第三样本组中的样本图像的打分值上，得到映射关系系数的步骤，包括：

从所述第二样本组中，提取与所述第三样本组中的样本图像相同的样本图像，作为匹配图像；

将所述匹配图像在所述第二样本组中的初始值，映射到所述匹配图像在所述第三样本组的打分值上，得到线性映射系数，将该线性映射系数作为映射关系系数。

6.根据权利要求5所述的方法，其特征在于，

所述评分函数为：f(x)＝Ax-B；

其中，f(x)为所述第二样本组中的样本图像的评价值；x为所述第二样本组中的样本图像的初始值，A和B分别为将所述匹配图像在所述第二样本组中的初始值，映射到所述匹配图像在所述第三样本组的打分值上，得到的线性映射系数。

7.根据权利要求1所述的方法，其特征在于，所述通过所述样本集合对初始图像质量评价模型进行训练，得到训练完成的所述图像质量评价模型的步骤，包括：

从所述样本集合中确定样本图像，将所述样本图像输入至所述初始图像质量评价模型中，得到输出结果；

根据所述输出结果，确定损失值；基于所述损失值调整所述初始图像质量评价模型，直到所述损失值收敛，得到训练完成的所述图像质量评价模型。

8.一种图像质量评价装置，其特征在于，所述装置包括：

图像获取模块，用于获取待处理图像；

质量评价模块，用于将所述待处理图像输入至图像质量评价模型中，其中，所述图像质量评价模型用于对无参考图片的图像或有参考图片的图像进行图像质量评价；所述图像质量评价模型通过以下方式训练得到：获取样本集合，其中，所述样本集合包括：第一样本组和第二样本组；所述第一样本组中的样本图像携带有通过无参考图像质量评价方式得到的评价值；根据所述第一样本组中的样本图像的评价值的取值范围，为所述第二样本组中的样本图像进行打分，得到打分值；基于所述第二样本组中的样本图像的初始值和所述打分值，确定满足预设条件的第三样本组；确定所述第二样本组中与所述第三样本组中的样本图像的匹配图像，将所述第二样本组中的匹配图像的初始值，映射到所述第三样本组中的样本图像的打分值上，得到映射关系系数；基于所述映射关系系数，确定评分函数；将所述第二样本组中的样本图像的初始值输入至所述评分函数中，得到所述第二样本组中的样本图像的评价值；通过所述样本集合对初始图像质量评价模型进行训练，得到训练完成的所述图像质量评价模型；

获取所述图像质量评价模型输出的所述待处理图像的质量评价结果。

9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现权利要求1至7任一项所述的图像质量评价方法。

10.一种机器可读存储介质，其特征在于，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使处理器实现权利要求1至7任一项所述的图像质量评价方法。

Images