CN116129195A

CN116129195A - 图像质量评价装置、方法、电子设备和存储介质

Info

Publication number: CN116129195A
Application number: CN202310180469.7A
Authority: CN
Inventors: 胡威; 李伟琪; 顾淳涛; 黄远东
Original assignee: Beijing Eswin Computing Technology Co Ltd
Current assignee: Beijing Eswin Computing Technology Co Ltd
Priority date: 2023-02-17
Filing date: 2023-02-17
Publication date: 2023-05-16

Abstract

本发明提供一种图像质量评价装置、方法、电子设备和存储介质，涉及图像处理技术领域，该装置包括：图像获取模块，用于获取待评价图像和待评价图像对应的参考图像；前后景分割模块，用于分别对待评价图像和参考图像进行前后景分割，得到待评价图像的第一前景图像和第一后景图像，以及参考图像的第二前景图像和第二后景图像；质量评价信息确定模块，用于基于第一前景图像和第二前景图像，确定第一质量评价信息，并基于第一后景图像和第二后景图像，确定第二质量评价信息；质量评价信息确定模块，还用于基于第一权重、第二权重、第一质量评价信息和第二质量评价信息，确定待评价图像的目标质量评价信息。本发明可提高客观评价图像质量的准确度。

Description

图像质量评价装置、方法、电子设备和存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像质量评价装置、方法、电子设备和存储介质。

背景技术

在现代科学技术中，图像是机器模式识别的重要信息源，图像的质量高低对机器获取图像信息的充分性和准确性起着决定作用。图像在获取、压缩、处理、传输、显示等过程中难免会出现一定程度的失真，造成图像的逼真度或图像的可读懂性变差，不能满足特定应用的要求。图像质量下降可能会导致使用图像时出现一定困难，因此，需要对图像的质量进行评价和衡量，以降低使用图像时的不良影响。

图像质量评价的方法可以分为主观评价和客观评价两大类。主观评价方法是凭借实验人员的主观感知来评价图像的质量，评价结果更接近人眼视觉的判断。相较于主观评价，客观评价方法可以应用数学模型进行描述，因具有耗时少、费用低、能实现实时评价等特点，客观评价更适合工程应用。

其中，全参考图像质量评价方式为一种典型的客观评价方法，其是利用参考图像中的像素点和待评价图像中的像素点进行一一比对，以实现待评价图像的质量评价。现有的全参考图像质量评价结果可能会出现与人眼视觉的判断结果不一致的情况，使得评价得出的结果与人眼视角主观评价结果差距较大，图像质量评价的准确度较低。

发明内容

本发明提供一种图像质量评价装置、方法、电子设备和存储介质，用以解决现有技术中全参考图像质量评价结果与人眼视觉的判断结果不一致，使得图像质量评价的准确度较低的缺陷，提高了图像质量评价的准确度。

本发明提供一种图像质量评价装置，包括：

图像获取模块，用于获取待评价图像和所述待评价图像对应的参考图像；

前后景分割模块，用于分别对所述待评价图像和所述参考图像进行前后景分割，得到所述待评价图像的第一前景图像和第一后景图像，以及所述参考图像的第二前景图像和第二后景图像；

质量评价信息确定模块，用于基于所述第一前景图像和所述第二前景图像，确定所述第一前景图像的第一质量评价信息，并基于所述第一后景图像和所述第二后景图像，确定所述第一后景图像的第二质量评价信息；

所述质量评价信息确定模块，还用于基于所述第一前景图像对应的第一权重、所述第一后景图像对应的第二权重、所述第一质量评价信息和所述第二质量评价信息，确定所述待评价图像的目标质量评价信息。

根据本发明提供的一种图像质量评价装置，所述质量评价信息确定模块基于所述第一前景图像和所述第二前景图像，确定所述第一前景图像的第一质量评价信息，具体包括：

基于第一方向的滤波窗口和所述第一前景图像，确定所述第一前景图像在所述第一方向上的第一梯度特征；

基于第二方向的滤波窗口和所述第一前景图像，确定所述第一前景图像在所述第二方向上的第二梯度特征；

基于第一方向的滤波窗口和所述第二前景图像，确定所述第二前景图像在所述第一方向上的第三梯度特征；

基于第二方向的滤波窗口和所述第二前景图像，确定所述第二前景图像在所述第二方向上的第四梯度特征；

基于所述第一梯度特征、所述第二梯度特征、所述第三梯度特征和所述第四梯度特征，确定所述第一前景图像和所述第二前景图像之间的梯度相似度；

基于所述梯度相似度确定所述第一质量评价信息。

根据本发明提供的一种图像质量评价装置，所述质量评价信息确定模块基于所述第一后景图像和所述第二后景图像，确定所述第一后景图像的第二质量评价信息，具体包括：

针对所述第一后景图像中每个第一像素点，确定所述第一像素点的亮度特征和所述第二后景图像中与所述第一像素点对应的第二像素点的亮度特征之间的亮度相似度；

针对所述第一后景图像中每个第一像素点，确定所述第一像素点的结构特征和对应的所述第二像素点的结构特征之间的结构相似度；

基于所述亮度相似度和所述结构相似度，确定所述第二质量评价信息。

根据本发明提供的一种图像质量评价装置，所述质量评价信息确定模块基于所述亮度相似度和所述结构相似度，确定所述第二质量评价信息，具体包括：

针对每个第一像素点，基于所述第一像素点对应的所述亮度相似度和所述结构相似度，确定第一像素点对应的目标相似度；

基于所述第一后景图像中的像素总数和所述目标相似度，确定所述第二质量评价信息。

根据本发明提供的一种图像质量评价装置，所述装置还包括：梯度图确定模块、信息熵确定模块和权重确定模块；

所述梯度图确定模块，用于基于预设的第一梯度算子和所述第一前景图像，确定所述第一前景图像对应的第一梯度图，并基于预设的第二梯度算子和所述第一后景图像，确定所述第一后景图像对应的第二梯度图；

所述信息熵确定模块，用于基于所述第一梯度图，确定所述第一梯度图的第一信息熵，并基于所述第二梯度图，确定所述第二梯度图的第二信息熵；

所述权重确定模块，用于基于所述第一信息熵和所述第二信息熵，确定所述第一权重和所述第二权重。

根据本发明提供的一种图像质量评价装置，所述信息熵确定模块基于所述第一梯度图，确定所述第一梯度图的第一信息熵，具体包括：

基于所述第一梯度图中每个像素点的像素值，确定所述第一梯度图中像素值为第一预设像素值的像素点的第一占比；

基于所述第一占比确定所述第一信息熵。

本发明还提供一种图像质量评价方法，包括：

获取待评价图像和所述待评价图像对应的参考图像；

分别对所述待评价图像和所述参考图像进行前后景分割，得到所述待评价图像的第一前景图像和第一后景图像，以及所述参考图像的第二前景图像和第二后景图像；

基于所述第一前景图像和所述第二前景图像，确定所述第一前景图像的第一质量评价信息，并基于所述第一后景图像和所述第二后景图像，确定所述第一后景图像的第二质量评价信息；

基于所述第一前景图像对应的第一权重、所述第一后景图像对应的第二权重、所述第一质量评价信息和所述第二质量评价信息，确定所述待评价图像的目标质量评价信息。

本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述图像质量评价方法。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述图像质量评价方法。

本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述图像质量评价方法。

本发明提供一种图像质量评价装置、方法、电子设备和存储介质，在获取待评价图像和待评价图像对应的参考图像后，分别对待评价图像和参考图像进行前后景分割，使用分割后的图像分别得到待评价图像的第一前景图像的第一质量评价信息和第一后景图像的第二质量评价信息，再分别赋予第一前景图像和第一后景图像不同的权重，并根据第一质量评价信息、第二质量评价信息和各自对应的权重，确定待评价图像的目标质量评价信息。由于人眼对第一前景图像和第一后景图像的敏感性不同，基于此，可以针对第一前景图像和第一后景图像赋予不同的权重值，来拟合人眼对待评价图像中各个区域的感兴趣程度，使得最终得到的待评价图像的目标质量评价信息更符合人眼视觉的判断，减小客观评价结果与人眼视角主观评价结果之间的差距，提高了图像质量评价的准确度。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的图像质量评价装置的结构示意图之一；

图2是本发明实施例提供的图像质量评价装置的结构示意图之二；

图3是本发明实施例提供的图像质量评价方法的流程示意图；

图4是本发明实施例提供的图像质量评价方法的流程框图；

图5是本发明实施例提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

主观质量评分法是图像质量最具代表性的主观评价方法，它通过对观察者的评分归一化来判断图像质量。主观质量评分法又可以分为绝对评价和相对评价两种类型。绝对评价是指针对该待评价图像给出一个直接的得分，该得分只与当前图像相关。相对评价则是在一批图像中，对当前图像进行评价，例如相对最好、相对最差。图像的主观评价方法的优点是能够真实的反映图像的直观质量，评价结果可靠，无技术障碍。但是主观评价方法也有很多缺点，比如要对图像进行多次重复实验，无法应用数学模型对其进行描述，从工程应用的角度看，耗时多、费用高，难以实现实时的质量评价。在实践应用中，主观评价结果还会受观察者的知识背景、观测动机、观测环境等因素的影响。

为了解决主观评价中存在的上述问题，在实际应用中，大多采用客观评价方法。其中，图像质量的客观评价方法是根据人眼的主观视觉系统建立数学模型，并通过具体的公式计算图像的质量。相比主观评价，客观评价具有可批量处理、结果可重现的特点，不会因为人为的原因出现偏差。客观评价方法根据其对参考图像的依赖程度，可分成全参考、半参考和无参考三种类型。

具体地，全参考评价方法是输入两张图像，一张是清晰的图像，称为参考图像，另一张是待评价的图像，称为失真图像，通过对比两张图像的信息量或特征相似度来实现质量评价。

半参考评价方法相较于全参考评价方法没有参考图像，只有待评价的失真图像。失真图像可以是某个图像复原模型生成的图像。半参考评价方法会给出参考图像的部分信息，或从参考图像中提取的部分特征，利用给出的部分信息或部分特征对待评价的失真图像进行评价。半参考评价方法还可以细分为两类：一类研究特定类型的图像质量，比如估计模糊、块效应、噪声的严重程度；另一类估计非特定类型的图像质量，也就是一个通用的失真评估。

无参考评价方法相较于全参考评价方法或半参考评价方法不需要具体的参考图像、参考图像的部分信息或参考图像的部分特征。

本发明实施例提供的图像质量评价装置仅针对全参考评价方法。目前的全参考评价方法利用参考图像中的像素点和待评价图像中的像素点进行一一比对，图像质量评价结果可能会出现与人眼视觉的判断结果不一致的情况，使得评价得出的结果与人眼视角主观评价结果差距较大，图像质量评价的准确度较低。

基于上述问题，本发明实施例提供了一种图像质量评价装置，其中，由于人眼对第一前景图像和第一后景图像的敏感性不同，也即感兴趣程度会有所差别，因此，可以针对第一前景图像和第一后景图像赋予不同的权重值，来提高人眼对敏感信息的权重，从而可以拟合人眼对待评价图像中各个区域的感兴趣程度，使得最终的目标质量评价信息更加符合人眼视觉的判断、评价效果较好、能够满足工程应用客观评价图像质量。

下面结合图1和图2描述本发明实施例提供的图像质量评价装置。

图1是本发明实施例提供的图像质量评价装置的结构示意图之一，如图1所示，该图像质量评价装置100包括：

图像获取模块110，用于获取待评价图像和待评价图像对应的参考图像。

具体地，待评价图像是需要进行图像质量评价的任意图像，是图像质量评价装置给予质量评价的对象。待评价图像对应的参考图像是用于对待评价图像进行质量评价的参考。获取待评价图像和待评价图像对应的参考图像，可以是任意的获取方式，本发明实施例不作具体限制。例如，可以在图像数据库中获取待评价图像和待评价图像对应的参考图像。

示例性的，待评价图像可以是工程应用中，用于机器识别或深度模型训练的图片。待评价图像和待评价图像对应的参考图像是两个图像质量不同的同一图像。图像质量可以是指图像的逼真度或图像的可读懂性等。待评价图像与参考图像的偏离程度越小，则待评价图像的逼真度越高。图像的可读懂性是图像向人或机器提供信息的能力，它不仅与图像系统的应用要求有关，而且与人类视觉的主观感受有关。图像质量的指标可以包括分辨率、色彩深度、图像失真等方面。图像在获取、压缩、处理、传输、显示等过程中可能会出现一定程度的失真，因此，待评价图像也可以称为失真图像，而失真图像在获取、压缩、处理、传输、显示等过程前的原始图像或图像质量高于失真图像的原图像称为参考图像。

前后景分割模块120，用于分别对待评价图像和参考图像进行前后景分割，得到待评价图像的第一前景图像和第一后景图像，以及参考图像的第二前景图像和第二后景图像。

具体地，将获取到的待评价图像和待评价图像对应的参考图像分别进行前后景分割。其中，分割的方法可以采用任意的图像分割方法，例如，基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法或基于目标检测的分割方法等。

示例性的，以通过目标检测方法对待评价图像和待评价图像对应的参考图像进行前后景分割为例，在待评价图像和待评价图像对应的参考图像中确定目标所在区域，针对目标所在区域对待评价图像和参考图像进行图像分割，以得到第一前景图像、第一后景图像、第二前景图像和第二后景图像。例如，选用yolov5目标检测算法在coco数据集上训练得到的模型来进行目标检测，该模型能够有效检测80种目标，满足一般应用场景。经过目标检测算法计算后，目标所在区域的矩形框会以坐标的方式反馈，得到坐标后，对待评价图像和参考图像进行目标区域提取，并赋在新建的空图像中作为前景图像，得到第一前景图像和第二前景图像。目标区域提取后剩余在待评价图像和参考图像原图中的信息则作为后景图像，即得到第一后景图像和第二后景图像。可选的，第一前景图像和第二前景图像中包含目标区域。

通过上述方式分别将待评价图像和待评价图像对应的参考图像进行前后景分割后，可以得到待评价图像的第一前景图像和第一后景图像，以及参考图像的第二前景图像和第二后景图像。其中，第一前景图像和第二前景图像的图像信息一一对应，第一后景图像和第二后景图像的图像信息一一对应。

可选的，在使用目标检测方法来进行图像的前后景分割时，通常会确定参考图像中的目标区域，将参考图像中检测出的目标区域，应用于参考图像和待评价图像进行前后景分割，得到第一前景图像、第二前景图像、第一后景图像和第二后景图像。这样，在图像质量较高的参考图像中进行目标检测来确定目标区域的方式，能够提高目标检测的可靠性。

在工程应用中使用的图像，大多以前景目标和后景信息组合而成，先分别对待评价图像和参考图像进行前后景分割，再进行后续的图像质量评价，在提高图像质量评价准确度的同时，能兼顾提升全参考评价方法的通用性。

质量评价信息确定模块130，用于基于第一前景图像和第二前景图像，确定第一前景图像的第一质量评价信息，并基于第一后景图像和第二后景图像，确定第一后景图像的第二质量评价信息。

具体地，第一质量评价信息是图像质量评价装置针对第一前景图像做出的质量评价的信息。第一质量评价信息可以用于表征第一前景图像的图像质量或者视觉质量评分，例如：第一质量评价信息可以是用于表征第一前景图像相较于第二前景图像的逼真度分数或等级；也可以是用于表征第一前景图像相较于第二前景图像的可读懂性的判断结果；还可以是用于表征第一前景图像相较于第二前景图像的相似度得分。

同理，第二质量评价信息是图像质量评价装置针对第一后景图像做出的质量评价的信息。第二质量评价信息可以用于表征第一后景图像的图像质量，此处不再赘述举例。

基于第一前景图像和第二前景图像，对第一前景图像进行质量评估，能够得出第一前景图像的第一质量评价信息。基于第一后景图像和第二后景图像，对第一后景图像进行质量评估，能够得出第一后景图像的第二质量评价信息。对第一前景图像或第一后景图像进行质量评估可以是图像特征对比或图像信息分析等方式，本发明实施例不作具体限制。

所述质量评价信息确定模块130，还用于基于第一前景图像对应的第一权重、第一后景图像对应的第二权重、第一质量评价信息和第二质量评价信息，确定待评价图像的目标质量评价信息。

具体地，结合第一前景图像对应的第一权重、第一后景图像对应的第二权重、第一质量评价信息和第二质量评价信息，可以确定待评价图像的目标质量评价信息。待评价图像的目标质量评价信息可以表征待评价图像的图像质量高低。例如，目标质量评价信息可以是待评价图像与参考图像的相似度得分。

示例性的，第一前景图像对应的第一权重和第一后景图像对应的第二权重，分别是对第一质量评价信息和第二质量评价信息进行加权的参数。将第一权重与第一质量评价信息进行加权后，能得到加权的第一质量评价信息；将第二权重与第二质量评价信息进行加权后，能得到加权的第二质量评价信息。结合加权的第一质量评价信息和加权的第二质量评价信息可以确定待评价图像的目标质量评价信息。

应理解，通过合理确定第一权重和第二权重，使图像质量评价的结果更符合人眼视觉的判断，减小客观评价与主观评价之间的差距，提高图像质量评价的准确度。

本发明实施例提供的图像质量评价装置，在获取待评价图像和待评价图像对应的参考图像后，分别对待评价图像和参考图像进行前后景分割，使用分割后的图像分别得到待评价图像的第一前景图像的第一质量评价信息和第一后景图像的第二质量评价信息，再分别赋予第一前景图像和第一后景图像不同的权重，并根据第一质量评价信息、第二质量评价信息和各自对应的权重，确定待评价图像的目标质量评价信息。由于人眼对第一前景图像和第一后景图像的敏感性不同，基于此，可以针对第一前景图像和第一后景图像赋予不同的权重值，来拟合人眼对待评价图像中各个区域的感兴趣程度，使得最终得到的待评价图像的目标质量评价信息更符合人眼视觉的判断，减小客观评价结果与人眼视角主观评价结果之间的差距，提高了图像质量评价的准确度。

在一种示例实施例中，质量评价信息确定模块130基于第一前景图像和第二前景图像，确定第一前景图像的第一质量评价信息，具体包括：

基于第一方向的滤波窗口和第一前景图像，确定第一前景图像在第一方向上的第一梯度特征；基于第二方向的滤波窗口和第一前景图像，确定第一前景图像在第二方向上的第二梯度特征；基于第一方向的滤波窗口和第二前景图像，确定第二前景图像在第一方向上的第三梯度特征；基于第二方向的滤波窗口和第二前景图像，确定第二前景图像在第二方向上的第四梯度特征；基于第一梯度特征、第二梯度特征、第三梯度特征和第四梯度特征，确定第一前景图像和第二前景图像之间的梯度相似度；基于梯度相似度确定第一质量评价信息。

具体地，第一方向的滤波窗口和第二方向的滤波窗口可以是分别设置在图像中两个方向上的滤波窗口，通过设置两个方向的滤波窗口可以对图像在二维空间范围内进行梯度特征提取，得到图像在两个方向上的特征，其中，上述的滤波窗口也可以理解为滤波器。例如，分别对第一前景图像和第二前景图像在x轴和y轴这两个方向进行特征提取，可以得到第一前景图像在x轴方向和y轴方向的梯度特征，也能得到第二前景图像在x轴方向和y轴方向的梯度特征。

进一步地，基于提取到的图像的梯度特征，可以进行梯度特征间的相似度计算，得到梯度相似度，并根据梯度相似度来确定图像的第一质量评价信息。

示例性的，基于第一前景图像和第二前景图像，进行图像梯度特征对比，来确定第一前景图像的第一质量评价信息。第一质量评价信息可以是梯度特征的相似度对应的第一前景图像的图像质量得分。

在一种可能的实现方式中，设置两个方向的滤波窗口，分别为第一方向的滤波窗口hx＝[-1/2 0 1/2]，和第二方向的滤波窗口hy＝[-1/20 1/2]。第一方向可以是平面坐标系中的x轴方向，也可以理解为水平方向；第二方向可以是平面坐标系中的y轴方向，也可以理解为垂直于水平方向的垂直方向。

使用第一方向的滤波窗口和第二方向的滤波窗口分别计算第一前景图像和第二前景图像的梯度特征。具体计算方法如公式(1)所示：

其中，F_d表示第一前景图像，F_r表示第二前景图像，*表示卷积运算。g_dx表示第一前景图像在第一方向上的梯度特征，即为第一梯度特征；g_dy表示第一前景图像在第二方向上的梯度特征，即为第二梯度特征；g_rx表示第二前景图像在第一方向上的梯度特征，即为第三梯度特征；g_ry表示第二前景图像在第二方向上的梯度特征，即为第四梯度特征。

在获得第一前景图和第二前景图的梯度特征后，进一步的，可以通过公式(2)对梯度特征的相似度进行计算：

其中，k∈{x，y}；

表示第一前景图像的梯度特征g_dk和第二前景图像的梯度特征g_rk之间的相似度；μ_gdk表示梯度特征g_dk的平均值，μ_grk表示梯度特征g_rk的平均值；σ_gdk表示梯度特征g_dk的标准方差值，σ_grk表示梯度特征g_rk的标准方差值；σ_gdkgrk表示梯度特征g_dk和g_rk的协方差值；C₁和C₂是两个常数值，用于防止计算值为0的情况。

根据公式(2)，可以计算出第一前景图像中的每个像素点与第二前景图像中对应像素点分别在第一方向和第二方向上的梯度相似度，表示为

和

通过计算第一前景图像中的所有像素点在第一方向上的梯度相似度的平均值，得到第一方向梯度相似度平均值

通过计算第一前景图像中的所有像素点在第二方向上的梯度相似度的平均值，得到第二方向梯度相似度平均值

在计算得到第一方向梯度相似度平均值和第二方向梯度相似度平均值后，通过如下的公式(3)可以计算第一前景图像的图像质量得分：

其中，

表示第一质量评价信息，此处即为第一前景图像的图像质量得分。

大多数的第一前景图像中包含有目标区域，由于目标区域的边缘信息较为明显，因此本发明实施例提供的方案中，使用梯度特征来表示第一前景图像中的结构特征，可以提高第一质量评价信息的准确度。

在一种示例实施例中，所述质量评价信息确定模块130基于第一后景图像和第二后景图像，确定第一后景图像的第二质量评价信息，具体包括：

针对第一后景图像中每个第一像素点，确定第一像素点的亮度特征和第二后景图像中与第一像素点对应的第二像素点的亮度特征之间的亮度相似度；

针对第一后景图像中每个第一像素点，确定第一像素点的结构特征和对应的第二像素点的结构特征之间的结构相似度；

基于亮度相似度和结构相似度，确定第二质量评价信息。

其中，第一后景图像和第二后景图像的图像信息一一对应，每个第一后景图像中的像素点都能在第二后景图像中找到与之对应的像素点，这两个像素点可以看作是一组像素对。以像素点为单位，分别确定第一后景图像和第二后景图像中每个像素点的亮度特征和结构特征，再按照每组像素对来分别计算像素对中的两个像素点之间的亮度相似度和结构相似度，基于每组像素对的亮度相似度和结构相似度来确定第一后景图像的第二质量评价信息。这样，对于不包含目标区域的后景图像来说，后景图像包含的图像信息更适合用亮度特征和结构特征来判断相似度，可以提高第一后景图像的图像质量评价准确度。

在一种示例实施例中，质量评价信息确定模块130基于第一后景图像和第二后景图像，确定第一后景图像的第二质量评价信息，具体包括：

针对第一后景图像中每个第一像素点，确定第一像素点的结构特征和对应的第二像素点的颜色特征之间的颜色相似度；

基于亮度相似度、颜色相似度和结构相似度，确定第二质量评价信息。

在以上实施例提供的技术方案基础上，对第一后景图像和第二后景图像分别确定每个像素点的颜色特征，并计算每组像素对中的两个像素点之间的颜色相似度，基于亮度相似度、颜色相似度和结构相似度来确定第二质量评价信息，可以进一步提高第一后景图像的图像质量评价准确度。

在一种示例实施例中，质量评价信息确定模块130基于亮度相似度和结构相似度，确定第二质量评价信息，具体包括：

针对每个第一像素点，基于第一像素点对应的亮度相似度和结构相似度，确定第一像素点对应的目标相似度；

基于第一后景图像中的像素总数和目标相似度，确定第二质量评价信息。

通过计算第一后景图像和第二后景图像中每组像素对的亮度相似度和结构相似度，可以确定每个第一后景图像中像素点的目标相似度，该目标相似度可以是表征第一后景图像中某个像素点相较于第二后景图像中该像素点对应的像素点的相似程度。将第一后景图像中的所有像素点的目标相似度进行汇总，可以得出第一后景图像对应的第二质量评价信息。

示例性的，可以将局部对比度归一化应用于确定第一后景图像和第二后景图像的亮度特征，以模拟早期视觉系统并去除视觉场景中的冗余信息。本发明实施例可以使用标准化操作，具体如公式(4)所示：

其中，I′(x，y)表示第一后景图像和第二后景图像中位置为(x，y)处像素点的标准化亮度值，I(x，y)表示第一后景图像或第二后景图像中位置为(x，y)处像素点的原始亮度值；μ(x，y)表示图像中的局部图像片的局部平均值，σ(x，y)表示图像中的局部图像片的标准偏差值；C3表示一个常数参数。公式(4)中的μ(x，y)和σ(x，y)可以按如下的公式(5)和公式(6)计算：

其中，{ω(r，h)|r＝-R，…，R；h＝-H，…，H}表示单位体积的高斯滤波窗口。

本发明实施例分别确定第一后景图像和第二后景图像中每个像素点的归一化亮度特征，分别表示为I′_dn和I′_rn。通过如下的公式(7)可以计算每组像素对中的两个像素点之间的亮度相似度：

其中，

表示每个像素点对应的亮度特征的亮度相似度；C4是数值稳定性的常数。其中，

是以像素为单位计算的。

在确定第一后景图像和第二后景图像每个像素点的结构特征时，本发明实施例可以使用原始图像上的旋转不变均匀局部二值模式(Local Binary Patterns，LBP)描述符来计算，计算方式如公式(8)和公式(9)所示：

其中，K和R表示相邻像素的数量和邻域的半径；I_c表示局部色块中心像素的亮度值；(I₀，I₁，…，I_k-1)表示K个圆对称邻域的亮度值。

提取第一后景图像和第二后景图像中每个像素点的LBP结构特征后，本发明实施例可以通过如下的公式(10)来计算每组像素对的两个像素点之间的结构相似度：

其中

表示每个像素点对应的结构特征的结构相似度；B_dn表示第一后景图像的LBP结构特征，B_rn表示第二后景图像的LBP结构特征，C5是数值稳定性的常数。同样地，

也是以像素为单位计算的。

第一后景图像的目标相似度可以通过将亮度相似度

和结构相似度

进行组合来获得，具体可以通过如下的公式(11)来计算：

其中，

表示第一后景图像的目标相似度。

可选的，可以将第一后景图像的目标相似度

进行平均值计算，以得到第一后景图像的图像质量得分，也即第一后景图像的第二质量评价信息。例如可以使用如下的公式(12)来计算第二质量评价信息：

其中，N是第一后景图像中的像素总数；(x,y)是图像中的像素位置；

表示第一后景图像的第二质量评价信息。

应理解，本发明实施例中，针对第一前景图像和第一后景图像各自包含的内容和特征的不同，可以采用不同的质量评价信息确定方法，由此可以提高第一质量评价信息和第二质量评价信息的准确度。

图2是本发明实施例提供的图像质量评价装置的结构示意图之二，该实施例在图1所示实施例的基础上，对如何确定第一权重和第二权重的具体实现过程进行详细说明。在一种示例实施例中，如图2所述，图像质量评价装置200还包括：梯度图确定模块210、信息熵确定模块220和权重确定模块230。

其中，梯度图确定模块210，用于基于预设的第一梯度算子和第一前景图像，确定第一前景图像对应的第一梯度图，并基于预设的第二梯度算子和第一后景图像，确定第一后景图像对应的第二梯度图。

第一梯度算子可以是用于梯度特征提取的任意梯度算子。例如，可以是索贝尔算子(Sobel operator)、普利维特算子(Prewitt operate)、罗伯茨交叉边缘检测算子(Roberts Cross operator)等。

示例性的，使用第一梯度算子和第一前景图像进行运算，可以从第一前景图像中提取每个像素的梯度特征，以得到第一前景图像对应的第一梯度图。同样的，使用第二梯度算子和第一后景图像进行运算，也可以得到第一后景图像对应的第二梯度图。

所述信息熵确定模块220，用于基于第一梯度图，确定第一梯度图的第一信息熵，并基于第二梯度图，确定第二梯度图的第二信息熵。

对第一梯度图和第二梯度图分别进行梯度的信息熵计算，可以得到第一梯度图对应的第一信息熵和第二梯度图对应的第二信息熵。对梯度图进行信息熵计算，可以将信息源所有可能发生情况的平均不确定性考虑在内，以增加梯度图的实用性。

权重确定模块230，用于基于第一信息熵和第二信息熵，确定第一权重和第二权重。

结合第一信息熵和第二信息熵，可以确定出第一前景图像对应的第一权重以及第一后景图像对应的第二权重，以对第一质量评价信息和第二质量评价信息进行加权处理，将梯度的熵作为重要性指数以提高图像质量评价的准确度。

示例性的，利用第一梯度图和第二梯度图分别进行梯度的信息熵计算，得到第一梯度图对应的第一信息熵和第二梯度图对应的第二信息熵，使用如下的公式(13)和公式(14)计算出第一权重和第二权重：

其中，ω_f表示第一权重，ω_r表示第二权重；v_f表示第一信息熵，v_r表示第二信息熵。

将第一权重赋予第一前景图像，将第二权重赋予第一后景图像，使用如下的公式(15)可以计算出待评价图像的目标质量评价信息。目标质量评价信息可以是待评价图像的质量得分。如公式(15)所示：

其中，

表示第一前景图像的第一质量评价信息，如第一前景图像的图像质量得分；

表示第一后景图像的第二质量评价信息，如第一后景图像的图像质量得分；S表示待评价图像的目标质量评价信息。

但通常人类视觉系统比视觉场景中的其他平滑区域对边缘信息等高频信息更敏感。因此，具有更多边缘信息的高频区域中的失真对于人类视觉系统比其他平滑区域更敏感。通过计算第一信息熵和第二信息熵，可以实现自适应权重分配，对第一前景图像和第一后景图像分别赋予权重，使得到的待评价图像的目标质量评价信息更加符合人眼视觉的判断，使评价所得出的结果与主观评价结果差距减小，提高评价的准确度。

在一种示例实施例中，所述信息熵确定模块220基于第一梯度图，确定第一梯度图的第一信息熵，具体包括：

基于第一梯度图中每个像素点的像素值，确定第一梯度图中像素值为第一预设像素值的像素点的第一占比；

基于第一占比确定第一信息熵。

示例性的，可以使用如下的公式(16)计算第一信息熵：

其中，ν表示第一信息熵，L表示第一梯度图中的最大像素值。p_j表示第一梯度图中像素值等于j的概率。p_j可以使用如下公式(17)计算得到：

其中，N_J表示第一梯度图中等于j的像素值的数量；N表示第一梯度图中的像素总数。

下面对本发明实施例提供的图像质量评价方法进行描述，下文描述的图像质量评价方法与上文描述的图像质量评价装置可相互对应参照。

本发明实施例还提供一种图像质量评价方法，图3是本发明实施例提供的图像质量评价方法的流程示意图，如图3所示，该方法可以包括如下的步骤310～步骤340。

步骤310：获取待评价图像和所述待评价图像对应的参考图像。

步骤320：分别对所述待评价图像和所述参考图像进行前后景分割，得到所述待评价图像的第一前景图像和第一后景图像，以及所述参考图像的第二前景图像和第二后景图像。

步骤330：基于所述第一前景图像和所述第二前景图像，确定所述第一前景图像的第一质量评价信息，并基于所述第一后景图像和所述第二后景图像，确定所述第一后景图像的第二质量评价信息。

步骤340：基于所述第一前景图像对应的第一权重、所述第一后景图像对应的第二权重、所述第一质量评价信息和所述第二质量评价信息，确定所述待评价图像的目标质量评价信息。

本发明提供一种图像质量评价方法，在获取待评价图像和待评价图像对应的参考图像后，分别对待评价图像和参考图像进行前后景分割，使用分割后的图像分别得到待评价图像的第一前景图像的第一质量评价信息和第一后景图像的第二质量评价信息，再分别赋予第一前景图像和第一后景图像不同的权重，并根据第一质量评价信息、第二质量评价信息和各自对应的权重，确定待评价图像的目标质量评价信息。由于人眼对第一前景图像和第一后景图像的敏感性不同，基于此，可以针对第一前景图像和第一后景图像赋予不同的权重值，来拟合人眼对待评价图像中各个区域的感兴趣程度，使得最终得到的待评价图像的目标质量评价信息更符合人眼视觉的判断，减小客观评价结果与人眼视角主观评价结果之间的差距，提高了图像质量评价的准确度。

在一种示例实施例中，所述基于所述第一前景图像和所述第二前景图像，确定所述第一前景图像的第一质量评价信息，具体包括：

基于所述梯度相似度确定所述第一质量评价信息。

在一种示例实施例中，所述基于所述第一后景图像和所述第二后景图像，确定所述第一后景图像的第二质量评价信息，具体包括：

在一种示例实施例中，所述基于所述亮度相似度和所述结构相似度，确定所述第二质量评价信息，具体包括：

在一种示例实施例中，所述方法还包括：

基于预设的第一梯度算子和所述第一前景图像，确定所述第一前景图像对应的第一梯度图，并基于预设的第二梯度算子和所述第一后景图像，确定所述第一后景图像对应的第二梯度图；

基于所述第一梯度图，确定所述第一梯度图的第一信息熵，并基于所述第二梯度图，确定所述第二梯度图的第二信息熵；

基于所述第一信息熵和所述第二信息熵，确定所述第一权重和所述第二权重。

在一种示例实施例中，所述基于所述第一梯度图，确定所述第一梯度图的第一信息熵，具体包括：

基于所述第一占比确定所述第一信息熵。

示例性的，图4是本发明实施例提供的图像质量评价方法的流程框图，如图4所示，所述图像质量评价方法的步骤包括：将获取到的待评价图像和待评价图像对应的参考图像分别进行前后景分割；前后景分割后的待评价图像分为第一前景图像和第一后景图像，前后景分割后的参考图像分为第二前景图像和第二后景图像；使用第一前景图像和第二前景图像可以确定第一质量评价信息，使用第一后景图像和第二后景图像可以确定第二质量评价信息；对第一质量评价信息和第二质量评价信息进行自适应加权，即可以确定待评价图像的目标质量评价信息。

本发明实施例提供的基于前后景分离的图像质量评价方法，考虑到，由各种目标组合而成的前景信息与后景信息特征相差较大，首先用目标检测方法对待评价图像和参考图像进行图像分割处理，提取目标所在区域，并且组合成前景图像，剩余部分为后景信息，并分别对不同区域进行针对性的质量评价，在获取不同区域得分后，自适应赋予不同的权重，拟合人眼对图像中各个区域的感兴趣程度，以获得和主观相近的质量得分。由于前景信息多为边缘信息较为明显的目标，本发明实施例提供的图像质量评价方法对前景图像作了梯度对比，确定第一质量评价信息。对于后景图像，一般为整体性的内容，因此采用亮度信息和结构信息来进行衡量，确定第二质量评价信息。在分别得到前后景图像的质量评价信息后，以自适应权重分别获取两者的权重，并计算确定待评价图像的目标质量评价信息。本发明所提出的图像质量评价方法，能够适用于各类图像的质量评价，并且能够符合人眼视觉的判断。

本发明实施例提供的方法提出通过分离前后景，得到不同特征的图像信息，并针对性设计相对应的图像质量计算方式，来获取前后景的得分能够适用于各类图像的质量评价，结合人眼对不同信息的敏感性原理，对前后景信息进行自适应加权处理，提高敏感信息的权重，得出更为准确的客观得分，让各种基于图像视觉质量为系统评测基准的多媒体应用提高性能，也能为各类有监督的视觉深度学习方法提供损失函数，更好的反馈神经网络。

本实施例的图像质量评价方法，其具体实现过程和技术效果与前述任一实施例中所述的图像质量评价装置侧实施例类似，具体可以参见图像质量评价装置侧实施例中的详细介绍，此处不再赘述。

图5是本发明实施例提供的电子设备的结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行图像质量评价方法，该方法包括：

获取待评价图像和所述待评价图像对应的参考图像；

此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的图像质量评价方法，该方法包括：

获取待评价图像和所述待评价图像对应的参考图像；

又一方面，本申请还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的图像质量评价方法，该方法包括：

获取待评价图像和所述待评价图像对应的参考图像；

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种图像质量评价装置，其特征在于，包括：

2.根据权利要求1所述的图像质量评价装置，其特征在于，所述质量评价信息确定模块基于所述第一前景图像和所述第二前景图像，确定所述第一前景图像的第一质量评价信息，具体包括：

基于所述梯度相似度确定所述第一质量评价信息。

3.根据权利要求1所述的图像质量评价装置，其特征在于，所述质量评价信息确定模块基于所述第一后景图像和所述第二后景图像，确定所述第一后景图像的第二质量评价信息，具体包括：

4.根据权利要求3所述的图像质量评价装置，其特征在于，所述质量评价信息确定模块基于所述亮度相似度和所述结构相似度，确定所述第二质量评价信息，具体包括：

5.根据权利要求1-4任一项所述的图像质量评价装置，其特征在于，所述装置还包括：梯度图确定模块、信息熵确定模块和权重确定模块；

6.根据权利要求5所述的图像质量评价装置，其特征在于，所述信息熵确定模块基于所述第一梯度图，确定所述第一梯度图的第一信息熵，具体包括：

基于所述第一占比确定所述第一信息熵。

7.一种图像质量评价方法，其特征在于，包括：

获取待评价图像和所述待评价图像对应的参考图像；

8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求7所述图像质量评价方法。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求7所述的图像质量评价方法。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求7所述的图像质量评价方法。