CN111833326A - 图像质量评价方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本发明公开了图像质量评价方法、装置、计算机设备及存储介质，包括：对目标图像I以d为单位分别进行水平、垂直、主对角线和副对角线四个方向的转化处理，并分别计算目标图像I和四个转化图的梯度值；将目标图像I分别与四个转化图之间进行梯度相似性对比，得到四个梯度相似值；取四个梯度相似值在位置(x,y)的最大值作为结构变化图在(x,y)处的值，得到结构变化图；将目标图像I进行高斯模糊处理并计算其梯度值，将该梯度值与目标图像I的梯度值进行梯度相似性对比，得到梯度相似值，并根据所述梯度相似值计算权重梯度；利用权重梯度对结构变化图进行处理得出图像质量评分。本发明提供的方法高效快速，与人眼的主观评分有较好的一致性。

Description

图像质量评价方法、装置、计算机设备及存储介质

技术领域

本发明涉及图像质量评价技术领域，特别涉及图像质量评价方法、装置、计算机设备及存储介质。

背景技术

数字图像在诸如采集、传输、处理和存储的各个阶段不可避免地会造成各种失真，很大程度上影响用户的视觉体验。图像质量评价(Image Quality Assessment,IQA)准则旨在评估和监测图像质量，在图像压缩、增强和传输等图像处理系统中发挥着重要作用。

目前，在自然图像质量评估方面已经公开了很多有效的方法。但屏幕内容图像特征更为复杂，包含图形线、文本和由相机捕捉到的自然图像等等不同的特征。因此，自然图像质量评估方法往往不能有效的解决屏幕内容图像质量评估问题。

一般来说，质量评价可以简单分为主观质量评价和客观质量评价，前者耗时费力不易实施，因此后者得到了广泛的发展。客观质量评价又可以进一步分为全参考(FullReference,FR)、半参考(Reduced Reference,RR)和无参考(No Reference,NR)三种类型。全参考和半参考方法仅适用于有参考信息的情况，而很多情况下并不能够获得参考信息，因此无参考方法就显得尤为重要。

现有的无参考方法大多基于学习，在屏幕内容图像质量评估中初有成效，但现有的无参考屏幕内容评价方法仍存在缺陷：需要大量的训练数据来训练预测模型、依赖于全参考的评分方法、效率较低、一致性无法保证。

发明内容

本发明的目的是提供图像质量评价方法、装置、计算机设备及存储介质，旨在解决现有评价方式效率低、一致性无法保证等问题。

本发明实施例一种无参考屏幕内容图像质量评价方法，其包括：

对目标图像I以d为单位分别进行水平、垂直、主对角线和副对角线四个方向的转化处理，得到四个方向的转化图Iⁿ(n＝1,2,3,4)，并分别计算目标图像I和四个转化图的梯度值；

将目标图像I分别与四个转化图之间进行梯度相似性对比，得到

四个梯度相似值，其中(x,y)表示图像像素位置；

取四个梯度相似值在位置(x,y)的最大值G(x,y)作为结构变化图在(x,y)处的值，得到目标图像I的结构变化图；

将目标图像I进行高斯模糊处理并计算其梯度值G_b，将该梯度值与目标图像I的梯度值进行梯度相似性对比，得到梯度相似值G_f，并根据所述梯度相似值G_f计算权重梯度G_w；

利用权重梯度G_w对结构变化图进行处理得出图像质量评分：

其中，∧表示像素坐标集。

进一步，所述d为2个像素长度。

进一步，所述将目标图像I分别与四个转化图之间进行梯度相似性对比，得到

四个梯度相似值，包括：

按公式

分别计算四幅转化图与目标图像I之间的梯度相似值，其中，T₁为常量，G₀(x,y)为目标图像I的梯度值，G_n(x,y)为四幅转化图的梯度值，n＝1,2,3,4。

进一步，所述将目标图像I进行高斯模糊处理并计算其梯度值，包括：

采用大小为[2d+1,2d+1]、方差δ＝1.5的二维高斯核对目标图像I进行高斯模糊处理得到图像I₂；

计算所述图像I₂的梯度值G_b。

进一步，所述权重梯度G_w为：G_w＝1-G_f。

进一步，所述目标图像I的梯度值按如下公式计算得到：

其中，

T为转置符。

进一步，所述将该梯度值与目标图像I的梯度值进行梯度相似性对比，得到梯度相似值G_f，包括：

按公式

计算梯度相似值G_f，其中，T₂为常量。

本发明实施例提供一种无参考屏幕内容图像质量评价装置，其中，包括：

转化单元，用于对目标图像I以d为单位分别进行水平、垂直、主对角线和副对角线四个方向的转化处理，得到四个方向的转化图Iⁿ(n＝1,2,3,4)，并分别计算目标图像I和四个转化图的梯度值；

梯度对比单元，用于将目标图像I分别与四个转化图之间进行梯度相似性对比，得到

四个梯度相似值，其中(x,y)表示图像像素位置；

结构变化图计算单元，用于取四个梯度相似值在位置(x,y)的最大值G(x,y)作为结构变化图在(x,y)处的值，得到目标图像I的结构变化图；

权重梯度计算单元，用于将目标图像I进行高斯模糊处理并计算其梯度值G_b，将该梯度值与目标图像I的梯度值进行梯度相似性对比，得到梯度相似值G_f，并根据所述梯度相似值G_f计算权重梯度G_w；

评分单元，用于利用权重梯度G_w对结构变化图进行处理得出图像质量评分：

其中，∧表示像素坐标集。

本发明实施例提供一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如上所述的无参考屏幕内容图像质量评价方法。

本发明实施例提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如上所述的无参考屏幕内容图像质量评价方法。

本发明实施例提供了图像质量评价方法、装置、计算机设备及存储介质，包括：对目标图像I以d为单位分别进行水平、垂直、主对角线和副对角线四个方向的转化处理，得到四个方向的转化图，并分别计算目标图像I和四个转化图的梯度值；将目标图像I分别与四个转化图之间进行梯度相似性对比，得到四个梯度相似值；取四个梯度相似值在位置(x,y)的最大值作为结构变化图在(x,y)处的值，得到目标图像I的结构变化图；将目标图像I进行高斯模糊处理并计算其梯度值，将该梯度值与目标图像I的梯度值进行梯度相似性对比，得到梯度相似值，并根据所述梯度相似值计算权重梯度；利用权重梯度对结构变化图进行处理得出图像质量评分。本发明实施例考虑了屏幕内容图像的梯度特性，并在此基础上提取图像的结构变化图，再通过图像的高斯模糊处理求取图像的权重梯度，通过对图像的结构变化图进行权重梯度处理计算其质量评分。实验结果表明，本发明实施例提供的方法高效快速，与人眼的主观评分有较好的一致性。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的无参考屏幕内容图像质量评价方法的流程示意图；

图2为本发明实施例提供的无参考屏幕内容图像质量评价装置的示意性框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

请参阅图1，本发明实施例一种无参考屏幕内容图像质量评价方法，其包括步骤S101～S105：

S101、对目标图像I以d为单位分别进行水平、垂直、主对角线和副对角线四个方向的转化处理，得到四个方向的转化图Iⁿ(n＝1,2,3,4)，并分别计算目标图像I和四个转化图的梯度值；

S102、将目标图像I分别与四个转化图之间进行梯度相似性对比，得到

四个梯度相似值，其中(x,y)表示图像像素位置；

S103、取四个梯度相似值在位置(x,y)的最大值G(x,y)作为结构变化图在(x,y)处的值，得到目标图像I的结构变化图；

S104、将目标图像I进行高斯模糊处理并计算其梯度值G_b，将该梯度值与目标图像I的梯度值进行梯度相似性对比，得到梯度相似值G_f，并根据所述梯度相似值G_f计算权重梯度G_w；

S105、利用权重梯度G_w对结构变化图进行处理得出图像质量评分：

其中，∧表示像素坐标集。

需说明的是，本发明实施例中各步骤的标号仅为方便说明，并不代表其执行顺序，例如步骤S104完全可以与步骤S101等同步执行，或者按其他顺序执行，本发明实施例对此并不限制。

本发明实施例考虑了屏幕内容图像的梯度特性，并在此基础上提取图像的结构变化图，再通过图像的高斯模糊处理求取图像的权重梯度，通过对图像的结构变化图进行权重梯度处理计算其质量评分。实验结果表明，本发明实施例提供的方法高效快速，与人眼的主观评分有较好的一致性。

在视觉感知中，结构信息被认为是主要的敏感元素。而屏幕内容图像具有独特的结构特征，譬如：文本、图形线等等。梯度大小描绘了图像的结构信息特征。但梯度大小并不能估算出图像的失真。基于此，本发明实施例利用图像的自相似性计算梯度相似性获得图像的结构变化。

具体地，在所述步骤S101中，对目标图像I中的每一个像素值分别以其沿水平、垂直、主对角线、副对角线四个方向上距离为d个像素长度的像素值替代，得出Iⁿ(n＝1,2,3,4)共4幅转化图。其中d取值为2个像素长度。该4幅转化图实际上就是4个方向平移后得到的图像。

在一实施例中，所述目标图像I的梯度值按如下公式计算得到：

其中，

T为转置符。即目标图像I的梯度值为G₀(G₀(x,y))。

对于4幅转化图而言，其计算方式与上述计算方式相同，这样可以得到四幅转化图的梯度值G₁(G₁(x,y))、G₂(G₂(x,y))、G₃(G₃(x,y))、G₄(G₄(x,y))。

在所述步骤S102中，将目标图像I分别与四个转化图之间进行梯度相似性对比，得到

四个梯度相似值。也就是，将目标图像I的梯度值分别与四个转化图的梯度值之间进行梯度相似性对比。

在一实施例中，所述将目标图像I分别与四个转化图之间进行梯度相似性对比，得到

四个梯度相似值，包括：

按公式

分别计算四幅转化图与目标图像I之间的梯度相似值，其中，T₁为常量。

其中T₁取值可以为600；G₀表示目标图像I的梯度值，G_n(n＝1,2,3,4)表示4副转化图的梯度值。

在所述步骤S103中，取四个梯度相似值在位置(x,y)的最大值G(x,y)作为结构变化图在(x,y)处的值，得到目标图像I的结构变化图；

本发明实施例可对求得的四个梯度相似值取最大值来产生目标图像的结构变化图，这种方式相对其他方法更简单有效。上述四个梯度相似值实际上是四个梯度相似性矩阵。对于结构变化图中的每一个空间位置(x,y)，可以取四个梯度相似度矩阵在该位置(x,y)的最大值作为结构变化图在(x,y)处的值。即

在所述步骤S104中，先对目标图像I进行高斯模糊处理并计算其梯度值G_b，然后将该梯度值与目标图像I的梯度值进行梯度相似性对比，得到梯度相似值G_f，再根据所述梯度相似值G_f计算权重梯度G_w。

在一实施例中，所述将目标图像I进行高斯模糊处理并计算其梯度值，包括：

采用大小为[2d+1,2d+1]、方差δ＝1.5的二维高斯核对目标图像I进行高斯模糊处理得到图像I₂；

计算所述图像I₂的梯度值G_b。

自然图像质量评估多采用均值池化和标准池化。考虑到屏幕内容图像的复杂性，直接利用均值池化和标准池化可能会忽视内容的影响。基于此，本发明实施例考虑图像的失真特性利用权重池化的方式评估图像质量。故采用[2d+1,2d+1]、方差δ＝1.5的二维高斯核对原图像进行高斯处理模糊得到图像I₂。

然后按照前述G₀同样的计算方式来计算图像I₂的梯度值G_b(即G_b(x,y))。

在一实施例中，所述将该梯度值与目标图像I的梯度值进行梯度相似性对比，得到梯度相似值G_f，包括：

按公式

计算梯度相似值G_f，其中，T₂为常量。

其中，T₂具体可以是1。

在一实施例中，由于边缘周围领域相似性较小，平滑区域相似性较大，为了突出边缘周围领域的重要性，所以将所述权重梯度G_w设置为：G_w＝1-G_f。

最后在所述步骤S105中，利用权重梯度G_w对结构变化图进行处理得出图像质量评分。

本发明实施例选择四个常用标准来量化和验证本发明提供的方法的性能，分别是斯皮尔曼秩相关系数(Spearman Rank-order Correlation Coefficient,SRCC)、肯德尔相关性系数(Kendall's Rank-order Correlation Coefficient,KRCC)、皮尔森线性相关系数(Pearson Linear Correlation Coefficient,PLCC)和均方根误差(Root Mean SquaredError,RMSE)。其中，SRCC和KRCC用于评估预测单调性，PLCC和RMSE用于评估预测性能的一致性，RMSE反映了预测误差。PLCC和SRCC的值越接近于1，RMSE的值越接近于0，表示方法预测的质量分数越趋近于主观质量评分。

为了减少预测分数非线性的影响，在计算PLCC和RMSE之前使用一个五参数逻辑回归函数：

其中，q是由质量评价方法计算得到的质量分数，g_p是回归后得到的质量分数，{τ₁,τ₂,τ₃,τ₄,τ₅}表示参数向量。

为了验证方法的有效性，与当前图像质量评价算法对比，本发明实施例选用公开的屏幕内容图像质量评价数据集作为测试平台。由20个高质量的参考图像组成，对每一个参考图像通过7种失真类型的7个级别进行处理，包括高斯模糊、运动模糊、高斯噪声、JPEG压缩、JPEG2000压缩、对比度变化和基于层分割的编码七种失真类型。结果数据集中共包含有980张失真图像，每一张失真图像质量评分都是通过主观实验获得。

本发明实施例分别采用现有的十种不同图像质量评估方法对图像质量进行评估。从有无参考图像方面考虑，可将评估方法分为两类，一类是基于参考图像的质量评估，方法有FSIM、MAD、GSIM、GSS、SFUW、SIRR和Wang；另一类是基于无参考图像的质量评估，方法有NIQE、IL-NIQE、BQMS和本实施例所采用的方法。实验数据表明，一些为自然图像质量评估设计的方法在评估屏幕内容图像质量方面效果一般，比如：FSIM、MAD和GSIM。与之相反的是，基于参考的图像质量评估方法更适合屏幕内容图像质量评估，比如：GSS、SFUW、SIRR和Wang。这些基于参考图像的质量评估方法，特别是专门为屏幕内容图像设计的方法，在评估屏幕内容图像质量效果上要优于那些基于无参考图像的质量评估方法。而本发明实施例提出的无参考图像质量评估方法要优于其他的无参考图像质量评估方法，且耗时要少于其他方法。实验结果得出，由本实施例计算得出的皮尔森线性相关系数(Pearson LinearCorrelation Coefficient,PLCC)为0.768，斯皮尔曼秩相关系数(Spearman Rank-orderCorrelation Coefficient,SRCC)为0.734，耗时0.016秒。从上可知，本发明实施例提供的方法是一种高效快速的无参考屏幕内容图像质量评价方法。

请参阅图2，本发明实施例提供一种无参考屏幕内容图像质量评价装置200，其中，包括：

转化单元201，用于对目标图像I以d为单位分别进行水平、垂直、主对角线和副对角线四个方向的转化处理，得到四个方向的转化图Iⁿ(n＝1,2,3,4)，并分别计算目标图像I和四个转化图的梯度值；

梯度对比单元202，用于将目标图像I分别与四个转化图之间进行梯度相似性对比，得到

四个梯度相似值，其中(x,y)表示图像像素位置；

结构变化图计算单元203，用于取四个梯度相似值在位置(x,y)的最大值G(x,y)作为结构变化图在(x,y)处的值，得到目标图像I的结构变化图；

权重梯度计算单元204，用于将目标图像I进行高斯模糊处理并计算其梯度值G_b，将该梯度值与目标图像I的梯度值进行梯度相似性对比，得到梯度相似值G_f，并根据所述梯度相似值G_f计算权重梯度G_w；

评分单元205，用于利用权重梯度G_w对结构变化图进行处理得出图像质量评分：

其中，∧表示像素坐标集。

上述装置实施例的具体技术细节与前述方法实施例的内容对应，故此处不再赘述。

本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的无参考屏幕内容图像质量评价方法。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如上所述的无参考屏幕内容图像质量评价方法。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种无参考屏幕内容图像质量评价方法，其特征在于，包括：

对目标图像I以d为单位分别进行水平、垂直、主对角线和副对角线四个方向的转化处理，得到四个方向的转化图Iⁿ，n＝1,2,3,4，并分别计算目标图像I和四个转化图的梯度值；

将目标图像I分别与四个转化图之间进行梯度相似性对比，得到

四个梯度相似值，其中(x,y)表示图像像素位置；

取四个梯度相似值在位置(x,y)的最大值G(x,y)作为结构变化图在(x,y)处的值，得到目标图像I的结构变化图；

将目标图像I进行高斯模糊处理并计算其梯度值G_b，将该梯度值与目标图像I的梯度值进行梯度相似性对比，得到梯度相似值G_f，并根据所述梯度相似值G_f计算权重梯度G_w；

利用权重梯度G_w对结构变化图进行处理得出图像质量评分：

其中，∧表示像素坐标集。

2.根据权利要求1所述的无参考屏幕内容图像质量评价方法，其特征在于，所述d为2个像素长度。

3.根据权利要求1所述的无参考屏幕内容图像质量评价方法，其特征在于，所述将目标图像I分别与四个转化图之间进行梯度相似性对比，得到

四个梯度相似值，包括：

按公式

分别计算四幅转化图与目标图像I之间的梯度相似值，其中，T₁为常量，G₀(x,y)为目标图像I的梯度值，G_n(x,y)为四幅转化图的梯度值，n＝1,2,3,4。

4.根据权利要求1所述的无参考屏幕内容图像质量评价方法，其特征在于，所述将目标图像I进行高斯模糊处理并计算其梯度值，包括：

采用大小为[2d+1,2d+1]、方差δ＝1.5的二维高斯核对目标图像I进行高斯模糊处理得到图像I₂；

计算所述图像I₂的梯度值G_b。

5.根据权利要求1所述的无参考屏幕内容图像质量评价方法，其特征在于，所述权重梯度G_w为：G_w＝1-G_f。

6.根据权利要求1所述的无参考屏幕内容图像质量评价方法，其特征在于，所述目标图像I的梯度值按如下公式计算得到：

其中，

T为转置符。

7.根据权利要求1所述的无参考屏幕内容图像质量评价方法，其特征在于，所述将该梯度值与目标图像I的梯度值进行梯度相似性对比，得到梯度相似值G_f，包括：

按公式

计算梯度相似值G_f，其中，T₂为常量。

8.一种无参考屏幕内容图像质量评价装置，其特征在于，包括：

转化单元，用于对目标图像I以d为单位分别进行水平、垂直、主对角线和副对角线四个方向的转化处理，得到四个方向的转化图Iⁿ，n＝1,2,3,4，并分别计算目标图像I和四个转化图的梯度值；

梯度对比单元，用于将目标图像I分别与四个转化图之间进行梯度相似性对比，得到

四个梯度相似值，其中(x,y)表示图像像素位置；

结构变化图计算单元，用于取四个梯度相似值在位置(x,y)的最大值G(x,y)作为结构变化图在(x,y)处的值，得到目标图像I的结构变化图；

权重梯度计算单元，用于将目标图像I进行高斯模糊处理并计算其梯度值G_b，将该梯度值与目标图像I的梯度值进行梯度相似性对比，得到梯度相似值G_f，并根据所述梯度相似值G_f计算权重梯度G_w；

评分单元，用于利用权重梯度G_w对结构变化图进行处理得出图像质量评分：

其中，∧表示像素坐标集。

9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的无参考屏幕内容图像质量评价方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至7任一项所述的无参考屏幕内容图像质量评价方法。

Images