CN107610110B - 一种全局和局部特征相结合的跨尺度图像质量评价方法 - Google Patents

Abstract

一种全局结构与局部信息相结合的跨尺度图像质量评价方法涉及图像处理技术领域。本发明基于人眼感知是由全局到局部的注意力机制，提供一种基于全局结构特征和局部信息特征相结合的算法对不同尺度的图像进行质量评价。本发明首先在不同尺度图像间建立映射关系，基于映射关系分别从全局和局部两方面进行研究，在全局算法中引入多个影响因子，分析图像在尺寸变换过程中引起的视觉差异；在局部算法中，基于像素信息分析图像的细节损失，最后融合全局和局部特征得到图像的质量评判标准。该客观质量评价方法与主观评价方法得到的结果比较一致，而且无须消耗大量的人力、物力，具有一定的应用价值及参考意义。

Description

一种全局和局部特征相结合的跨尺度图像质量评价方法

技术领域

本发明涉及图像处理技术领域中不同尺度图像的质量评价技术，具体涉及一种全局和局部特征相结合的跨尺度图像质量评价方法的研究及实现。

背景技术

随着互联网和显示设备的飞速发展，移动终端的个性化发展，对图像提出了不同尺寸的需求。针对这一问题，大量不同尺度、不同分辨率的图像处理方法应运而生，这对图像质量提出了新的挑战，然而大多数图像处理方法都是基于同尺度的图像，因此引发了对不同尺度图像的质量评价方法的研究。

图像质量评价是计算机视觉领域里一项重要的研究课题。图像质量评价从方法上可分为主观评价和客观评价两种。主观评价方法是采用用户调研的方式，通过实验人员的主观感知来评价对象的质量。评价过程通常采用连续双激励质量度量法，即向实验人员同时展示参考图像与待评价图像，由观测者根据主观感受同时对两幅图像给出评分。主观评价方法来自于人的主观感受，误差最小。但是其会受到观测者专业背景、情绪、动机等主观因素的影响，而且难以结合到其他算法中使用。最明显的缺点是，该方法耗时长，费用高，难以操作。第二种评价方法即为客观评价，这种方法易于实现，成本低，相比主观方法耗时短，因此成为图像质量评价的研究重点。该类方法又可细分为三个子类：全参考评价方法、半参考评价方法和无参考评价方法。所谓的全参考质量评价方法指的是需要完整的原始图像来评价图像的质量，这类算法研究时间最长，发展最为成熟。而半参考标准则只需从参考图像中提取出部分统计量来进行计算，无须完整的像素级别信息。无参考评价则更是无须原始图像。客观质量评价方法可以自动对不同图像质量进行评价，以此为标准使得不同的图像处理方法能为用户呈现最佳的视觉效果。而且不同的图像处理方法，也需要一个稳定、客观的评价准则，对其性能进行分析对比。

传统的图像质量评价方法通常只进行简单的统计学计算来评价视觉质量，这些方法包括均方误差(MSE)，信噪比峰值(PSNR)等。这些算法源于通信理论，比较简单，但是无法精准地模拟人类的视觉感知。现有的研究表明，人类的视觉感知，远比传统的图像质量评价方法中用到的这些简单统计学方法更为复杂。因此人们将更多的注意力集中在了基于感知的视觉质量评价标准，并以此来模拟人类视觉系统以得到更好的结果。综上所述,通过分析不同的图像质量评价方法，本发明研究了一种综合全局和局部特征的跨尺度图像质量评价方法，其中多个影响因子的引入，以及全局特征和局部特征相结合是本发明的重点和难点。

发明内容

本发明基于人类视觉系统的注意力机制，提出了一种基于全局结构和局部信息相结合的算法对不同尺度的图像进行质量评价。

本发明的大体思路为首先对原始图像和待评价图像提取特征点并匹配，然后利用匹配的特征点间的映射关系进行三角剖分。在全局算法中，将三角剖分结果看作是图像的拓扑几何结构，根据图像的几何结构，引入多个影响因子，定量分析图像在尺寸变化过程中引起的视觉差异。在局部算法中，根据两幅图像间的映射关系，基于像素信息分析图像的细节损失，最后融合全局和局部的特征得到图像的质量评判标准。

为了实现上述问题，本发明提供了一种有效的基于全局结构和局部信息的算法对待评价图像进行质量评价的方法。该方法具体包括：

1)输入两幅图像，一幅原始图像和一幅待评价图像，提取两幅图

SIFT特征点，并进行特征点的匹配和筛选。

2)对原始图像进行显著度检测，显著度图能够很好地体现人眼对图像某些区域的重视程度,评价过程中重点关注人眼视觉注重的区域。

3)对原始图像和待评价图像进行三角剖分，从而提取图像的全局结构特征，以几何的方式来描述图像缩放过程中引起的视觉感知。

4)基于两幅图像的三角剖分结果，分别计算对应三角型的变形程度，加权平均作为两幅图像的全局相似度。具体步骤如下：

①形状形变因子。S_shape表示形状形变因子，a、b、c和a＇、b＇、c＇分别代表原图和待评价图像中任意一个三角形的对应边的边长，l_a、l_b和l_c分别代表对应边的比值，ave代表对应边比值的平均值。当S_shape越小时，表示三角形的形状变化越明显。

其中

②位置偏移因子。其中角α、β和γ分别表示，原图和待评价图像中对应三角形的对应边的夹角，S_shift表示位置偏移因子。当S_shift越小时，表明位置偏移越大，从而引起更大的视觉效应。

S_shift＝(cos(α)+cos(β)+cos(γ))/3 (4)

③角度变化因子。其中S_angle表示角度变化因子，A和A＇、B和B＇以及C和C＇分别表示三角形对应角的角度值。当S_angle越小时，表明对应角的变化越明显，越能显示出角度变化引起的视觉效应。

④对于剖分结果中的每一个三角形，分别计算形状变形因子，位置偏移因子和角度变化因子，最后将三者结合作为原图和待评价图像的全局结构相似度。公式中S_i表示第i个三角形的相似度，e表示自然指数。

将三角剖分形成的所有的三角形的相似度进行加权，然后得到图像全局相似度。

4)基于原图和待评价图像之间的SIFT点的映射关系，从而计算局部信息的相似度。以匹配的SIFT特征点为中心选取N*N的窗口，利用SSIM公式，计算原图像中的选取的窗口x和待评价图像中选取的窗口y之间的相似度，最后将整体进行加权平均，得到两幅图像的相似度。其中μ_x、μ_y分别为两张图像的灰度均值(或者各通道均值)，σ_x、σ_y分别为两张图像的灰度方差(或者各通道方差)，σ_xy为两张图像的协方差。c₁和c₂是为了防止分母为0的正数，一般情况下c₁取之为6.5，c₂取值为26.0。将每个特征点对应的窗口分别计算，然后以显著度为权值，进行加权和。

S_local＝∑saly_j×SSIM_j (8)

其中S_local表示待评价图像与原图像的局部特征相似度，saly_j表示第j个对应窗口的显著度权重值，可以通过显著度图直接得到，SSIM_j表示第j个对应的窗口x和y通过SSIM(x,y)公式计算得到的相似度值。

最后将全局特征和局部特征相结合，得到最后的待评价图与原图之间的相似度值，相似度值越大表明待评价图与原图越相似。

本发明主要有2方面工作内容:第一、全局结构特征相似度的计算，即对原始图像和待评价图像提取特征点进行匹配，然后利用特征点进行三角剖分，将三角剖分结果看作是图像的拓扑几何结构，同时提出了三个影响因子：形状变化因子，位置偏移因子和角度变化因子，以三个影响因子为基础计算每个对应三角形的相似度并加权平均作为整体的几何结构相似度。第二、局部信息特征相似度的计算，即根据匹配的SIFT特征点建立的映射关系，利用算法SSIM来计算图像间的相似度，从而表达图像的局部信息。本发明将上述2个主要特征进行融合，得到最终的待评价图像质量评价结果。本发明得到的图像质量评价结果，与主观评价较一致。利用肯德尔相关系来表达客观评价结果与主观评价结果间的一致程度，其中相关系数可以达到0.45，比较符合人类视觉系统的观察。

附图说明：

图1是本实例中图像处理结果((a)原图；(b)待评价图；(c)a图的SIFT特征点图；(d)b图的SIFT特征点图；(e)a图的显著度图)

图2是本实例中三角剖分结果((a)是原图的三角剖分结果，(b)是待评价图的三角剖分结果)。

图3是本实例中原图(左)和待评价图(右)对应的三角形形状形变示例图。

图4是本实例中原图(左)和待评价图(右)对应的三角形位置偏移示例图。

图5是本实例中原图(左)和待评价图(右)对应的三角形角度变化示例图。

图6是本实例中以特征点为中心选取15*15的窗。

具体实施方式：

下面将结合附图及实施例对本发明的技术方案进行更详细的说明。

本实施例是针对RetargetMe数据库中的8种重定向方法的结果进行评价，将主观评价的结果作为客观评价的标准。

1)输入两幅图像，一幅原始图像和一幅待评价图像，以butterfly图为例。分别提取原始图像和待评价图像的SIFT特征点，并进行特征点的匹配和筛选。

2)对原始图像进行显著度检测，图像显著性是图像中重要的视觉特征，体现了人眼对图像某些区域的重视程度。人类视觉系统对于不同的信息感知度的强弱也不同，主观评价在评价图像的质量时，更多地也是关注图像中重要物体保留的完整性。因此本发明在进行图像质量评价的时候，利用了图像的显著度图，即加入了图像的显著性信息。

3)对原始图像和待评价图像分别进行三角剖分。Delaunay三角剖分的具体实现有很多种方法，比如随机增量法、分治法、扫描线法等。本发明中用到的是Bowyer-Watson算法。

4)三角剖分后，我们就建立了两幅图像间的几何结构对应关系。基于两幅图像的三角剖分结果，分别计算对应三角形的变形程度，加权平均作为两幅图像的全局相似度。具体步骤如下：

①形状形变因子。图像在重定向的过程中肯定会伴随着像素点的增加或者去除，从而引起三角形形状的变化。S_shape表示形状形变因子，a、b、c和a＇、b＇、c＇分别代表原图和待评价图像中任意两个对应三角形的对应边的边长，l_a、l_b和l_c分别代表对应边的比值，ave代表对应边比值的平均值。

其中，

②位置偏移因子。图像在缩放过程中，不均匀形变等方法会对三角形产生一定的影响，在几何上表现为对应边出现偏移，形成一定程度上的视觉差异。其中角α、β和γ分别表示原图和待评价图像中的三角形对应边的夹角，S_shift表示位置偏移因子。

S_shift＝(cos(α)+cos(β)+cos(γ))/3 (4)

③角度变化因子。大部分基于内容的重定向方法，为了更好地保存重要的信息，处理过程中会对包含大量线条或者边缘信息的图像造成一定程度的视觉扭曲或者失真。其中S_angle表示角度变化因子，A和A＇、B和B＇以及C和C＇分别表示三角形对应角的角度值。

④对于原图和待评价图像的剖分结果中的每个对应的三角形，分别计算形状变形因子，位置偏移因子和角度变化因子，最后将三者结合作为原图和待评价图像的全局结构相似度。公式中S_i表示第i个三角形的相似度，e表示自然指数。

将三角剖分形成的所有的三角形的相似度进行加权，然后得到图像全局相似度。由于三角形面积不同，所反映的信息含量也是不一样的，因此将三角形的面积作为三角形权重之一。同时，图像的显著度图也反映了用户关注的侧重点。因此采用面积和显著度结合的方式，作为最后加权的权重值，如公示(7)所示，其中W_i表示权重，sal_i表示第i个三角形的显著度值，可以直接通过显著度图得到，area_i表示第i个三角形的面积。全局的相似度值计算公式如(8)所示，其中m表示三角形总个数：

W_i＝sal_i×area_i (7)

5)基于原图和待评价图像之间的映射关系，计算局部信息的相似度。以匹配的特征点为中心选取15*15的窗口，利用SSIM公式，计算原图中选取的窗口x和待评价图中选取的窗口y之间的相似度，最后进行加权平均，得到两幅图像的局部相似度。其中μ_x、μ_y分别为两张图像的灰度均值(或者各通道均值)，σ_x、σ_y分别为两张图像的灰度方差(或者各通道方差)，σ_xy为两张图像的协方差。c₁和c₂是为了防止分母为0的正数，一般情况下c₁取之为6.5，c₂取值为26.0。将每个特征点对应的窗口分别计算，然后以显著度为权值，进行加权和。

S_local＝∑saly_j×SSIM_j (10)

其中S_local表示待评价图像与原图的在局部特征方面的相似度值，saly_j表示第j个对应的窗口的显著度权重值，SSIM_j表示第j个对应的窗口x和窗口y通过SSIM(x,y)公式计算得到的相似度值。

最后将全局和局部特征相结合，得到最后的评价标准，本发明采用机器学习的方法进行特征融合，利用支撑向量回归的方式来优化评价结果，其中S_comb表示整体的相似度值，w₁，w₂和b是通过支撑向量回归的方式直接得到的。

S_comb＝w₁×S_global+w₂×S_local+b

(11)

6)采用统计学方法对主客观评价结果进行分析和计算。目前统计系数包括线性相关系数、肯德尔相关系数、皮尔逊系数、斯皮尔曼等级相关系数等，得到的结果一般位于(-1,1)之间，当系数为1时，表示完全相关，系数为-1时表示完全无关。系数为0表示两者相互独立。目前使用最多，也最具有说服力的就是肯德尔相关系数。本发明采用肯德尔相关系数对主客观质量评价结果的一致性进行计算。n_c表示排序一致的数据对，n_d表示排序不一致的数据对，n表示总对数，τ表示肯德尔系数。然后根据客观质量评价结果的排序与主观质量评价结果的排序进行计算，得到客观质量评价与主观质量评价的一致度。

Claims (1)

1.一种全局和局部特征相结合的跨尺度图像质量评价方法，其特征在于，包括以下步骤：

1)输入两幅图像，一幅原始图像和一幅待评价图像，提取两幅图SIFT特征点，并进行特征点的匹配和筛选；

2)对原始图像进行显著度检测，得到显著度图；

3)对原始图像和待评价图像进行三角剖分，从而提取图像的全局结构特征，以几何的方式来描述图像缩放过程中引起的视觉感知；

4)基于两幅图像的三角剖分结果，分别计算对应三角型的变形程度，加权平均作为两幅图像的全局相似度，具体步骤如下：

①形状形变因子；S_shape表示形状形变因子，a、b、c和a＇、b＇、c＇分别代表原图和待评价图像中任意一个三角形的对应边的边长，l_a、l_b和l_c分别代表对应边的比值，ave代表对应边比值的平均值；当S_shape越小时，表示三角形的形状变化越明显；

其中

②位置偏移因子；其中角α、β和γ分别表示，原图和待评价图像中对应三角形的对应边的夹角，S_shift表示位置偏移因子；当S_shift越小时，表明位置偏移越大，从而引起更大的视觉效应；

S_shift＝(cos(α)+cos(β)+cos(γ))/3 (4)

③角度变化因子；其中S_angle表示角度变化因子，A和A＇、B和B＇以及C和C＇分别表示三角形对应角的角度值；当S_angle越小时，表明对应角的变化越明显，越能显示出角度变化引起的视觉效应；

④对于剖分结果中的每一个三角形，分别计算形状变形因子，位置偏移因子和角度变化因子，最后将三者结合作为原图和待评价图像的全局结构相似度；公式中S_i表示第i个三角形的相似度，e表示自然指数；

将三角剖分形成的所有的三角形的相似度进行加权，然后得到图像全局相似度；

5)基于原图和待评价图像之间的SIFT点的映射关系，从而计算局部信息的相似度；以匹配的SIFT特征点为中心选取N*N的窗口，利用SSIM公式，计算原图像中的选取的窗口x和待评价图像中选取的窗口y之间的相似度，最后将整体进行加权平均，得到两幅图像的相似度；其中μ_x、μ_y分别为两张图像的灰度均值或者各通道均值，σ_x、σ_y分别为两张图像的灰度方差或者各通道方差，σ_xy为两张图像的协方差；c₁和c₂是为了防止分母为0的正数，然后以步骤2得到的显著度图对应的像素值为权重值，进行加权和；

S_local＝∑saly_j×SSIM_j (8)

其中S_local表示待评价图像与原图像的局部特征相似度，saly_j表示第j个对应窗口的显著度权重值，通过显著度图对应的像素值直接得到，SSIM_j表示第j个对应的窗口x和y通过SSIM(x,y)公式计算得到的相似度值；

最后将全局特征和局部特征相结合，得到最后的待评价图与原图之间的相似度值，相似度值越大表明待评价图与原图越相似。

Images