CN107122787A

CN107122787A - 一种基于特征融合的图像缩放质量评价方法

Info

Publication number: CN107122787A
Application number: CN201710077949.5A
Authority: CN
Inventors: 唐林波; 唐玮; 李珍珍; 赵博雅; 邓宸伟
Original assignee: Beijing Institute of Technology BIT
Current assignee: Beijing Institute of Technology BIT
Priority date: 2017-02-14
Filing date: 2017-02-14
Publication date: 2017-09-01

Abstract

本发明公开了一种基于特征融合的图像缩放质量评价方法，属于图像处理技术领域，该方法包括如下步骤：分别提取出缩放图像与原始图像的显著性信息和全局Gist向量，显著性信息中包括图像中所有点的显著值；然后分别提取出原始图像和缩放图像的SIFT特征点，并且相互匹配，获得二者的SIFT特征点匹配对，建立原始图像和缩放图像的像素之间的对应关系；计算缩放图像的如下三种特征：图像形状相似度特征、图像块结构相似度特征以及显著性信息完备性特征；将上述三种特征，代入到基于BP神经网络的缩放质量评价模型中得到评价结果。

Description

一种基于特征融合的图像缩放质量评价方法

技术领域

本发明属于图像处理技术领域，涉及一种基于特征融合的图像缩放质量评价方法。

背景技术

图像缩放是指将图像进行非等比例变换，来达到适应不同终端显示设备对图像分辨率和长宽比的要求，使得同一幅图像能应用于多种显示终端上进行展示，如平板电脑、手机等。近年来，多种图像缩放技术被相继提出，如均匀缩放(Uniform Scaling),线裁剪(seam craving)等方法，但没有一种方法能够对任意类型的图像有效。因此需要一种有效的图像缩放质量评价方法，用于评价多种缩放结果，来辅助用户选择合适的图像缩放方法。

目前，图像质量评价算法一般分为两大类：主观评价方法和客观评价方法。主观评价方法是指通过统计分析大量观测者对图像质量的打分来实现的，该方法虽然评价方法更接近真实值，结果可靠，但需要大量人员参与，并进行多次重复实验，耗时时间长，只能用于定性分析，不能利用计算机自动指导用户实时选择合适的图像缩放方法。然而，客观评价方法不需要大量人员进行多次重复实验，易操作、耗时短，并能易于计算机编程实现，能自动辅助用户选择图像缩放方法，成为如今的研究热点，但是目前所研究出的客观评价方法一般仅考虑缩放图像的某一特征，例如通常使用的形状相似度，其评价结果也是仅仅依据一种特征得出，这种评价结果与人的主观评价结果相差很大，无法作为用户选择合适图像缩放方法的依据，因此研究一种评价结果接近人主观评价结果的缩放质量评价方法是目前的研究方向，目前尚未有文献记载相关的方法。

发明内容

有鉴于此，本发明提供了一种基于特征融合的图像缩放质量客观评价方法，对图像缩放质量的评价更准确有效，能够用于评价多种缩放方法的缩放结果，进而能够准确有效地辅助用户选择合适的图像缩放方法。

为了达到上述目的，本发明的技术方案为：一种基于特征融合的图像缩放质量评价方法，包括如下步骤：

步骤一、分别提取出缩放图像与原始图像的显著性信息和全局Gist向量，显著性信息中包括图像中所有点的显著值；然后分别提取出原始图像和缩放图像的SIFT特征点，并且相互匹配，获得二者的SIFT特征点匹配对，建立原始图像和缩放图像的像素之间的对应关系。

步骤二、计算缩放图像的如下三种特征：

计算原始图像和缩放图像的全局Gist向量之间的距离，将结果作为缩放图像相对于原始图像的图像形状相似度特征。

利用原始图像和缩放图像二者的SIFT特征点匹配对，以匹配对中的SIFT 特征点为中心在原始图像和缩放图像中分别选取设定大小的窗口，计算两个窗口的结构相似度，然后采用两个窗口中SIFT特征点的平均显著值作为结构相似度的权值，对结构相似度进行加权相加处理，得到缩放图像相对原始图像的图像块结构相似度特征。

利用原始图像的显著图进行区域划分得到关键区域，重要区域和普通区域，结合原始图像和缩放图像二者匹配的SIFT特征点，计算获得匹配的SIFT特征点分别在原始图像中关键区域和重要区域占比的加权和，得到缩放图像相对原始图像的显著性信息完备性特征。

步骤三、将缩放图像以及步骤二中得到的三种特征，代入到基于BP神经网络的缩放质量评价模型中得到评价结果。

BP神经网络模型的建立方法为：

step301、以多个缩放图像样本及其原始图像样本作为训练样本。

step302、将缩放图像样本及其原始图像样本采用步骤一和步骤二的方式，得到缩放图像样本的三种特征，并对缩放图像样本进行主观评价得到主观评价结果。

step303、建立BP神经网络模型，以缩放图像样本的三种特征作为BP神经网络模型的输入，以缩放图像样本的主观评价结果作为BP神经网络模型的输出，对BP神经网络模型进行训练，训练结果作为基于BP神经网络的缩放质量评价模型。

进一步地，计算原始图像和缩放图像的全局Gist向量之间的距离具体公式为：

f₁＝1-||G₁-G₂||

式中，f₁作为缩放图像相对于原始图像的图像形状相似度特征，值的范围为0到1，当值为1时，原始图像和缩放图像形状一致，G₁和G₂分别对应着原始图像和缩放图像的Gist向量，||.||表示计算向量的二范数。

进一步地，得到缩放图像相对原始图像的图像块结构相似度特征的具体过程为：

s301、所建立的原始图像I_o和缩放图像I_r的全部SIFT特征点匹配对的集合为{(p_o1,p_r1),(p_o2,p_r2),...,(p_on,p_rn)}，其中p_oi和p_ri分别为原始图像I_o和缩放图像I_r的 SIFT特征点；n为SIFT特征点匹配对的个数；

s302、设定大小的窗口为9×9正方形像素区域，则以原始图像I_o的SIFT特征点P_o1为中心，取出9×9正方形像素区域，其次以与特征点P_o1相配对的SIFT特征点P_r1为中心，取出缩放图像I_r中9×9正方形像素区域，依次重复n次上述操作，直到取完匹配对的集合中所有原始图像I_o的SIFT特征点为止；

则原始图像I_o和缩放图像I_r局域结构相似度为

式中，SSIM(p_oi，p_ri)用为采用SSIM算法计算的9×9正方形像素区域测量结构相似度指标；

s303、对第i个9×9正方形像素区域计算原始图像I_o和缩放图像I_r的平均显著值：

式中，ω_oi和ω_ri分别代表着原始图像I_o和缩放图像I_r第i个9×9正方形像素区域的平均显著值，saliency为GBVS算法计算出来的显著图；m为9×9正方形像素区域中像素个数；window_i为第i个9×9正方形像素区域；

s304、图像块结构相似度特征f₂为

进一步地，得到缩放图像相对原始图像的显著性信息完备性特征的过程具体为：

s401、计算获得原始图像和缩放图像的SIFT特征点匹配图，在该匹配图中找到能够包含所有匹配的SIFT特征点的最小外包矩形；

s402、基于原始图像的显著图，将原始图像的像素分为三种区域：关键区域，重要区域和普通区域；

s403、缩放图像相对原始图像的显著性信息完备性特征f₃为：

式中，N_i和N_c分别为原始图像中重要区域和关键性区域像素点的总数；P_i和 P_c分别为最小外包矩形中重要区域和关键性区域像素点的总数；α为预设的权重因子。

进一步地，步骤三中，除了步骤二中得到的三种特征，增加一种辅助特征f₄，即在原始图像I和缩放图像I_i之间的SIFT匹配点的个数。

有益效果：

1、本方法中综合考虑了原始图像和缩放图像的显著性信息和全局Gist向量以及SIFT特征点，集中计算了三种分别能够代表三种图像在缩放过程中普遍出现三种失真类型的特征，即包括能够代表全局形状失真(G)的图像形状相似度特征、能够代表局部区域失真(L)的图像块结构相似度特征、能够代表显著性信息丢失(S)的显著性信息完备性特征，这三种特征覆盖了三种最常出现的失真类型，从而能够为最终的图像质量评价提供更加准确有效的评价结果，另外以该三种特征和主观评价结果作为BP神经网络的输入，得出的BP神经网络模型所获得的评价结果更加准确有效，能够用于评价多种缩放方法的缩放结果，进而能够准确有效地辅助用户选择合适的图像缩放方法。

2、本方法中在计算图像块结构相似度特征时，增加了对像素点平均显著值的考虑，通过计算平均显著值，并以平局显著值作为权值对SSIM进行处理，所获得相似度特征由于增加了对显著值的考虑，因此更加符合人眼的评价结果。

附图说明

图1为本发明对图像缩放中三种失真的实例说明。

图2为本发明图像缩放质量评价方法-GLS质量指标设计系统框图。

图3为本发明对图像形状相似度特征的设计图。

图4为本发明提取图像块结构相似度特征的设计图。

图5为本发明提取显著性信息完备性特征的设计图。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

本发明的主要方案为：

步骤一、分别提取出缩放图像与原始图像的显著性信息和全局Gist向量；然后分别提取出图像和缩放图像的SIFT特征点，并且相互匹配，建立原始图像和缩放图像的像素之间的对应关系；

步骤二、计算原始图像和缩放图像的全局Gist向量之间的距离，将结果作为缩放图像相对于原始图像的图像形状相似度特征。

BP神经网络模型的建立方法为：

step303、建立BP神经网络模型，以缩放图像样本的三种特征作为BP神经网络模型的输入，以主观评价结果作为BP神经网络模型的输出，对BP神经网络模型进行训练，训练结果作为基于BP神经网络的缩放质量评价模型。

实施例、

步骤一、当原始图像的宽高比和分辨率与目标图像不一样时，无论采用哪种图像缩放方法，都有可能使得目标图像出现-全局形状失真，局部区域失真和丢失显著性信息这三种失真类型。前两种失真主要考虑了视觉上出现不理想的结果。例如过度的挤压物体的形状(全局)或者是扭曲了原本突出的线条(局部)，这些都增加人工处理痕迹，使得图像的自然性变差。至于第三种失真类型，由于图像缩放的结果往往无法保留其原始图像的所有显著性信息，所以不得不考虑图像缩放结果出现显著性信息丢失的情况，如附图1所示。

显著图一般为灰度图像，每个像素点的灰度值代表着原始图像中对应该像素点的显著值，而像素点的显著值反映其对人眼的吸引程度。当显著值为0时, 意味着该像素点对人眼毫无吸引力。当显著值为255时表示该像素点具有非常高的显著性，也是人眼最容易关注的地方。本文中，采用了GBVS算法来计算图像的显著图。

SIFT算法首先检测图像中的关键点(key point),并对每个关键点提取出具有局部尺度不变特征的描述子，可以采用该描述子进行目标识别和图像配准等应用。本文通过SIFT局部描述子进行特征点配对，从而建立原始图像和缩放图像像素点之间的联系，而这种联系可以为特征提取做准备。

利用Gist特征表示一幅图像的全局形状特征。首先，将图像缩放到256*256 像素大小，然后用4个尺度和8个方向的Gabor滤波器对图像进行滤波。将整个图像划分为4*4的网格，在每个网格中计算每个通道的平均能量。最后获得 8*4*4*4＝512维特征向量。

步骤二、图像形状相似度特征：

图像形状相似度特征将检测出缩放图像中的全局形变失真。为了计算该特征，本文把测量图像形状相似度转化为计算原始图像和缩放图像的Gist向量之间的距离，将结果作为二者之间图像形状相似度特征。

首先，分别提取原始图像和缩放图像全局Gist特征。如附图3所示。接着计算原始图像和缩放图像的Gist向量之间的距离，将结果作为二者之全局形状的相似度的度量，即：

f₁＝1-||G₁-G₂||

式中，f₁表示图像形状相似度的度量，值的范围为0到1.当值为1时，两幅图像的形状基本一致。G₁和G₂分别对应着原始图像和缩放图像的Gist向量，||.|| 表示计算向量的二范数。

图像块结构相似度特征：

则原始图像I_o和缩放图像I_r局域结构相似度为

式中，SSIM(p_oi，p_ri)用为采用SSIM算法计算9×9正方形像素区域测量结构相似度指标；

s303、考虑到人类视觉系统是对显著的区域是非常敏感的，而且喜欢关注显著性目标，所以用显著图来强化上述结构相似度sim(I,I_i)。分别读取原始图像I_o和缩放图像I_r的显著图，来获得原始图像I_o和缩放图像I_r每个像素的显著值。 SSIM指标使用了局部9×9方格(window)来计算相似度，因此，用同样办法，分别用9×9方格(window)计算计算原始图像I_o和缩放图像I_r的平均显著值

对第i个9×9正方形像素区域计算原始图像I_o和缩放图像I_r的平均显著值：

式中，ω_oi和ω_ri分别代表着原始图像I_o和缩放图像I_r第i个9×9正方形像素区域的平均显著值，saliency为GBVS算法计算出来的显著图；m为9×9正方形像素区域中像素个数；window_i为第i个9×9正方形像素区域。

s304、图像块结构相似度特征f₂为

n为sift特征点匹配对的个数，SSIM算法没有考虑到人眼所关注的显著信息，在本算法中，通过计算平均显著值，并以平均显著值作为权值对SSIM进行处理，所获得相似度特征由于增加了对显著值的考虑，因此更加符合人眼的评价结果。

附图4为提取图像块相似度特征f₂的算法框架图

显著性信息完备性特征：

显著信息的完备性是用来衡量缩放图像I_r保留原始图像I_o的重要内容的程度。一个好的重定向技术缩放算法，其得到的缩放图像应该尽可能地保留原始图像的重要内容。

首先，需要确定原始图像I中的哪块区域应该呈现在缩放图像I_r中。把该区域命名为P_i，被称为缩放图像影响区域。为了确定该区域，应该回到SIFT特征点匹配图中，并且寻找到一个紧凑的矩形，该矩形能够包含所有匹配的SIFT特征点，最小外包矩形；则该矩形区域将是寻找的影响区域P_i。那么如何确定能够包含所有匹配的SIFT特征点的矩形呢？本文采用的方法为：因为在SIFT算法中，可以确定原始图像I_o和缩放图像I_r的SIFT特征点匹配对集的坐标为：

{(p_o1,p_r1),(p_o2,p_r2),...,(p_on,p_rn)}

其中p_on,n＝1,2,3...为原始图像I的SIFT特征点，p_rn,n＝1,2,3...缩放图像I_i的SIFT特征点，那么矩形由

(min(x_o1,x_o2,...,x_on):max(x_o1,x_o2,...,x_on),min(y_o1,y_o2,...,x_on):max(y_o1,y_o2,...,y_on))

确定，其中n∈1_,2,3,...,n,max(x_o1,x_o2,x_o3,...,x_on)，min(x_o1,x_o2,...,x_on)

max(y_o1,y_o2,...,y_on)，min(y_o1,y_o2,...,x_on)分别SIFT特征点匹配对集中横坐标的最大值，最小值，纵坐标的最大值和最小值。

其次，基于显著图，把原始图像的像素分为三种区域：关键区域，重要区域和普通区域；

在划分区域前，采用GBVS算法所提供的样例，得到一幅对显著性区域划分等级的彩色图片。如附图5所示。

最后，为了量化显著性信息丢失失真，可以定义了显著性信息完备性特征f₃。该特征表示为：

式中，N_i和N_c为原始图像中重要区域和关键性区域像素点的总数。P_i和P_c为

影响区域中重要区域和关键性区域像素点的总数。而权重因子α在本文中选取0.70。特征f₃值的范围为0到1.当缩放图像的重要区域和关键性区域被保存完整时，f₃为1.0。

附图5为提取显著性信息完整性特征f₃完整算法框架。

步骤三、对于有效的图像质量指标来说，不仅仅是特征选择的重要性，更重要的是如何选取的一个很好的机制来融合所有的特征指标变成为一个单一的质量分数。在GLS质量指标中，利用了主观评价结果，并采用了机器学习的方法进行特征融合得到最终的质量分数。

除了图像形状相似度f₁，图像块结构相似度f₂，显著性信息完备性f₃特征外，又考虑了另一种辅助特征f₄：在原始图像I和缩放图像I_i之间的SIFT匹配点的个数。辅助特征f₄也能间接地反映信息的完备性。

至此，把(f,y)送入BP神经网络模型进行训练，最终得到完整的图像缩放质量评价模型，其中f＝(f₁,f₂,f₃,f₄),y为图像的主观评价结果。

自此，就完成了图像缩放质量评价方法-GLS质量指标的设计。

综上，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于特征融合的图像缩放质量评价方法，其特征在于，包括如下步骤：

步骤一、分别提取出缩放图像与原始图像的显著性信息和全局Gist向量，所述显著性信息中包括图像中所有点的显著值；然后分别提取出原始图像和缩放图像的SIFT特征点，并且相互匹配，获得二者的SIFT特征点匹配对，建立原始图像和缩放图像的像素之间的对应关系；

步骤二、计算缩放图像的如下三种特征：

计算原始图像和缩放图像的全局Gist向量之间的距离，将结果作为缩放图像相对于原始图像的图像形状相似度特征；

利用原始图像和缩放图像二者的SIFT特征点匹配对，以匹配对中的SIFT特征点为中心在原始图像和缩放图像中分别选取设定大小的窗口，计算两个窗口的结构相似度，然后采用两个窗口中SIFT特征点的平均显著值作为结构相似度的权值，对结构相似度进行加权相加处理，得到缩放图像相对原始图像的图像块结构相似度特征；

利用原始图像的显著图进行区域划分得到关键区域，重要区域和普通区域，结合原始图像和缩放图像二者匹配的SIFT特征点，计算获得匹配的SIFT特征点分别在原始图像中关键区域和重要区域占比的加权和，得到缩放图像相对原始图像的显著性信息完备性特征；

步骤三、将缩放图像以及步骤二中得到的三种特征，代入到基于BP神经网络的缩放质量评价模型中得到评价结果；

所述BP神经网络模型的建立方法为：

step301、以多个缩放图像样本及其原始图像样本作为训练样本；

step302、将缩放图像样本及其原始图像样本采用步骤一和步骤二的方式，得到缩放图像样本的三种特征，并对缩放图像样本进行主观评价得到主观评价结果；

step303、建立BP神经网络模型，以缩放图像样本的三种特征作为BP神经网络模型的输入，以缩放图像样本的主观评价结果作为BP神经网络模型的输出，对所述BP神经网络模型进行训练，训练结果作为所述基于BP神经网络的缩放质量评价模型。

2.如权利要求1所述的一种基于特征融合的图像缩放质量评价方法，其特征在于，所述计算原始图像和缩放图像的全局Gist向量之间的距离具体公式为：

f₁＝1-||G₁-G₂||

3.如权利要求1所述的一种基于特征融合的图像缩放质量评价方法，其特征在于，所述得到缩放图像相对原始图像的图像块结构相似度特征的具体过程为：

s301、所建立的原始图像I_o和缩放图像I_r的全部SIFT特征点匹配对的集合为{(p_o1,p_r1),(p_o2,p_r2),...,(p_on,p_rn)}，其中p_oi和p_ri分别为原始图像I_o和缩放图像I_r的SIFT特征点；n为SIFT特征点匹配对的个数；

s302、所述设定大小的窗口为9×9正方形像素区域，则以原始图像I_o的SIFT特征点P_o1为中心，取出9×9正方形像素区域，其次以与特征点P_o1相配对的SIFT特征点P_r1为中心，取出缩放图像I_r中9×9正方形像素区域，依次重复n次上述操作，直到取完所述匹配对的集合中所有原始图像I_o的SIFT特征点为止；

则原始图像I_o和缩放图像I_r局域结构相似度为

<mrow> <mi>s</mi> <mi>i</mi> <mi>m</mi> <mrow> <mo>(</mo> <mi>I</mi> <mo>,</mo> <msub> <mi>I</mi> <mn>0</mn> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <mi>n</mi> </mfrac> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <mi>S</mi> <mi>S</mi> <mi>I</mi> <mi>M</mi> <mrow> <mo>(</mo> <msub> <mi>p</mi> <mrow> <mi>o</mi> <mi>i</mi> </mrow> </msub> <mo>,</mo> <msub> <mi>p</mi> <mrow> <mi>r</mi> <mi>i</mi> </mrow> </msub> <mo>)</mo> </mrow> <mo>;</mo> </mrow>

<mrow> <msub> <mi>&omega;</mi> <mrow> <mi>o</mi> <mi>i</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mi>m</mi> </mfrac> <munder> <mo>&Sigma;</mo> <mrow> <msub> <mi>p</mi> <mrow> <mi>o</mi> <mi>i</mi> </mrow> </msub> <mo>&Element;</mo> <msub> <mi>window</mi> <mi>i</mi> </msub> </mrow> </munder> <mi>s</mi> <mi>a</mi> <mi>l</mi> <mi>i</mi> <mi>e</mi> <mi>n</mi> <mi>c</mi> <mi>y</mi> <mrow> <mo>(</mo> <msub> <mi>P</mi> <mrow> <mi>o</mi> <mi>i</mi> </mrow> </msub> <mo>)</mo> </mrow> <mo>;</mo> </mrow>

<mrow> <msub> <mi>&omega;</mi> <mrow> <mi>r</mi> <mi>i</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mi>m</mi> </mfrac> <munder> <mo>&Sigma;</mo> <mrow> <msub> <mi>p</mi> <mrow> <mi>r</mi> <mi>i</mi> </mrow> </msub> <mo>&Element;</mo> <msub> <mi>window</mi> <mi>i</mi> </msub> </mrow> </munder> <mi>s</mi> <mi>a</mi> <mi>l</mi> <mi>i</mi> <mi>e</mi> <mi>n</mi> <mi>c</mi> <mi>y</mi> <mrow> <mo>(</mo> <msub> <mi>P</mi> <mrow> <mi>r</mi> <mi>i</mi> </mrow> </msub> <mo>)</mo> </mrow> <mo>;</mo> </mrow>

s304、图像块结构相似度特征f₂为

4.如权利要求3所述的一种基于特征融合的图像缩放质量评价方法，其特征在于，所述得到缩放图像相对原始图像的显著性信息完备性特征的过程具体为：

s403、所述缩放图像相对原始图像的显著性信息完备性特征f₃为：

式中，N_i和N_c分别为原始图像中重要区域和关键性区域像素点的总数；P_i和P_c分别为所述最小外包矩形中重要区域和关键性区域像素点的总数；α为预设的权重因子。

5.如权利要求1、2、3或者4所述的一种基于特征融合的图像缩放质量评价方法，其特征在于，所述步骤三中，除了步骤二中得到的三种特征，增加一种辅助特征f₄，即在原始图像I和缩放图像I_i之间的SIFT匹配点的个数。