CN101441768A - 基于结构失真和图像清晰度的图像质量评价方法 - Google Patents

Abstract

本发明公开了一种基于结构失真和图像清晰度的图像质量评价方法，该方法在基于结构失真的图像质量评价方法的基础上，提出结合图像清晰度与结构失真的图像质量评价方法，从而实现了从影响图像质量评价的主要因素即亮度、清晰度以及相关度对图像质量进行评价。本发明基于结构失真和清晰度的图像质量评价方法在客观评价图像时更能与人眼主观感觉相一致，并且由于所选用的计算关系式较为简单，只涉及到原始图像与失真图像像素之间的计算，所以该方法能够快速有效的对图像质量进行评价。

Description

基于结构失真和图像清晰度的图像质量评价方法

技术领域

本发明属于图像质量评价领域，特别是涉及一种基于图像的亮度、清晰度和相关度的客观图像质量评价算法。

背景技术

图像质量评价是图像处理系统的关键技术之一，对图像的质量进行评价是一种复杂的心理活动，有很多因素影响到对图像质量好坏的判断。如果将这些因素分别提取并应用于对图像的客观评价中将能很好的对图像质量进行判定。这些因素主要有：①亮度，适当的亮度是人观察图像的基本条件，亮度过强或者过弱都会引起图像质量的下降；②清晰度，人们常用模糊，清晰等词汇来描述图像的质量。从频域角度看，只有当一幅图像的高低频信息比例适当时会有清晰的感觉；③相关度，即图像之间的相似程度。

图像质量评价方法可分为主观质量评价方法和客观质量评价方法两类。主观质量评价方法是指让观察者根据一些事先规定好的评价尺度或自己已有的经验，对待测试图像按视觉或主观印象提出质量判断，并给出质量分值。最常用的主观质量评价方法有主观平均分(MOS)，该方法已经应用多年。然而，MOS方法往往受到观察者本身因素的影响，而且进行视觉心理测试经常需要花费的时间较长，对观察环境有一定的限制。因此，目前在图像质量评价中主要使用客观质量评价方法。这几乎在所有有关图像质量评价的文献和研究论文中均有论述。图像的客观质量评价方法是指用再现图像偏离原始图像的误差来衡量再现图像的质量。其主要是应用数学模型来表示视觉对图像的主观感受。数学模型的应用使得图像的客观质量评价具有快速、稳定、易于被量化的特点，传统的图像客观质量评价通常基于与标准图像的灰度差异越大质量退化越严重的思想，具有代表性的方法有均方误差(MSE)、峰值信噪比(PSNR)、图像清晰度、信息熵(H)等。这些常用的客观质量评价方法虽然看起来简单直观，数学表达严格，但是其评价结果往往与人的主观感觉不一致。主要原因在于PSNR值和MSE值都是从总体上反映原始图像和测试图像的差别，其反映的是图像误差的整体统计特性，却并不能反映图像误差的局部统计特性，更不能反映少数像素点有较大灰度差别和多数像素点有较小灰度差别的特性。

Zhou Wang等学者提出了一种基于结构失真的图像质量评价方法。该图像质量评价指标将图像质量降低模拟为结构失真而不是误差。该方法是一个简单有效的质量评价算法，这种评价模型的优点是对图像处理过程中的相关性、亮度失真和反差等因素进行分析研究，而这些因素正是人们评价图像输出质量的重要依据。Q的动态范围为[-1，1]。只有当i＝1，2，...，N都有yi＝xi时，Q才能达到最佳值1。然而，基于结构失真的图像质量评价模型在评价失真图像质量时，也有一定的缺陷性。其主要原因在于该模型没有考虑人眼视觉系统中的对比敏感度对图像评价的影响。人眼视觉系统的对比敏感度主要反映在图像的清晰度等方面。

图像的清晰度是指刻画图像特征的清晰程度，也就是特征(边缘)与其背景区域的对比度。清晰度是用来反映图像边缘或点特征的扩散程度的度量，扩散程度越大，清晰度越低，扩散程度越小，清晰度越高。定量评价清晰度的指标较多。目前，最为成熟的清晰度评价方法是调制传递函数(MTF—Modulation Transfer Function)，但是MTF的测定较为复杂。为了简捷，快速的反映整幅影像的清晰度变化，引入了全局点锐度算法作为一种近似的清晰度评价依据。该评价参数与数字成像系统的MTF值变化有较好的正相关关系，能够准确，快速的反应数字图像清晰度变化的趋势。

图像的清晰度不但反映了人眼视觉系统中的对比敏感度对图像评价的影响，而且考虑了人眼对于对角线方向的敏感度要低于水平和垂直方向等因素。但是，对于引进噪声的失真图像，并非图像清晰度值越高图像的主观视觉越好，原因在于图像的清晰度是对图像本身像素之间的计算，它并没有考虑到失真图像与原始图像的相关性。

发明内容

为了客服上述现有技术的不足，本发明提供一种结构失真和图像清晰度的图像质量评价方法。

实现本发明目的采用的技术方案是：一种考虑图像的亮度、清晰度和相关度等因素的客观图像质量评价算法，包括以下步骤：

(1)计算原始图像与失真图像的均值x，y，利用关系式

来计算原始图像与失真图像的平均亮度逼近度，其中，x，y分别代表原始图像与失真图像， $\stackrel{\‾}{x}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{x}_i,$ $\stackrel{\‾}{y}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{y}_i.$ 平均亮度逼近度的取值范围为[0，1]，只有当x＝y时，其值为1。

(2)计算原始图像与失真图像的均方误差σ_x，σ_y，σ_xy，利用关系式

来计算原始图像与失真图像的线性相关度。其中，x，y分别代表原始图像与失真图像， ${\mathrm{\σ}}_x={\left[\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(x_i-\stackrel{\‾}{x})}^2\right]}^{1/2},$ ${\mathrm{\σ}}_y={\left[\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(y_i-\stackrel{\‾}{y})}^2\right]}^{1/2},$ ${\mathrm{\σ}}_{\mathrm{xy}}=\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(x_i-\stackrel{\‾}{x})(y_i-\stackrel{\‾}{y}),$ 线性相关度的动态范围为[-1，1]。

(3)计算原始图像与失真图像的均方误差σ_x ²，σ_y ²，σ_xy，利用关系式来计算原始图像与失真图像的相似度。其取值范围也为[0，1]，只有当σ_x＝σ_y时取得最佳值1。

(4)计算原始图像与失真图像的单位距离增量的灰度变化幅值df/dx，利用关系式 $P=\frac{\underset{i=1}{\overset{m\×n}{\mathrm{\Σ}}}\underset{a=1}{\overset{8}{\mathrm{\Σ}}}|\mathrm{df}/\mathrm{dx}|}{m\×n}$ 来计算原始图像与失真图像的清晰度。清晰度的值域为[0，255)，值越大，清晰度越高。

(5)综合上述图像质量评价参数，定义基于结构失真和清晰度的图像质量评价指标 $\mathrm{PQ}=\frac{{\mathrm{\σ}}_{\mathrm{xy}}}{{\mathrm{\σ}}_x{\mathrm{\σ}}_y}\·\frac{2\stackrel{\‾}{\mathrm{xy}}}{{\stackrel{\‾}{x}}^2+{\stackrel{\‾}{y}}^2}\·\frac{{2\mathrm{\σ}}_x{\mathrm{\σ}}_y}{{{\mathrm{\σ}}_x}^2+{{\mathrm{\σ}}_y}^2}\·\frac{P}{255}.$ 该评价方法可以从图像的亮度、清晰度以及相关性三方面对图像质量进行综合评价。

本发明具有以下优点：

基于结构失真的图像质量评价方法将图像质量降低模拟为结构失真而不是误差，本发明在基于结构失真的图像质量评价方法的基础上，提出结合图像清晰度与结构失真的图像质量评价方法，从而实现了从影响图像质量评价的主要因素即亮度、清晰度以及相关度对图像质量进行评价。实验结果表明，基于结构失真和清晰度的图像质量评价方法在客观评价图像时更能与人眼主观感觉相一致。并且由于所选用的计算关系式较为简单，只涉及到原始图像与失真图像像素之间的计算，所以该算法能够快速有效的对图像质量进行评价。

附图说明

下面结合附图和具体实施例对本发明作进一步的说明。

图1为原始图像。

图2为图1中加入均匀分布随机噪声的图像。

图3为图1中加入高斯噪声的图像。

图4为模糊处理图1后的图像。

图5为压缩处理图1后的图像。

图6为原始图像。

图7为图6中加入均匀分布随机噪声的图像。

图8为图6中加入高斯噪声的图像。

图9为图6模糊处理后的图像。

图10为图6压缩处理的图像。

具体实施方式

本发明基于结构失真和图像清晰度的图像质量评价方法包括以下步骤：

(1)利用软件读入原始图像与失真图像，本实施例中选用Lena图为测试图像，如附图所示，图1为原始图像，图2为加入均匀分布随机噪声的图像，图3为加入高斯噪声的图像，图4为模糊处理的图像，图5为压缩处理的图像。此时，图像在软件中以矩阵的形式存储，若设图像大小为m×n，则矩阵的大小为m×n，在本实施例中，令N＝m×n，矩阵中的每个元素存储着对应图像的像素值。

(2)在本实施例的以下步骤中，令x，y分别代表原始图像与失真图像的像素值，对于各幅失真图像，分别与原始图像进行比较，计算每幅图对应的x，y，σ_x，σ_y，σ_xy，

(2-1)利用关系式

来计算原始图像与失真图像的平均亮度逼近度，其中，x，y分别代表原始图像与失真图像， $\stackrel{\‾}{x}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{x}_i,$ $\stackrel{\‾}{y}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{y}_i.$ 平均亮度逼近度的取值范围为[0，1]，只有当x＝y时，其值为1。

(2-2)利用关系式

来计算原始图像与失真图像的线性相关度。其中，x，y分别代表原始图像与失真图像， ${\mathrm{\σ}}_x={\left[\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(x_i-\stackrel{\‾}{x})}^2\right]}^{1/2},$ ${\mathrm{\σ}}_y={\left[\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(y_i-\stackrel{\‾}{y})}^2\right]}^{1/2},$ ${\mathrm{\σ}}_{\mathrm{xy}}=\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(x_i-\stackrel{\‾}{x})(y_i-\stackrel{\‾}{y}),$ 线性相关度的动态范围为[-1，1]。

(2-3)利用关系式

来计算原始图像与失真图像的相似度。其取值范围也为[0，1]，只有当σ_x＝σ_y时取得最佳值1。

(2-4)并通过公式 $Q=\frac{{\mathrm{\σ}}_{\mathrm{xy}}}{{\mathrm{\σ}}_x{\mathrm{\σ}}_y}\·\frac{2\stackrel{\‾}{\mathrm{xy}}}{{\stackrel{\‾}{x}}^2+{\stackrel{\‾}{y}}^2}\·\frac{{2\mathrm{\σ}}_x{\mathrm{\σ}}_y}{{{\mathrm{\σ}}_x}^2+{{\mathrm{\σ}}_y}^2}$ 得到各幅失真图像与原始图像相比的Q值。Q值反映了图像的平均亮度逼近度、线性相关度和相似度的指标。其中，令Q21、Q31、Q41、Q51分别代表失真图像图2，图3，图4，图5与原始图像图1相比计算得到的Q值，在本实施例中，Q21＝0.647，Q31＝0.647，Q41＝0.647，Q51＝0.647。

编程实现原始图像与失真图像的单位距离增量的灰度变化幅值df/dx的计算，利用关系式 $P=\frac{\underset{i=1}{\overset{m\×n}{\mathrm{\Σ}}}\underset{a=1}{\overset{8}{\mathrm{\Σ}}}|\mathrm{df}/\mathrm{dx}|}{m\×n}$ 来计算原始图像与失真图像的清晰度，清晰度的值域为[0，255)，值越大，清晰度越高。令P21、P31、P41、P51分别代表失真图2，图3，图4，图5与原始图像图1相比计算得到的P值，在本实施例中，P21＝16.7663，P31＝15.5805，P41＝4.9496，P51＝5.5059。

(3)基于结构失真和清晰度的图像质量评价指标 $\mathrm{PQ}=\frac{{\mathrm{\σ}}_{\mathrm{xy}}}{{\mathrm{\σ}}_x{\mathrm{\σ}}_y}\·\frac{2\stackrel{\‾}{\mathrm{xy}}}{{\stackrel{\‾}{x}}^2+{\stackrel{\‾}{y}}^2}\·\frac{{2\mathrm{\σ}}_x{\mathrm{\σ}}_y}{{{\mathrm{\σ}}_x}^2+{{\mathrm{\σ}}_y}^2}\·\frac{P}{255},$ PQ可以从图像的亮度、清晰度以及相关性三方面对图像质量进行综合评价。令PQ21、PQ31、PQ41、PQ51分别代表图2，图3，图4，图5与原始图像图1相比计算得到的PQ值，在本实施例中，PQ21＝0.04254，PQ31＝0.03953，PQ41＝0.01256，PQ51＝0.01662。

(4)本实施例还给出了失真图像图2，图3，图4，图5与原始图像图1相比计算得到的传统图像质量评价参数PSNR值，PSNR值由以下公式得出 $\mathrm{PSNR}=10{\log }_{10}\left(\frac{{255}^2\×M\×N}{{\mathrm{\Σ}}_{m,n}{(f(m,n)-b(m,n))}^2}\right).$ 其中，M×N为图像的大小，f(m，n)，b(m，n)分别代表原始图像与失真图像的对应像素值。PSNR21＝27.587，PSNR31＝22.885，PSNR41＝24.84，PSNR51＝25.523。

(5)结合附图，图2，图3，图4和图5，与原始图像图1相比，可以看出图2，图3，图4，图5的视觉效果并不一致，图2和图3的主观感觉要明显优于图4和图5。下表1为图2、图3、图4和图5的Q值、PSNR值和PQ值测试结果。表1中的PQ值正好反映了这一点，然而Q21＝Q31＝Q41＝Q51＝0.647。Q值以及PSNR值不能将各失真图像的差别体现出来，所以基于清晰度和结构失真的图像质量评价方法得出的结果更符合人眼的视觉感受。针对图6、图7、图8、图9和图10，重复上述的操作步骤，得出每幅图的Q值、PSNR值、PQ值测试结果，如表2所示。表2为图7、图8、图9和图10的Q值、PSNR值、PQ值测试结果。在Q值以及PSNR值不能将各失真图像的差别体现出来时，通过PQ值能直接评价出图像的质量。与原始图像图6相比，图7和图8的主观感觉要明显优于图9和图10。因此本发明方法基于清晰度和结构失真的图像质量评价方法得出的结果更符合人眼的视觉感受。

 

Lena图质量评价	图2	图3	图4	图5
					Q值	0.647	0.647	0.647	0.647
PSNR值	27.587	22.885	24.84	25.523
					PQ值	0.04254	0.03953	0.01256	0.01662

表1

 

Barbara图质量评价	图7	图8	图9	图10
					Q值	0.508	0.508	0.508	0.508
PSNR值	18.267	18.318	21.34	21.24
					PQ值	0.08017	0.07648	0.01012	0.01397

表2

Claims (5)

1.一种基于结构失真和图像清晰度的图像质量评价方法，其特征是在于包括以下步骤：

(1)计算原始图像与失真图像的均值x，y，利用关系式来计算原始图像与失真图像的平均亮度逼近度，其中x，y分别代表原始图像与失真图像的像素值， $\stackrel{\‾}{x}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{x}_i,$ $\stackrel{\‾}{y}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{y}_i;$

(2)计算原始图像与失真图像的均方误差σ_x，σ_y，σ_xy，利用关系式

来计算原始图像与失真图像的线性相关度，其中，x，y分别代表原始图像与失真图像的像素值， ${\mathrm{\σ}}_x={\left[\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(x_i-\stackrel{\‾}{x})}^2\right]}^{1/2},$ 　 ${\mathrm{\σ}}_y={\left[\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(y_i-\stackrel{\‾}{y})}^2\right]}^{1/2},$ 　 ${\mathrm{\σ}}_{\mathrm{xy}}=\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(x_i-\stackrel{\‾}{x})(y_i-\stackrel{\‾}{y});$

(3)计算原始图像与失真图像的均方误差σ_x ²，σ_y ²，σ_xy，利用关系式

来计算原始图像与失真图像的相似度，其取值范围也为[0，1]，只有当σ_x＝σ_y时取得最佳值1。

(4)计算原始图像与失真图像的单位距离增量的灰度变化幅值df/dx，利用关系式 $P=\frac{\underset{i=1}{\overset{m\×n}{\mathrm{\Σ}}}\underset{a=1}{\overset{8}{\mathrm{\Σ}}}|\mathrm{df}/\mathrm{dx}|}{m\×n}$ 来计算原始图像与失真图像的清晰度。

(5)综合上述图像质量评价参数，定义基于结构失真和清晰度的图像质量评价指标 $\mathrm{PQ}=\frac{{\mathrm{\σ}}_{\mathrm{xy}}}{{\mathrm{\σ}}_x{\mathrm{\σ}}_y}\·\frac{2\stackrel{\‾}{\mathrm{xy}}}{{\stackrel{\‾}{x}}^2+{\stackrel{\‾}{y}}^2}\·\frac{2{\mathrm{\σ}}_x{\mathrm{\σ}}_y}{{{\mathrm{\σ}}_x}^2+{{\mathrm{\σ}}_y}^2}\·\frac{P}{255},$ 该评价方法从图像的亮度、清晰度以及相关性三方面对图像质量进行综合评价。

2.根据权利要求1所述基于结构失真和图像清晰度的图像质量评价方法，其特征在于：平均亮度逼近度的取值范围为[0，1]，当x＝y时，其值为1。

3.根据权利要求1所述基于结构失真和图像清晰度的图像质量评价方法，其特征在于：线性相关度的动态范围为[-1，1]。

4.根据权利要求1所述基于结构失真和图像清晰度的图像质量评价方法，其特征在于：相似度取值范围也为[0，1]，当σ_x＝σ_y时取得最佳值1。

5.根据权利要求1所述基于结构失真和图像清晰度的图像质量评价方法，其特征在于：清晰度的值域为[0，255)。

Images