CN104616310A - 一种图像质量的评估方法和装置 - Google Patents

Abstract

本发明提供一种图像质量的评估方法和装置。所述方法包括：对原始图像进行双边滤波处理，生成第一滤波图像；对所述原始图像对应的待评估图像进行双边滤波处理，生成第二滤波图像；将所述第一滤波图像与所述第二滤波图像进行相减运算，获得残差图像；并计算所述残差图像的熵；计算所述原始图像对应的第一噪声边缘图像和计算所述待评估图像对应的第二噪声边缘图像；计算所述第一噪声边缘图像和第二噪声边缘图像之间的差异，生成峰值信噪比；根据所述残差图像的熵和所述峰值信噪比，对所述待评估图像的质量进行评估，生成评估值，并输出。本发明能够提高图像评估的准确性。

Description

一种图像质量的评估方法和装置

技术领域

本发明涉及图像处理领域，特别是指一种图像质量的评估方法和装置。

背景技术

数字图像作为信息传递的媒介，在获取、编码、传输、处理及显示等过程中均有可能产生一定程度的失真。为了满足各类系统的应用需求，例如召开视频会议系统，必须对所传输数字图像的质量进行有效评价。

目前，主流的图像质量评估方法包括主观图像质量评估方法和客观图像质量评估方法。相对于客观图像质量评估方法，主观图像质量评估方法能够较为准确地反映人的视觉感知。但是，在该方法中，需要大量测试人员的参与，不同测试人员会受到主观因素的影响，例如身体状况、心理情绪等，导致主观图像质量评估方法较难实施。

客观图像质量评估方法通过建立相关数学模型，然后对测试图像进行运算，得到相关数字评价结果，在一定程度上可以代替主观图像质量评估方法，并被广泛应用于图像处理的各个领域。

根据对原始图像的参考程度，客观图像质量评估方法可分为全参考、半参考和无参考三种类型。全参考客观图像质量评估方法是以原始图像作为依据，通过不同数学模型计算失真图像与原始图像之间的差异，并通过不同的客观评价指标来衡量这种差异。基于结构相似度的算法(Structural Similarity，SSIM)是一种基于结构失真的图像质量评估方法，其理论基础是人类视觉系统能够高度自适应地提取出图像中的结构信息，取得了较好地图像质量评价结果。基于对信息论的理解，现有技术中有信息保真度准则和视觉信息保真度两种方法，其计算依据主要是原始图像与失真图像之间的交互信息。但是，在现有方法中，对于图像中所存在的噪声考虑不足。

发明内容

本发明要解决的技术问题是，提供一种图像质量的评估方法和装置，提高图像质量评估的准确度。

为解决上述技术问题，本发明的实施例提供一种图像质量的评估方法，包括：

对原始图像进行双边滤波处理，生成第一滤波图像；

对所述原始图像对应的待评估图像进行双边滤波处理，生成第二滤波图像；

将所述第一滤波图像与所述第二滤波图像进行相减运算，获得残差图像；并计算所述残差图像的熵；

计算所述原始图像对应的第一噪声边缘图像和计算所述待评估图像对应的第二噪声边缘图像；

计算所述第一噪声边缘图像和第二噪声边缘图像之间的差异，生成峰值信噪比；

根据所述残差图像的熵和所述峰值信噪比，对所述待评估图像的质量进行评估，生成评估值，并输出。

另一方面，提供一种图像质量的评估装置，包括：

第一滤波单元，对原始图像进行双边滤波处理，生成第一滤波图像；

第二滤波单元，对所述原始图像对应的待评估图像进行双边滤波处理，生成第二滤波图像；

第一计算单元，将所述第一滤波图像与所述第二滤波图像进行相减运算，获得残差图像；并计算所述残差图像的熵；

第二计算单元，计算所述原始图像对应的第一噪声边缘图像和计算所述待评估图像对应的第二噪声边缘图像；

第三计算单元，计算所述第一噪声边缘图像和第二噪声边缘图像之间的差异，生成峰值信噪比；

评估单元，根据所述残差图像的熵和所述峰值信噪比，对所述待评估图像的质量进行评估，生成评估值，并输出。

所述第一滤波单元具体为：

$g(i,j)=\frac{{\mathrm{\Σ}}_{k,l}f(k,l)w(i,j,k,l)}{{\mathrm{\Σ}}_{k,l}w(i,j,k,l)};$

其中，(i,j)为所述原始图像中像素点的坐标值；

g(i,j)为所述原始图像中坐标值为(i,j)处的像素点在双边滤波后对应的第一滤波图像的像素点的像素灰度值；

(k,l)为所述原始图像的像素点在双边滤波模板下对应的第一滤波图像的像素点的坐标值；

f(k,l)为所述原始图像中坐标值为(k,l)处的像素点对应的第一滤波图像的像素点的像素灰度值；

w(i,j,k,l)为所述原始图像中坐标值为(i,j)处的像素点在双边滤波模板下对应的第一滤波图像的坐标值为(k,l)处的像素点的权重系数。

本发明的上述技术方案的有益效果如下：

在本发明中，通过双边滤波将图像分为噪声图像和滤波图像，而人眼观察外在事物的视觉过程符合低通滤波特性，因此本发明的方法与人眼视觉机理是吻合的。进一步将噪声图像进行分离，可以充分考虑到不同情况下噪声对于图像质量评价的影响。本发明与主观评估方法相关性较高，尤其是在有噪声的环境中，可应用于各类视频会议系统的图像质量评价当中。

附图说明

图1为本发明所述的一种图像质量的评估方法的流程示意图；

图2为本发明所述的一种图像质量的评估装置的连接示意图；

图3是本发明实施例的具体流程图；

图4是噪声图像的下采样方法示意图；

图5是实施例中的原始图像；

图6是实施例中的失真图像；

图7是实施例中的滤波图像A；

图8是实施例中的滤波图像B；

图9是实施例中的残差图像；

图10是实施例中的噪声图像A；

图11是实施例中的噪声图像B；

图12是实施例中的噪声边缘图像A；

图13是实施例中的噪声边缘图像B。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

如图1所示，为本发明所述的一种图像质量的评估方法，包括：

步骤11，对原始图像进行双边滤波处理，生成第一滤波图像。步骤11具体根据以下公式计算：

$g(i,j)=\frac{{\mathrm{\Σ}}_{k,l}f(k,l)w(i,j,k,l)}{{\mathrm{\Σ}}_{k,l}w(i,j,k,l)};$

其中，(i,j)为所述原始图像中像素点的坐标值；

g(i,j)为所述原始图像中坐标值为(i,j)处的像素点在双边滤波后对应的第一滤波图像的像素点的像素灰度值；

(k,l)为所述原始图像的像素点在双边滤波模板下对应的第一滤波图像的像素点的坐标值；

f(k,l)为所述原始图像中坐标值为(k,l)处的像素点对应的第一滤波图像的像素点的像素灰度值；

w(i,j,k,l)为所述原始图像中坐标值为(i,j)处的像素点在双边滤波模板下对应的第一滤波图像的坐标值为(k,l)处的像素点的权重系数。

所述权重系数w(i,j,k,l)为定义域核与值域核之间的乘积；

定义域核根据以下公式计算生成：

$d(i,j,k,l)=\exp (-\frac{{(i-k)}^2+{(j-l)}^2}{2{\mathrm{\δ}}_d^2});$

其中，d(i,j,k,l)为定义域核；δ_d为定义域核的方差；

值域核根据以下公式计算生成：

$r(i,j,k,l)=\exp (-\frac{{\left|\right|f(i,j)-f(k,l)\left|\right|}^2}{2{\mathrm{\δ}}_r^2});$

其中，r(i,j,k,l)为值域核；δ_r为值域核的方差；

f(i,j)为所述原始图像的坐标值为(i,j)处的像素点对应的第一滤波图像的像素点的像素灰度值；

f(k,l)为所述原始图像的坐标值为(k,l)处的像素点对应的第一滤波图像的像素点的像素灰度值。

δ_d和δ_r可以根据经验选取，为一常数。δ_d中的d和d(i,j,k,l)的d为定义域，δ_r和r(i,j,k,l)中的r为值域。

步骤12，对所述原始图像对应的待评估图像进行双边滤波处理，生成第二滤波图像；

步骤13，将所述第一滤波图像与所述第二滤波图像进行相减运算，获得残差图像；并计算所述残差图像的熵。

所述计算所述残差图像的熵的步骤具体为：

$H=-\underset{e=1}{\overset{E}{\mathrm{\Σ}}}{p}_e\left(r_e\right)\log p_e\left(r_e\right);$

其中，H为所述残差图像的熵；

e为所述残差图像中一像素灰度值在所述残差图像中所有像素灰度值中的序号；也可以理解为，e为残差图像中像素灰度值的编号；初始编号时建立了e和r_e的对应关系。例如，残差图像中的像素灰度值共有100种，那么可以按照从小到大对不同的像素灰度值进行编号，分别是1至100(也可以按照别的排序规则排序)。

E为所述残差图像中所有像素点的所有不同数值的像素灰度值的总数目；

r_e为所述残差图像的序号为e的像素灰度值，其范围是[-255,255]；

p_e(r_e)为所述残差图像中像素灰度值为r_e的像素点数量与所述残差图像中所有像素点的总数目之间的比值。也就是说，p_e(r_e)＝r_e/残差图像中所有像素点的总数目。

步骤14，计算所述原始图像对应的第一噪声边缘图像和计算所述待评估图像对应的第二噪声边缘图像。

其中，计算所述原始图像对应的第一噪声边缘图像的步骤包括：

步骤141，将所述原始图像与所述第一滤波图像进行相减运算，生成第一噪声图像；

步骤142，对所述第一噪声图像进行下采样，对下采样后的所述第一噪声图像进行梯度运算，生成第一噪声边缘图像。

其中，对下采样后的所述第一噪声图像进行梯度运算，生成第一噪声边缘图像的步骤具体为：

$\mathrm{grad}(x,y)=\sqrt{{\mathrm{grad}}_x(x,y)+\mathrm{gra}{d}_y(x,y)};$

计算出所有坐标点下对应的梯度大小grad(x,y)，由其组成了第一噪声边缘图像。

其中，grad_x(x,y)根据以下公式计算：grad_x(x,y)＝I(x,y+1)-I(x,y)；

grad_y(x,y)根据以下公式计算：grad_y(x,y)＝I(x+1,y)-I(x,y)；

其中，g ra d(x,y)为所述第一噪声边缘图像在(x,y)处的像素点；

I(x,y)为下采样后的所述第一噪声图像在(x,y)处的像素点。

步骤15，计算所述第一噪声边缘图像和第二噪声边缘图像之间的差异，生成峰值信噪比。其中，步骤5具体为：

$\mathrm{PSNR}=10\log \left[\frac{{255}^2}{\underset{x=0}{\overset{i-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{j-1}{\mathrm{\Σ}}}{[\tilde{f}(x,y)-f(x,y)]}^2}\right]$

其中，PSNR为峰值信噪比；

i为所述第一噪声边缘图像和所述第二噪声边缘图像的行数；

j为所述第一噪声边缘图像和所述第二噪声边缘图像的列数；

f(x,y)为所述第一噪声边缘图像在(x,y)处的的像素点；

为所述第二噪声边缘图像在(x,y)处的的像素点。

也就是说，一幅数字图像可以理解为是一矩阵，i和j分别是这个矩阵的行数与列数，(x,y)是该矩阵下对应像素的坐标值。第一噪声边缘图像的像素点在坐标(x,y)处可以表示f(x,y)，第二噪声边缘图像的像素点在坐标(x,y)处可以表示

步骤16，根据所述残差图像的熵和所述峰值信噪比，对所述待评估图像的质量进行评估，生成评估值，并输出。

其中，根据所述残差图像的熵和所述峰值信噪比，对所述待评估图像的质量进行评估，生成评估值的步骤具体为：

IQA＝k₁H+k₂PSNR；

其中，IQA为评估值；

H为所述残差图像的熵；

PSNR为峰值信噪比；

k1为残差图像的熵的权重；

k2为峰值信噪比的权重。

如图2所示，为本发明所述的一种图像质量的评估装置，包括：

第一滤波单元21，对原始图像进行双边滤波处理，生成第一滤波图像；

第二滤波单元22，对所述原始图像对应的待评估图像进行双边滤波处理，生成第二滤波图像；

第一计算单元23，将所述第一滤波图像与所述第二滤波图像进行相减运算，获得残差图像；并计算所述残差图像的熵；

第二计算单元24，计算所述原始图像对应的第一噪声边缘图像和计算所述待评估图像对应的第二噪声边缘图像；

第三计算单元25，计算所述第一噪声边缘图像和第二噪声边缘图像之间的差异，生成峰值信噪比；

评估单元26，根据所述残差图像的熵和所述峰值信噪比，对所述待评估图像的质量进行评估，生成评估值，并输出。

所述第一滤波单元21具体为：

$g(i,j)=\frac{{\mathrm{\Σ}}_{k,l}f(k,l)w(i,j,k,l)}{{\mathrm{\Σ}}_{k,l}w(i,j,k,l)};$

其中，(i,j)为所述原始图像中像素点的坐标值；

g(i,j)为所述原始图像中坐标值为(i,j)处的像素点在双边滤波后对应的第一滤波图像的像素点的像素灰度值；

(k,l)为所述原始图像的像素点在双边滤波模板下对应的第一滤波图像的像素点的坐标值；

f(k,l)为所述原始图像中坐标值为(k,l)处的像素点对应的第一滤波图像的像素点的像素灰度值；

w(i,j,k,l)为所述原始图像中坐标值为(i,j)处的像素点在双边滤波模板下对应的第一滤波图像的坐标值为(k,l)处的像素点的权重系数。

实施例1

以下结合图3描述本发明的实施例1。

一种基于双边滤波的全参考图像质量评估方法，包括步骤：

步骤31，对原始图像进行双边滤波，其结果表示为滤波图像A；

步骤32，对失真图像进行双边滤波，其结果表示为滤波图像B；

步骤33，将滤波图像A与滤波图像B进行相减，获得残差图像，并计算残差图像的熵，该结果作为综合质量评价的依据之一；

步骤34，将原始图像与滤波图像A进行相减，获得噪声图像A；

步骤35，将失真图像与滤波图像B进行相减，获得噪声图像B；

步骤36，对噪声图像A进行下采样及梯度运算，获得噪声边缘图像A；

步骤37，对噪声图像B进行下采样及梯度运算，获得噪声边缘图像B；

步骤38，计算噪声边缘图像A和噪声边缘图像B之间的差异，该差异通过PSNR来衡量，该结果作为综合质量评价的依据之一；

步骤39，结合步骤33和步骤38中的结果，对失真图像质量进行综合评价。

其中，步骤1中，双边滤波的计算方法如下：

$g(i,j)=\frac{{\mathrm{\Σ}}_{k,l}f(k,l)w(i,j,k,l)}{{\mathrm{\Σ}}_{k,l}w(i,j,k,l)}$

g(i,j)代表像素点坐标为(i,j)处双边滤波的结果，f(k,l)代表了在双边滤波模板下对应坐标为(k,l)处输入图像像素灰度值。

权重系数w(i,j,k,l)取决于

定义域核

$d(i,j,k,l)=\exp (-\frac{{(i-k)}^2+{(j-l)}^2}{2{\mathrm{\δ}}_d^2})$

和值域核

$r(i,j,k,l)=\exp (-\frac{{\left|\right|f(i,j)-f(k,l)\left|\right|}^2}{2{\mathrm{\δ}}_r^2});$

的乘积

$w(i,j,k,l)=\exp (-\frac{{(i-k)}^2+{(j-l)}^2}{2{\mathrm{\δ}}_d^2}-\frac{{\left|\right|f(i,j)-f(k,l)\left|\right|}^2}{2{\mathrm{\δ}}_r^2})$

双边滤波的结果取决于双边滤波器模板大小，δ_r和δ_d分别为定义域核和值域核的方差。

步骤33中，计算残差图像的熵(H)，其计算公式如下：

$H=-\underset{e=1}{\overset{E}{\mathrm{\Σ}}}{p}_e\left(r_e\right)\log p_e\left(r_e\right)$

r_k代表残差图像的像素灰度值，其范围是[-255,255]。p_k(r_k)代表残差图像中像素灰度值为r^k的像素占所有像素数目的比例。

步骤36包括:

步骤361,对噪声图像A进行下采样，下采样方法如图4所示。

步骤362,对于输入图像I(x,y)，梯度大小(grad)计算方法如下：

grad_x(x,y)＝I(x,y+1)-I(x,y)

grad_y(x,y)＝I(x+1,y)-I(x,y)

$\mathrm{grad}(x,y)=\sqrt{{\mathrm{grad}}_x(x,y)+\mathrm{gra}{d}_y(x,y)}$

这里我们把梯度大小(grad(x,y))简称为梯度。输入图像I(x,y)既可以是本步骤中的噪声图像A下采样后的结果，也可以是步骤7中的噪声图像B下采样后的结果。

步骤38中，峰值信噪比(Peak Signal to Noise Ratio，PSNR)的计算方法如下：

$\mathrm{PSNR}=10\log \left[\frac{{255}^2}{\underset{x=0}{\overset{i-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{j-1}{\mathrm{\Σ}}}{[\tilde{f}(x,y)-f(x,y)]}^2}\right]$

和f(x,y)分别代表噪声边缘图像A和噪声边缘图像B。

其中，步骤39中，综合评价结果(IQA)可以通过下式进行计算：

IQA＝k₁H+k₂PSNR

k1和k2分别用于调整H和PSNR的权重，为一常数。H和PSNR分别由步骤33和步骤38计算得到。

本发明属于全参考灰度图像质量评估方法，从分离噪声的角度出发，通过双边滤波方法将图像分为滤波图像和噪声图像，并通过对滤波图像和噪声图像分别进行评估，以评估结果为依据进行综合质量评价。所采用的滤波方法是一种非线性的双边滤波方法，在分离噪声的同时可以较好地保护边缘。

与现有技术相比，本发明具有如下优点和有益效果：

本发明中，首先通过双边滤波将图像分为噪声图像和滤波图像，而人眼观察外在事物的视觉过程符合低通滤波特性，因此本发明的方法与人眼视觉机理是吻合的。进一步将噪声图像进行分离，可以充分考虑到不同情况下噪声对于图像质量评价的影响。与主观评价结果相关性较好，尤其是在有噪声的环境中，可应用于各类视频会议系统的图像质量评价。也就是说，为了能够将噪声从图像中分离，我们选用了双边滤波方法(Bilateral Filtering for Gray andColor Images.IEEE International Conference on Computer Vision)，该方法可以有效地分离噪声，同时较好地保护图像边缘。在该方法中，通过双边滤波将原始图像和失真图像均分为噪声图像和滤波图像(失真图像)。进一步对滤波图像和噪声图像分别进行评估，以评估结果为依据进行综合质量评价。

实施例2

本发明基于双边滤波的全参考图像质量评估方法，具体步骤如下：

步骤41：对原始图像进行双边滤波，其结果表示为滤波图像A；

本步骤进一步包括子步骤：

步骤411：首先获得原始图像，图像大小不宜过大，建议不超过1024*1024；

步骤412：原始图像坐标(i,j)处对应像素的双边滤波计算方法如下：

$g(i,j)=\frac{{\mathrm{\Σ}}_{k,l}f(k,l)w(i,j,k,l)}{{\mathrm{\Σ}}_{k,l}w(i,j,k,l)}$

g(i,j)代表像素点坐标为(i,j)处双边滤波的结果，f(k,l)代表了在双边滤波模板下对应坐标为(k,l)处输入图像像素灰度值。

权重系数w(i,j,k,l)取决于

定义域核

$d(i,j,k,l)=\exp (-\frac{{(i-k)}^2+{(j-l)}^2}{2{\mathrm{\δ}}_d^2})$

和值域核

$r(i,j,k,l)=\exp (-\frac{{\left|\right|f(i,j)-f(k,l)\left|\right|}^2}{2{\mathrm{\δ}}_r^2})$

的乘积

$w(i,j,k,l)=\exp (-\frac{{(i-k)}^2+{(j-l)}^2}{2{\mathrm{\δ}}_d^2}-\frac{{\left|\right|f(i,j)-f(k,l)\left|\right|}^2}{2{\mathrm{\δ}}_r^2})$

双边滤波的结果取决于双边滤波器模板大小，δ_d和δ_r分别为定义域核和值域核的方差。

例如，在本实施例中，双边滤波器定义为7×7，δ_d为3，δ_r为0.1。

假设中心点的坐标为(0,0)，此时i＝10,j＝4，则定义域核对应的7×7矩阵行列坐标k和l范围分别为[7,13]和[1,7]，定义域核通过矩阵形式可表示为

0.3679	0.4857	0.5738	0.6065	0.5738	0.4857	0.3679
							0.4857	0.6412	0.7575	0.8007	0.7575	0.6412	0.4857
0.5738	0.7575	0.8948	0.9460	0.8948	0.7575	0.5738
							0.6065	0.8007	0.9460	1	0.9460	0.8007	0.6065
0.5738	0.7575	0.8948	0.9460	0.8948	0.7575	0.5738
							0.4857	0.6412	0.7575	0.8007	0.7575	0.6412	0.4857
0.3679	0.4857	0.5738	0.6065	0.5738	0.4857	0.3679

对输入图像的每个像素(假设其坐标为(i,j)，此时假设i＝10,j＝4)，提取出其周围7×7邻域信息，将该领域信息通过一矩阵来表示，矩阵中心点坐标为(i,j)，邻域像素坐标(k,l)的范围分别是[7,13]和[1,7]，同时将该矩阵的像素归一化到0至1之间。一幅图像中坐标为(i,j)像素的周围7×7邻域信息如下所示：

0.2588	0.1961	0.1725	0.1882	0.1882	0.1765	0.4902
							0.2588	0.2000	0.1882	0.1922	0.1882	0.1843	0.4902
0.2667	0.2157	0.2235	0.2235	0.2235	0.2118	0.5137
							0.2941	0.2157	0.2118	0.2235	0.2235	0.2118	0.4863
0.2745	0.2000	0.1961	0.2000	0.2000	0.1922	0.4706
							0.2471	0.2039	0.2118	0.2118	0.2039	0.1961	0.4706
0.2784	0.2392	0.2471	0.2471	0.2314	0.2118	0.4706

值域核通过矩阵的形式可表示为：

0.9396	0.9630	0.8781	0.9396	0.9396	0.8952	0.0286
							0.9396	0.9727	0.9396	0.9520	0.9396	0.9260	0.02857
0.9112	0.9969	1.0000	1.0000	1.0000	0.9931	0.0148
							0.7795	0.9969	0.9931	1.0000	1.0000	0.9931	0.0317
0.8781	0.9727	0.9630	0.9727	0.9727	0.9520	0.0473
							0.9727	0.9810	0.9931	0.9931	0.9810	0.9630	0.0473
0.8601	0.9878	0.9727	0.9727	0.9969	0.9931	0.0473

权重系数w(i,j,k,l)可表示为：

0.3457	0.4677	0.5038	0.5699	0.5391	0.4348	0.0105
							0.4563	0.6237	0.7117	0.7623	0.7117	0.5937	0.0139
0.5228	0.7551	0.8948	0.9460	0.8948	0.7522	0.0085
							0.4728	0.7983	0.9394	1.0000	0.9460	0.7952	0.0192
0.5038	0.7368	0.8618	0.9201	0.8704	0.7211	0.0271
							0.4724	0.6290	0.7522	0.7952	0.7430	0.6175	0.0230
0.3164	0.4797	0.5581	0.5900	0.5720	0.4823	0.0174

滤波图像A在像素坐标为(10,4)处对应像素的滤波结果可计算为g(10,4)＝0.2158。

步骤413：对原始图像所有像素按照步骤步骤412进行运算，得到整幅图像的滤波结果。

步骤42，对失真图像进行双边滤波，其结果表示为滤波图像B；

本步骤对应的子步骤与步骤411——步骤412相同。

步骤43，将滤波图像A与滤波图像B进行相减，获得残差图像，并计算残差图像的熵，该结果作为综合质量评价的依据之一；

步骤43进一步包括子步骤：

步骤4331：计算残差图像，其方法如下：

$\tilde{g}(i,j)=g_A(i,j)-g_B(i,j)$

g_A(i,j)和g_B(i,j)分别代表滤波图像A和滤波图像B。

步骤432：计算残差图像的熵，其方法如下：

$H=-\underset{e=1}{\overset{E}{\mathrm{\Σ}}}{p}_e\left(r_e\right)\log p_e\left(r_e\right)$

k代表残差图像中像素灰度值的数目，r_k代表残差图像的像素灰度值，其范围是[-255,255]。p_k(r_k)代表残差图像中像素灰度值为r_k的像素占所有像素数目的比例。

步骤44，将原始图像f(i,j)与滤波图像A g_A(i,j)进行相减，获得噪声图像A f_noiseA(i,j)，其范围是[-255,255]；

f_noiseA(i,j)＝f(i,j)-g_A(i,j)

步骤45，采用与步骤44相同的方法，将失真图像与滤波图像B进行相减，获得噪声图像B f_noiseB(i,j)；

步骤46，对噪声图像A进行下采样及梯度运算，获得噪声边缘图像A；

步骤46进一步包括子步骤：

步骤461，对噪声图像A进行下采样，下采样方法如图5所示，其结果用f_dA(i,j)表示.在本实施例中，为了简单起见，其图像大小为噪声图像A的一半。如何进行有效下采样可灵活选择。

步骤462，对于下采样图像f_dA(i,j)，梯度大小(grad)计算方法如下：

f_dAgrad_x＝f_dA(i,j+1)-f_dA(i,j)

f_dAgrad_y＝f_dA(i+1,j)-f_dA(i,j)

$f_{\mathrm{dA}}\mathrm{grad}(i,j)=\sqrt{{\mathrm{grad}}_x(i,j)+\mathrm{gra}{d}_y(i,j)}$

步骤47，对噪声图像B进行下采样及梯度运算，获得噪声边缘图像Bf_dBgrad(i,j)；

本步骤的子步骤与步骤461和步骤462相同。

步骤48，计算噪声边缘图像A和噪声边缘图像B之间的差异，该差异通过PSNR来衡量，该结果作为综合质量评价的依据之一。

步骤48进一步包括子步骤：

$\mathrm{PSNR}=10\log \left[\frac{{255}^2}{\underset{x=0}{\overset{i-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{j-1}{\mathrm{\Σ}}}{[f_{\mathrm{dA}}\mathrm{grad}(i,j)-f_{\mathrm{dB}}\mathrm{grad}(i,j)]}^2}\right]$

步骤49，结合步骤43和步骤48中的结果，对失真图像质量进行综合评价(IQA)。

步骤49进一步包括子步骤：

综合评价结果(IQA)可以通过下式进行计算：

IQA＝k₁H+k₂PSNR

k1和k2分别用于调整H和PSNR的权重，为一常数。H和PSNR分别由S32和S8计算得到。这里默认参数值为k1＝-1，k2＝k₂＝1/10。

实施例3

步骤51，原始图像和失真图像分别如附图5和附图6所示，图像大小为512×384。失真图像通过对原始图像先经过JPEG压缩，然后添加高斯噪声获得。

步骤52，原始图像经过双边滤波后的图像(滤波图像A)如附图7所示。

步骤53，失真图像经过双边滤波后的图像(滤波图像B)如附图8所示。

步骤54，滤波图像A与滤波图像B的残差图像如附图9所示，残差图像的熵为6.3598。

步骤55，将原始图像A与滤波图像A相减，获得的噪声图像A如附图10所示。

步骤56，将原始图像B与滤波图像B相减，获得的噪声图像B如附图11所示。

步骤57，对噪声图像A进行下采样及梯度运算，获得噪声边缘图像A如附图12所示。

步骤58，对噪声图像B进行下采样及梯度运算，获得噪声边缘图像B如附图13所示。

步骤59，计算噪声边缘图像A和噪声边缘图像B之间PSNR值，其大小为87.2593。

步骤510，k1＝-1，k2＝1/10，进一步可计算出综合评价结果IQA为2.3661。

实施例4

原始图像和失真图像均来自于TID2008图像数据库(TID2008-A databasefor evaluation of full-reference visual quality assessment metrics[J].Advances of Modern Radioelectronics)。失真类型分别选用了高斯噪声、空间噪声、高频噪声、量化噪声、JPG压缩失真、JP2压缩失真、JPG压缩错误及J2K压缩错误。

为了证明本方法的有效性，我们同时对PSNR、FSIM及SSIM指标进行了计算，其实验结果如表1所示。采用Spearman相关系数评价指标评价相关指标与主观评分指标Mos的相关性。Spearman相关系数越大，表明相关性越强。从实验结果中可以看出，在有噪声情况下，例如高斯噪声、空间噪声、高频噪声时，本方法与主观结果相关性最强；在由于编码导致图像失真时(例如JPG和J2K)，本方法性能优于PSNR评价指标；在由于信道噪声导致压缩错误时(例如JPG压缩错误和J2K压缩错误)，本方法与FSIM评价指标性能相似，优于其他评估方法。

表1实验结果

在本发明中，首先通过双边滤波将图像分为噪声图像和滤波图像，而人眼观察外在事物的视觉过程符合低通滤波特性，因此本发明的方法与人眼视觉机理是吻合的。进一步将噪声图像进行分离，可以充分考虑到不同情况下噪声对于图像质量评价的影响。本发明与主观评估方法相关性较高，尤其是在有噪声的环境中，可应用于各类视频会议系统的图像质量评价当中。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种图像质量的评估方法，其特征在于，包括：

对原始图像进行双边滤波处理，生成第一滤波图像；

对所述原始图像对应的待评估图像进行双边滤波处理，生成第二滤波图像；

将所述第一滤波图像与所述第二滤波图像进行相减运算，获得残差图像；并计算所述残差图像的熵；

计算所述原始图像对应的第一噪声边缘图像和计算所述待评估图像对应的第二噪声边缘图像；

计算所述第一噪声边缘图像和第二噪声边缘图像之间的差异，生成峰值信噪比；

根据所述残差图像的熵和所述峰值信噪比，对所述待评估图像的质量进行评估，生成评估值，并输出。

2.根据权利要求1所述的方法，其特征在于，所述对原始图像进行双边滤波处理，生成第一滤波图像的步骤具体为：

$g(i,j)=\frac{{\mathrm{\Σ}}_{k,l}f(k,l)w(i,j,k,l)}{{\mathrm{\Σ}}_{k,l}w(i,j,k,l)};$

其中，(i,j)为所述原始图像中像素点的坐标值；

g(i,j)为所述原始图像中坐标值为(i,j)处的像素点在双边滤波后对应的第一滤波图像的像素点的像素灰度值；

(k,l)为所述原始图像的像素点在双边滤波模板下对应的第一滤波图像的像素点的坐标值；

f(k,l)为所述原始图像中坐标值为(k,l)处的像素点对应的第一滤波图像的像素点的像素灰度值；

w(i,j,k,l)为所述原始图像中坐标值为(i,j)处的像素点在双边滤波模板下对应的第一滤波图像的坐标值为(k,l)处的像素点的权重系数。

3.根据权利要求2所述的方法，其特征在于，所述权重系数w(i,j,k,l)为定义域核与值域核之间的乘积；

定义域核根据以下公式计算生成：

$d(i,j,k,l)=\exp (-\frac{{(i-k)}^2+{(j-l)}^2}{2{\mathrm{\δ}}_d^2});$

其中，d(i,j,k,l)为定义域核；δ_d为定义域核的方差；

值域核根据以下公式计算生成：

$r(i,j,k,l)=\exp (-\frac{{\left|\right|f(i,j)-f(k,l)\left|\right|}^2}{2{\mathrm{\δ}}_r^2});$

其中，r(i,j,k,l)为值域核；δ_r为值域核的方差；

f(i,j)为所述原始图像的坐标值为(i,j)处的像素点对应的第一滤波图像的像素点的像素灰度值；

f(k,l)为所述原始图像的坐标值为(k,l)处的像素点对应的第一滤波图像的像素点的像素灰度值。

4.根据权利要求1所述的方法，其特征在于，所述计算所述残差图像的熵的步骤具体为：

$H=-\underset{e=1}{\overset{E}{\mathrm{\Σ}}}{p}_e\left(r_e\right)\log p_e\left(r_e\right);$

其中，H为所述残差图像的熵；

e为所述残差图像中一像素灰度值在所述残差图像中所有像素灰度值中的序号；

E为所述残差图像中所有像素点的所有不同数值的像素灰度值的总数目；

r_e为所述残差图像的序号为e的像素灰度值，其范围是[-255,255]；

p_e(r_e)为所述残差图像中像素灰度值为r_e的像素点数量与所述残差图像中所有像素点的总数目之间的比值。

5.根据权利要求1所述的方法，其特征在于，所述计算所述第一噪声边缘图像和第二噪声边缘图像之间的差异，生成峰值信噪比的步骤具体为：

$\mathrm{PSNR}=101g\left[\frac{{255}^2}{\underset{x=0}{\overset{i-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{j-1}{\mathrm{\Σ}}}{[\tilde{f}(x,y)-f(x,y)]}^2}\right]$

其中，PSNR为峰值信噪比；

i为所述第一噪声边缘图像和所述第二噪声边缘图像的行数；

j为所述第一噪声边缘图像和所述第二噪声边缘图像的列数；

f(x,y)为所述第一噪声边缘图像在(x,y)处的的像素点；

为所述第二噪声边缘图像在(x,y)处的的像素点。

6.根据权利要求1所述的方法，其特征在于，所述计算所述原始图像对应的第一噪声边缘图像的步骤包括：

将所述原始图像与所述第一滤波图像进行相减运算，生成第一噪声图像；

对所述第一噪声图像进行下采样，对下采样后的所述第一噪声图像进行梯度运算，生成第一噪声边缘图像。

7.根据权利要求6所述的方法，其特征在于，所述对下采样后的所述第一噪声图像进行梯度运算，生成第一噪声边缘图像的步骤具体为：

$\mathrm{grad}(x,y)=\sqrt{{\mathrm{grad}}_x(x,y)+{\mathrm{grad}}_y(x,y)};$

其中，grad_x(x,y)根据以下公式计算：grad_x(x,y)＝I(x,y+1)-I(x,y)；

grad_y(x,y)根据以下公式计算：grad_y(x,y)＝I(x+1,y)-I(x,y)；

其中，grad(x,y)为所述第一噪声边缘图像在(x,y)处的像素点的像素灰度值；

I(x,y)为下采样后的所述第一噪声图像在(x,y)处的像素点的像素灰度值。

8.如权利要求1所述的方法，所述根据所述残差图像的熵和所述峰值信噪比，对所述待评估图像的质量进行评估，生成评估值的步骤具体为：

IQA＝k₁H+k₂PSNR；

其中，IQA为评估值；

H为所述残差图像的熵；

PSNR为峰值信噪比；

k1为残差图像的熵的权重；

k2为峰值信噪比的权重。

9.一种图像质量的评估装置，其特征在于，包括：

第一滤波单元，对原始图像进行双边滤波处理，生成第一滤波图像；

第二滤波单元，对所述原始图像对应的待评估图像进行双边滤波处理，生成第二滤波图像；

第一计算单元，将所述第一滤波图像与所述第二滤波图像进行相减运算，获得残差图像；并计算所述残差图像的熵；

第二计算单元，计算所述原始图像对应的第一噪声边缘图像和计算所述待评估图像对应的第二噪声边缘图像；

第三计算单元，计算所述第一噪声边缘图像和第二噪声边缘图像之间的差异，生成峰值信噪比；

评估单元，根据所述残差图像的熵和所述峰值信噪比，对所述待评估图像的质量进行评估，生成评估值，并输出。

10.根据权利要求9所述的装置，其特征在于，所述第一滤波单元具体为：

$g(i,j)=\frac{{\mathrm{\Σ}}_{k,l}f(k,l)w(i,j,k,l)}{{\mathrm{\Σ}}_{k,l}w(i,j,k,l)};$

其中，(i,j)为所述原始图像中像素点的坐标值；

g(i,j)为所述原始图像中坐标值为(i,j)处的像素点在双边滤波后对应的第一滤波图像的像素点的像素灰度值；

(k,l)为所述原始图像的像素点在双边滤波模板下对应的第一滤波图像的像素点的坐标值；

f(k,l)为所述原始图像中坐标值为(k,l)处的像素点对应的第一滤波图像的像素点的像素灰度值；

w(i,j,k,l)为所述原始图像中坐标值为(i,j)处的像素点在双边滤波模板下对应的第一滤波图像的坐标值为(k,l)处的像素点的权重系数。