CN111489333B - 一种无参考夜间自然图像质量评价方法 - Google Patents

Abstract

本发明涉及一种无参考夜间自然图像质量评价方法，包括以下步骤；1)图像颜色及对比度特征提取；2)图像纹理特征提取；3)图像亮度特征提取；4)考虑到人类视觉系统多尺度特性，对夜间图像进行下采样，在两个尺度上对夜间图像进行特征提取过程，共得到28维特征向量，使用支持向量回归SVR建立夜间图像无参考质量评价模型，输入测试图像可获得相应的质量分数。

Description

一种无参考夜间自然图像质量评价方法

技术领域

本发明属于图像处理领域，尤其是设计一种夜间自然图像的无参考质量评价方法

背景技术

近年来，随着图像成像系统技术的提高，用户相较于以往能够获得画质更高的图像，得到更好的视觉体验。但是由于夜间图像在拍摄时处在低亮度环境下，因此夜间图像往往存在图像整体偏暗、对比度低、清晰度差等缺点，影响用户视觉体验的同时不利于后续图像处理。但目前鲜少有关于夜间图像质量评价的研究。本发明综合考虑夜间图像特点，基于颜色和对比度特征、纹理特征和亮度特征，提出一种无参考图像质量评价方法。

发明内容

本发明针对夜间图像的失真特点，提出一种无参考夜间自然图像质量评价方法，该方法与人类主观评价具有较高的一致性。技术方案如下：

一种无参考夜间自然图像质量评价方法，具体包括以下步骤。

1)图像颜色及对比度特征提取

给定一幅夜间图像I，首先计算对立色空间对比度能量：

其中e∈{gray,yb,rg},表示夜间图像I的颜色通道；gray＝0.299R+0.587G+0.114B，yb＝0.5(R+G)-B，rg＝R-G；α是ζ(I_e)的最大值，κ表示对比度增益，β_e表示给定颜色通道的噪声阈值；h_h和h_v是高斯函数水平和垂直方向的二阶导数，符号

表示卷积操作。获得夜间图像I三个通道的C_e后取均值，获得三个特征f1,f2,f3。

根据夜间图像I，对图像进行分块，在图像块上计算其对比度C_c：

求取均值和方差表示图像对比度特征f4,f5。

2)图像纹理特征提取

对于夜间图像I，首先计算其显著性图sal_color，然后计算夜间按照下式计算夜间图像I及其显著性图的信息熵表征图像包含的信息量的多少，获得纹理特征f6,f7：

E＝-∑p_i logp_i (4)

其中pi表示第i个像素值的概率。

采用增强算法对夜间图像进行增强获得增强图像I_E，利用Canny算子对夜间图像及其增强图像进行处理获得相应的边缘图像，使用增强图像与失真图像边缘图信息熵的差值来表示图像保留的边缘细节丰富程度：

E_d＝E_E-edge-E_edge (5)

其中E_E-edge表示增强图像边缘图的信息熵，E_edge表示夜间图像边缘图的信息熵，获得表示图像边缘细节的特征f8。

3)图像亮度特征提取

首先将夜间图像I由RGB颜色空间转换到Lab颜色空间，取L分量并归一化至[0,1]区间，然后将其划分为图像块，使用高，中，低三种亮度级来计算图像曝光以有效地对图像亮度变化进行建模，对于L空间的像素i，其曝光程度由高斯加权函数计算：

其中

i_t表示三个亮度阈值，即i_t＝0.2为低亮度阈值、i_t＝0.5为中亮度阈值、i_t＝0.8为高亮度阈值。采用减去均值的方法来对块曝光值其进行归一化：

NL_exp＝L_exp-μ_patch (7)

其中NL_exp表示去除局部均值后的归一化的曝光系数，μ_patch表示图像块曝光值的均值。

使用零均值广义高斯分布模型拟合像素曝光系数分布，在高，中，低三种亮度级的三个去除局部均值后的归一化的曝光系数分布拟合中分别提取广义高斯分布拟合的形状参数和方差作为反映图像曝光程度的特征，因此获得曝光特征f9,f10,f11,f12,f13,f14。

4)考虑到人类视觉系统多尺度特性，对夜间图像进行下采样，在两个尺度上对夜间图像进行特征提取过程，共得到28维特征向量，使用支持向量回归SVR建立夜间图像无参考质量评价模型，输入测试图像可获得相应的质量分数。

本发明提出了一种无参考夜间自然图像质量评价算法，其从色彩及对比度、纹理细节及亮度方面提取夜间图像特征，在此过程中引入了显著性图及夜间图像增强算法进而从新的角度提取图像特征。本发明复杂度低，与人类主观评分一致性强，优于目前存在的大多数主流算法。

附图说明

图1无参考夜间自然图像质量评价算法框架

具体实施方式

本发明提出了一种无参考夜间自然图像质量评价方法，算法框架如图1所示，具体流程如下。

1、图像特征提取及模型建立

(1)颜色和对比度特征提取

给定一幅图像I，首先计算对立色空间对比度能量：

其中e∈{gray,yb,rg},表示图像I的颜色通道；gray＝0.299R+0.587G+0.114B，yb＝0.5(R+G)-B，rg＝R-G；α是ζ(I_e)的最大值，κ表示对比度增益，β_e表示给定颜色通道的噪声阈值；h_h和h_v是高斯函数水平和垂直方向的二阶导数，符号

表示卷积操作。

获得图像I三个通道的C_e后取均值，获得三个特征f1,f2,f3。

根据图像I，对图像进行分块，在16×16的图像块上计算其对比度C_c：

根据各个图像块获得的C_c，求取均值和方差表示图像对比度特征f4,f5。

(2)图像纹理特征提取

对于图像I，首先计算其显著性图sal_color，然后计算图像及其显著性图的信息熵表征图像包含的信息量的多少，获得纹理特征f6,f7：

E＝-∑p_i logp_i \*MERGEFORMAT(11)

其中pi表示第i个像素值的概率。

采用增强算法对夜间图像进行增强获得增强图像I_E，利用Canny算子对夜间图像及其增强图像进行处理获得相应的边缘图像。对两幅边缘图分别利用公式(11)求信息熵，使用增强图像与失真图像边缘图信息熵的差值来表示图像保留的边缘细节丰富程度：

E_d＝E_E-edge-E_edge \*MERGEFORMAT(12)

其中E_E-edge表示增强图像边缘图的信息熵，E_edge表示夜间图像边缘图的信息熵。因此。获得表示图像边缘细节的特征f8。

(3)图像亮度特征提取

首先将图像I由RGB颜色空间转换到Lab颜色空间，转化过程如下。首先依据公式(13)-公式(17)将图像由RGB空间转换至XYZ颜色空间：

其中，r,g,b表示图像像素，gamma函数如下：

则XYZ颜色空间表示如下：

获得图像的XYZ颜色空间表示后，将其转换至Lab颜色空间：

其中f(·)函数表示如下：

将图像转换至Lab颜色空间后，取L分量并归一化至[0,1]区间，然后将其划分为图像块，使用三种亮度级(低、中、高)来计算图像曝光以有效地对图像亮度变化进行建模。对于L空间的像素i，其曝光程度由高斯加权函数计算：

其中

i_t表示三个亮度阈值，即i_t＝0.2(低阈值)、0.5(中阈值)、0.8(高阈值)。在各个图像块上计算好像素点的曝光值后，采用减去均值的方法来对其进行归一化：

NL_exp＝L_exp-μ_patch \*MERGEFORMAT(19)

其中NL_exp表示去除局部均值后的归一化的曝光系数，μ_patch表示图像块内的均值。

归一化的曝光系数的分布呈现拉普拉斯分布形状或高斯分布形状，因此使用零均值广义高斯分布模型拟合像素曝光系数分布，广义高斯模型如下：

其中参数γ控制广义高斯分布的形状，σ²控制广义高斯分布的方差。

可表示成公式(21)：

Γ(·)为gamma函数：

在三个曝光系数分布拟合中(低阈值、中阈值、高阈值)分别提取广义高斯分布拟合的形状参数和方差作为反映图像曝光程度的特征，因此获得曝光特征f9,f10,f11,f12,f13,f14。

考虑到人类视觉系统多尺度特性，因此对夜间图像进行下采样，在两个尺度上对图像进行上述特征提取过程，共得到28维特征向量。使用支持向量回归SVR建立夜间图像无参考质量评价模型，输入测试图像可获得相应的质量分数。

2、实验结果

本发明在夜间自然图像数据库NNID上进行实验验证。在实验操作中，随机选取数据库中80％图像作为训练数据训练图像质量评价模型，20％图像作为测试数据测试模型性能。为了保证实验结果的客观性，随机选取过程重复了1000次，且保证每次训练集中出现的图像不会出现在测试集中。选取国际通用的皮尔森线性相关系数PLCC(Pearson linearcorrelation coefficient)、斯皮尔曼排序相关系数SRCC(Spearman rank-ordercorrelation coefficient)、肯德尔秩相关系数KRCC(Kendall’s rank-ordercorrelation coefficient)和均方根误差RMSE(root mean-squared error)作为算法性能评价指标，其中PLCC、SRCC和KRCC的值越接近1，RMSE的值越接近0表明算法性能越好。实验结果表明，本算法在NNID数据库上的性能为：PLCC＝0.8798，SRCC＝0.8760，KRCC＝0.6891，RMSE＝0.0804。该算法性能优于目前存在的大多数主流算法。

本发明具有以下优点：

①本发明较好地解决了夜间图像质量评价问题，此前夜间图像质量评价问题并未引起广泛关注；

②本发明与人类主观评分有较强的一致性；

③本发明将显著性图引入到夜间图像质量评价问题中，且在特征提取过程中引入了夜间图像增强算法，从全新的角度提取图像特征。

Claims (1)

1.一种无参考夜间自然图像质量评价方法，具体包括以下步骤；

1)图像颜色及对比度特征提取

给定一幅夜间图像I，首先计算对立色空间对比度能量：

其中e∈{gray,yb,rg},表示夜间图像I的颜色通道；gray＝0.299R+0.587G+0.114B，yb＝0.5(R+G)-B，rg＝R-G；α是ζ(I_e)的最大值，κ表示对比度增益，β_e表示给定颜色通道的噪声阈值；h_h和h_v是高斯函数水平和垂直方向的二阶导数，符号

表示卷积操作；获得夜间图像I三个通道的C_e后取均值，获得三个特征f1,f2,f3；

根据夜间图像I，对图像进行分块，在图像块上计算其对比度C_c：

求取均值和方差表示图像对比度特征f4,f5；

2)图像纹理特征提取

对于夜间图像I，首先计算其显著性图sal_color，然后计算夜间按照下式计算夜间图像I及其显著性图的信息熵表征图像包含的信息量的多少，获得纹理特征f6,f7：

E＝-∑p_ilog p_i (4)

其中pi表示第i个像素值的概率；

采用增强算法对夜间图像进行增强获得增强图像I_E，利用Canny算子对夜间图像及其增强图像进行处理获得相应的边缘图像，使用增强图像与夜间图像边缘图信息熵的差值来表示图像保留的边缘细节丰富程度：

E_d＝E_E-edge-E_edge (5)

其中E_E-edge表示增强图像边缘图的信息熵，E_edge表示夜间图像边缘图的信息熵，获得表示图像边缘细节的特征f8；

3)图像亮度特征提取

首先将夜间图像I由RGB颜色空间转换到Lab颜色空间，取L分量并归一化至[0,1]区间，然后将其划分为图像块，使用高，中，低三种亮度级来计算图像曝光以有效地对图像亮度变化进行建模，对于L空间的像素i，其曝光程度由高斯加权函数计算：

其中

i_t表示三个亮度阈值，即i_t＝0.2为低亮度阈值、i_t＝0.5为中亮度阈值、i_t＝0.8为高亮度阈值；采用减去均值的方法来对块曝光值进行归一化：

NL_exp＝L_exp-μ_patch (7)

其中NL_exp表示去除局部均值后的归一化的曝光系数，μ_patch表示图像块曝光值的均值；

使用零均值广义高斯分布模型拟合像素曝光系数分布，在高，中，低三种亮度级的三个去除局部均值后的归一化的曝光系数分布拟合中分别提取广义高斯分布拟合的形状参数和方差作为反映图像曝光程度的特征，因此获得曝光特征f9,f10,f11,f12,f13,f14；

4)考虑到人类视觉系统多尺度特性，对夜间图像进行下采样，在两个尺度上对夜间图像进行特征提取过程，共得到28维特征向量，使用支持向量回归SVR建立夜间图像无参考质量评价模型，输入测试图像可获得相应的质量分数。

Images