CN103955934A - 一种结合图像显著性区域分割的图像模糊检测算法 - Google Patents

Abstract

本发明涉及一组新的结合图像显著性区域分割的图像模糊判别特征，以及基于该组特征的图像模糊检测算法。它基于图像全局区域特征和关注区域特征的无参考图像的模糊估计；对于图像的特征，使用了图像不同分辨率下梯度跳变和图像非零二阶导数的绝对值的均值作为区别图像模糊与否的判别特征；对于图像的分割，利用显著性检测算法进行图像的分割。本发明根据人眼显著性区域，利用显著性检测算法进行图像的分割，这种分割更加符合人眼对于图像模糊与否的判断；对于显著性检测算法的选择，本发明选择了基于二维log-gaborwavelets的显著性检测算法，它更加适用于对模糊图像的估计与检测。

Description

一种结合图像显著性区域分割的图像模糊检测算法

技术领域

本发明属于模式识别及机器学习领域，具体涉及一组新的结合图像显著性区域分割的图像模糊判别特征,以及基于该组特征的图像模糊检测算法。

背景技术

模糊图像检测是近年来新产生的技术需求。随着数码相机等大众化的成像设备的普及，在我们身边出现了越来越多的数字图像，普通用户个人电子相册里的图像已经数以万计，其中很多图像是存在多种失真的，模糊失真是其中重要的一类。实际应用中，人们期望能够由计算机在大量的图像库中自动识别出模糊图像，从而去除低质量的图像，提高存储效率。另一方面，低质量图像识别在图像搜索中也具有重要价值，人们不仅希望搜索引擎能够检索到相似图像，同时也能够将质量较高的图像排序尽可能靠前，从而提高图像利用效率。

由于模糊检测是在没有高质量图像可参考条件下，对图像模糊程度或者质量进行判断，因此，传统的基于均方误差(MeanSquareError,MSE)和峰值信噪比(PeakSignaltoNoiseRatio,PSNR)以及基于结构相似度(StructuralSimilarity,SSIM)的图像质量评价方法都需要参考原始无失真图像内容，难以应用于模糊图像识别中。目前的无参考质量评价虽然能够一定程度上对图像质量作出评测，但是目前的方法往往是根据图像全局或者局部特征，没有考虑到人对于内容的主观感受，无参考图像质量评测的性能还不能满足实际需求，还需要进一步提高。

发明内容

本发明要解决的技术问题是建立图像模糊评测的特征集，以此基于该特征集来进行模糊图像的识别。本发明提出了一组新的结合图像显著性区域分割的图像模糊判别特征和一种基于该组特征的图像模糊判别算法。

本发明的技术方案是这样实现的：

一种结合图像显著性区域分割的图像模糊检测算法，基于图像全局区域特征和关注区域特征的无参考图像的模糊估计；对于图像的特征，使用了图像不同分辨率下梯度跳变和图像非零二阶导数的绝对值的均值作为区别图像模糊与否的判别特征；对于图像的分割，利用显著性检测算法进行图像的分割。

本发明采用了基于二维log-gaborwavelets的saliencymap的分割算法进行图像分割得到图像的关注区域。

本发明对于图像的特征，提出了基于图像非零二阶导数的绝对值的均值的特征；对于图像的分割，本发明根据人眼显著性区域，利用显著性检测算法进行图像的分割，这种分割更加符合人眼对于图像模糊与否的判断；对于显著性检测算法的选择，本发明选择了基于二维log-gaborwavelets的显著性检测算法，它更加适用于对模糊图像的估计与检测。

附图说明

图1是模糊图像退化过程图：图1(1)原始图，图1(2)滤波后的模糊图，图1(3)再滤波后的模糊图；

图2是人物图像和商品图像：图2(1)是商品图像，图2(2)是人物图像；

图3是以飞机图片为例四种算法处理后的结果：图3(1)原图，图3(2)SR(基于频谱残差)，图3(3)WM(基于二维小波)，图3(4)FC(频域法)，图3(5)MSS(基于最大对称环绕)；

图4是图片分割示意图：图4(1)商品图分割示意，图4(2)前景清晰背景模糊类图分割示意，图4(3)模糊类图分割示意，图4(4).复杂背景类图分割示意；

图5是图像非零二阶导数的均值计算框图；

图6是v_mg、v_g及组合特征的ROC曲线图；

图7是sv_mg、sv_g及组合特征的ROC曲线图。

具体实施方式

本发明涉及一种新的基于人眼显著性区域的图像模糊估计和一种新的图像模糊估计的图像特征。

清晰图像和模糊图像在某些统计特性上存在较大差异，我们根据已有工作基础，研究了图像不同尺度下的梯度变化特征和图像二阶统计特征，并进一步考虑到人对于不同图像关注内容的不同，建立了能够有效区分模糊图像和清晰图像的全局特征和局部特征；最后，我们利用这些特征，采用学习方式，建立有效的模糊图像和清晰图像的分类器。

对于图像特征，我们首先对清晰图像和模糊图像分别进行再模糊，然后统计图像在不同尺度下的梯度跳变。如图1所示，我们发现，清晰图像与其再模糊后的图像间的梯度跳变要明显大于模糊图像与其再模糊图像间的梯度跳变，这是因为模糊图像中高频内容较少，经过低通滤波再模糊后图像高频变化不大，而清晰图像经过低通滤波后损失较多的高频，反映到梯度上就出现了较为明显的变化。同时，结合实际观测，我们发现模糊图像边缘相对清晰图像变化缓慢，该变化过程的速度可以利用图像的二阶导数反映，如图1所示。

基于上述统计规律，我们提出图像模糊评测的两种全局特征：图像不同尺度下梯度跳变值和图像非零二阶倒数的绝对值的均值。计算过程公式如下，其中F为图像的亮度图，低通滤波器为： $\mathrm{hv}=\frac{1}{9}\×\left[111111111\right],h_h=\mathrm{transpose}\left(h_v\right)={h_v}^{\′}:$

B_Ver＝h_v*FB_Hor＝h_h*F

D_F_Ver(i,j)＝Abs(F(i,j)-F(i-1,j))fori＝1tom-1,j＝0ton-1

D_F_Hor(i,j)＝Abs(F(i,j)-F(i,j-1))forj＝1ton-1,i＝0tom-1

D_B_Ver(i,j)＝Abs(B_Ver(i,j)-B_Ver(i-1,j))fori＝1tom-1,j＝0ton-1

D_B_Hor(i,j)＝Abs(B_Hor(i,j)-B_Hor(i,j-1))forj＝1ton-1,i＝0tom-1

V_Ver＝Max(0,D_F_Ver(i,j)-D_B_Ver(i,j))fori＝1tom-1,j＝1ton-1

V_Hor＝Max(0,D_F_Hor(i,j)-D_B_Hor(i,j))fori＝1tom-1,j＝1ton-1

$\begin{array}{cc}s\_F_{\mathrm{Ver}}=\underset{i,j=1}{\overset{m-1,n-1}{\mathrm{\Σ}}}D\_F_{\mathrm{Ver}}(i,j)& s\_F_{\mathrm{Hor}}=\underset{i,j=1}{\overset{m-1,n-1}{\mathrm{\Σ}}}D\_F_{\mathrm{Hor}}(i,j)\end{array}$

$\begin{array}{cc}s\_V_{\mathrm{Ver}}=\underset{i,j=1}{\overset{m-1,n-1}{\mathrm{\Σ}}}D\_V_{\mathrm{Ver}}(i,j)& s\_V_{\mathrm{Hor}}=\underset{i,j=1}{\overset{m-1,n-1}{\mathrm{\Σ}}}D\_V_{\mathrm{Hor}}(i,j)\end{array}$

$\begin{array}{cc}b\_F_{\mathrm{Ver}}=\frac{s\_F_{\mathrm{Ver}}-s\_V_{\mathrm{Ver}}}{s\_F_{\mathrm{Ver}}}& b\_F_{\mathrm{Hor}}=\frac{s\_F_{\mathrm{Hor}}-s\_V_{\mathrm{Hor}}}{s\_F_{\mathrm{Hor}}}\end{array}$

blur__F＝Max(b_F_Ver,b_F_Hor)

对于图像非零二阶导数的均值，计算框图如图5所示。

$\frac{1}{\mathrm{HW}}\underset{i,j}{\mathrm{\Σ}}\left|\frac{{\∂}^{2}f}{\∂x\∂y}\right|=\frac{1}{\mathrm{HW}}\underset{i,j}{\mathrm{\Σ}}\left|\frac{{\∂}^{2}f}{\∂y\∂x}\right|=\frac{1}{\mathrm{HW}}\underset{i,j}{\mathrm{\Σ}}|f(i+1,j+1)+f(i,j)-f(i,j+1)-f(i+1,j)|$

|f(i+1,j+1)+f(i,j)-f(i,j+1)-f(i+1,j)|≠0其中H，W为图像的尺寸。

但是仅仅利用图像全局特征，不能反映人对于图像模糊与清晰的真实感受，例如，实际图像中，往往是聚焦的区域图像清晰，而背景区域模糊，这类图像很多情况下人们认为是高质量的清晰图像，如图2所示的人物图像和商品图像等。因此，我们建立了基于显著性区域的图像局部特征，用于识别模糊图像与清晰图像。考虑到显著性区域图像清晰，我们利用人眼显著区域检测算法，将图像中人眼关注的区域分割出来。对显著区域进行图像不同尺度下梯度跳变值和图像非零二阶倒数的绝对值的均值两个特征的计算，得到图像两个局部特征。这种基于显著性分割的局部特征更加符合人眼对于图像模糊与否的判断，可以进一步提高特征的模糊估计准确性。综上所述，我们提出了以下全局特征、局部特征、组合特征中所包括的共六个特征来进行图像的模糊检测：

全局特征：

1)整幅图像不同分辨率下梯度跳变v_mg，该值模糊图像应该较小，

2)整幅图像非零二阶导数的绝对值的均值v_g，该值模糊图像应该较小；

局部特征：

1)显著性区域不同分辨率下梯度跳变sv_mg，值模糊图像应该较小，

2)关注区域图像非零二阶导数的绝对值的均值sv_g，值模糊图像应该较小；

为提高判断的准确性，我们将这几个特征进行组合，构成以下两组组合特征：

组合特征：

1)整幅图像不同分辨率下梯度跳变和图像非零二阶导数的绝对值的均值，即v_mg和v_g的组合，

2)显著性区域不同分辨率下梯度跳变和显著区域图像非零二阶导数的绝对值的均值，即sv_mg和sv_g的组合。

对于人眼显著性区域的检测分割，我们对比了四种的显著性区域检测的算法:

1)SR(基于频谱残差)2)WM(基于二维小波)3)FC(频域法)4)MSS(基于最大对称环绕)

我们通过实验比较这四种算法，找到最适合进行显著性区域分割的算法，实验结果如图3所示。

分割的目的在于提取显著性区域，进而建立局部特征。因此，分割应尽可能的减少显著性区域和非显著性区域两部分的交叠。若小部分的非显著区域被错误的分割到显著区域，不影响局部特征的有效性；但如果显著区域部分被分割到非显著区域，对于有些图像，特别是商品图，局部特征的效果将会受到影响。综上所述，WM算法是最适合的。

通过计算得到的saliencymap是灰度图，进行二值化处理后才可得到最终的分割图。大量文献里提到分割经验阈值是像素平均值乘以3,但此阈值并不适合我们的分割要求。根据大量图像实验，最终把分割阈值设为25。如附图4所示，是对不同类的图像进行分割的示例。

算法计算时间：

该算法分割每幅图像的时间大约为0.1秒左右，效率高。

具体算法实施方式：

本发明的基本思想是，通过对图像进行显著区域分割，建立图像的局部特征，通过计算分割后各部分的特征值，来进行图像模糊估计。结合本发明的一个具体实施方式如下：

一.对原图像进行适当的缩放。由于图像模糊与否跟图像的大小分辨率有关，一副清晰的小图像放大之后会变成模糊的图像。因此，我们统一选择最大边小于500且大于200的图像；对于最大边大于500的图像，我们利用双线性插值算法按比例将最大边缩放到500。

二.利用WM的saliencymap算法将图像分割成关注区和非关注区。

三.计算各部分图像的特征：

1)整幅图像不同分辨率下梯度跳变v_mg

2)图像非零二阶导数的绝对值的均值v_g

3)关注区域图像梯度跳变sv_mg

4)关注区域图像非零二阶导数的绝对值的均值sv_g

四.设定阈值，判断图像模糊还是清晰。

我们利用百度公司提供的300幅模糊程度很高的图像进行实验。300幅模糊图像与700幅清晰图像构成数据集，我们将数据集均分，每组500幅，分别作为训练集和测试集(模糊图像比例为30％)进行实验。图像数据集中包含了各种图像，包括：商品图，前景清晰背景模糊类图，模糊类图，复杂背景类图等等。为了检测以上特征的有效性，我们利用支持向量机(SVM)来建立分类器，对不同特征，利用RBF(RadialBasisFunction)核函数进行分类器训练。

首先，我们对图像的特征值进行缩放，并用网格搜索寻找能得到最大化交叉验证准确率的参数(惩罚系数C，与RBF核函数的参数)。之后，我们在此基础之上，利用SVM和图像特征训练分类器，我们分别利用每个特征训练分类器，然后测试集上进行测试，整体的测试结果表明，我们的算法可以在recall为0.5时acc接近90％。

实验结果如下：

表1图像的特征值与最优参数

Features	Bestc	Bestg	Bestacc
				v_mg	0.57435	1	79.8％
sv_mg	1.7411	147.0334	81.8％
				v_g	1	3.0314	80.2％
sv_g	48.5029	0.10882	81.2％
				[v_mg+v_g]	0.10882	3.0314	81.4％
(sv_mg+sv_g)	16	256	71.8％

v_mg、v_g及组合特征的ROC曲线图见图6，sv_mg、sv_g及组合特征的ROC曲线图见图7。

实验结果表明我们提出的算法具有如下特点：

(1)速度快，该算法计算每幅图像特征的时间大约为0.1秒左右，时间主要用在图像分割中。

(2)检测范围广，不涉及模糊原因的建模，没有任何附加条件，能够在实际环境中检测多种类型的模糊图像。

(3)可扩展性好。

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些具体实施方式仅是举例说明，本领域的技术人员在不脱离本发明的原理和实质的情况下，可以对上述方法和系统的细节进行各种省略、替换和改变。例如，合并上述方法步骤，从而按照实质相同的方法执行实质相同的功能以实现实质相同的结果则属于本发明的范围。因此，本发明的范围仅由所附权利要求书限定。

Claims (4)

1.一种结合图像显著性区域分割的图像模糊检测算法，基于图像全局区域特征和关注区域特征的无参考图像的模糊估计；对于图像的特征，使用了图像不同分辨率下梯度跳变和图像非零二阶导数的绝对值的均值作为区别图像模糊与否的判别特征；对于图像的分割，利用显著性检测算法进行图像的分割。

2.根据权利要求1所述的图像模糊检测算法，其特征在于：采用了基于二维log-gaborwavelets的saliencymap的分割算法进行图像分割得到图像的关注区域。

3.根据权利要求1所述的图像模糊检测算法，其特征在于：进行图像的模糊检测包括：

全局特征：

1)整幅图像不同分辨率下梯度跳变v_mg，该值模糊图像较小，

2)整幅图像非零二阶导数的绝对值的均值v_g，该值模糊图像较小；

局部特征：

1)显著性区域不同分辨率下梯度跳变sv_mg，值模糊图像较小，

2)关注区域图像非零二阶导数的绝对值的均值sv_g，值模糊图像较小；

将上述几个特征进行组合，构成以下两组组合特征：

1)整幅图像不同分辨率下梯度跳变和图像非零二阶导数的绝对值的均值，即v_mg和v_g的组合，

2)显著性区域不同分辨率下梯度跳变和显著区域图像非零二阶导数的绝对值的均值，即sv_mg和sv_g的组合。

4.根据权利要求1、2或3所述的图像模糊检测算法，其特征在于：采用svm分类器判别图像模糊与否。