CN104282028A - 一种频谱和倒谱信息融合的模糊图像检测方法 - Google Patents

Abstract

该发明公开了一种频谱和倒谱信息融合的模糊图像检测方法，属于图像处理技术领域，特别涉及各类模糊图像的检测技术。该方法首先计算图像的能量频谱分布和奇异倒谱值直方图特征，并将上述两特征作为图像的模糊特征；之后，选用支持向量机分类器区分清晰图像和模糊图像特征，利用已采集的带模糊类别标定的图像训练支持向量机分类器的相应参数；最终使用训练好的分类器检测待测试图像是否为模糊图像。上述方法最大的优点在于作为一种非参照模糊图像检测方法，不需要参照图像，因此有非常广泛的应用。同时，由于定义的模糊特征有明确的物理意义，因此能够准确地区分清晰和模糊图像。

Description

一种频谱和倒谱信息融合的模糊图像检测方法

技术领域

本发明属于图像处理技术领域，特别涉及各类模糊图像的检测技术。

背景技术

图像模糊检测一直是图像处理和计算机视觉的重要研究方向，它是指自动从输入图像序列中筛除存在模糊图像的过程。该技术在图像处理和计算机视觉领域都有非常广泛的应用，例如车牌识别、人脸识别、物体识别等问题中，都需要确保输入图像清晰，才能进一步提取有效的视觉特征进行识别。因此，在各类计算视觉和图像处理问题中，自动去除模糊图像是最为基础也至关重要的一个步骤。目前的图像模糊检测算法可以分为两个类别：(1)有参照模糊检测方法和(2)无参照模糊检测方法。

有参照模糊检测方法是指通过比较失真图像和参照(清晰)图像来评价失真图像的模糊程度，该方法是目前为止客观评价图像模糊程度中最可靠的方法。其中，基于均方误差、峰值信噪比、和归一化最小平方误差等的方法为常见的评价方法。这类方法计算简单，同时能有效评测失真图像的模糊程度。然而，由于在实际应用中参照图像通常无法得到，因此该类方法的应用范围非常有限。参见文献“Rony Ferzli and Lina J.Karam,Human Visual System BasedNo-Reference ObjectiveImage Sharpness Metric,2006IEEE International Conference on ImageProcessing,pp.2949-2952”。

非参照模糊图像检测方法是指不通过与参照(清晰)图像进行对比，直接根据模糊失真图像的特性定义检测指标，通过指标的数值判断图像是否模糊以及模糊程度。该类方法与有参照模糊图像检测方法相比，在检测准确性上略显不足。但是，由于该类方法不需要获取原始参照图像进行对比，应用范围很广。目前大多数研究工作都在针对如何寻找更有效的模糊检测指标而进行。参见文献“Pina Marziliano,Frederic Dufaux,Stefan Winkler and Touradj Ebrahimi,ANo-Reference Perceptual Blur Metric,2002IEEE International Conference on Image Processing,Vol.3,pp.57-60”。

发明内容

本发明的任务是提供一种频谱和倒谱信息融合的图像模糊检测方法。该方法首先计算图像的能量频谱分布和奇异倒谱值直方图特征，并将上述两特征作为图像的模糊特征；之后，选用支持向量机分类器区分清晰图像和模糊图像特征，利用已采集的带模糊类别标定的图像训练支持向量机分类器的相应参数；最终使用训练好的分类器检测待测试图像是否为模糊图像。上述方法最大的优点在于作为一种非参照模糊图像检测方法，不需要参照图像，因此有非常广泛的应用。同时，由于定义的模糊特征有明确的物理意义，因此能够准确地区分清晰和模糊图像。

为了方便地描述本发明内容，首先对一些术语进行定义。

定义1：数字图像。由数组或矩阵表示图像，其光照位置和强度都是离散值。

定义2：傅里叶变换。傅里叶变换是一种分析信号成分的方法。在本专利中用到的二维离散傅里叶变换定义为：

$F(u,v)=\underset{x=0}{\overset{P-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{Q-1}{\mathrm{\Σ}}}f(x,y)e^{-j2\mathrm{\π}(\frac{\mathrm{ux}}{P}+\frac{\mathrm{vy}}{Q})}$

其中f(x,y),x＝1,…,P,y＝1,…,Q为二维时域信号，F(u，v)为其傅里叶变化。傅里叶反变换定义如下：

$f(x,y)=\underset{u=0}{\overset{P-1}{\mathrm{\Σ}}}\underset{v=0}{\overset{Q-1}{\mathrm{\Σ}}}F(u,v)e^{j2\mathrm{\π}(\frac{\mathrm{ux}}{P}+\frac{\mathrm{vy}}{Q})}$

定义3：频带。信号包含的最高频率与最低频率这之间的频率范围。

定义4：起止频率。频带包含的最低频率。

定义5：截止频率。频带包含的最高频率。

定义6：能量谱密度分布。一种描述不同频带上图像能量分布的描述子。

定义7：倒谱。功率谱对数值的反傅氏变换称为倒谱，又称作功率倒频谱。

定义8：奇异倒谱直方图。定义一幅图像的倒谱幅值较大的点为倒谱奇异值点，这些奇异值点对应的倒谱值分布直方图为奇异倒谱直方图。

定义9：核函数。在机器学习中，核函数通常用于计算在变换后特征空间中两个向量的内积，它避免了在高维空间或者无限维数空间的计算。常用的核函数包括：

线性核函数：k(x，x′)＝x^Tx′，

高斯核函数：k(x，x′)＝exp(-‖x-x′‖²/2σ²)，

其中x,x′为两个原空特征间中的输入特征，σ为高斯核函数的参数。

定义10：Mercer定理。对于任意的输入特征x₁，...，x_N,已选择的核函数k(·，·)，定义格拉姆矩阵：

$K=\left[\begin{array}{ccc}k(x_1,x_1)& ...& k(x_1,x_N)\\ .& .& .\\ .& .& .\\ .& .& .\\ k(x_N,x_1)& ...& k(x_N,x_N)\end{array}\right]$

当K满足半正定条件时，即满足Mercer定理。

定义11：模糊特征。用于区分图像清晰和模糊而定义的图像频谱和倒谱特征。

定义12：分类器。在模式识别中用于区分两类模式的判别函数，函数的输入通常为样本模式，输出为{+1,-1}，分别代表不同的类别。

定义13：支持向量机分类器。分类器的一种类型，其表达式为：

$y\left(x\right)=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{a}_n{y}_{n}k(x,x_n)+b$

其中，为训练样本的模式，为训练样本的类别标定，和b为支持向量机分类器的参数，k(·，·)为核函数。

定义14：错分率。用于统计分类器性能的重要指标，由错分样本数与总测试样本数相除得到。

定义15：LibSVM工具包。一个简单、易于使用和快速有效的支持向量机识别与回归的软件包。

本发明的技术方案是一种频谱和倒谱信息融合的模糊图像检测方法，它包含以下步骤：

步骤1：任意选取摄像头采集的N+M幅同类数字图像其中N幅训练样本图像，M幅测试样本图像，训练样本图像和测试样本图像中都包含模糊图像和清晰图像(两者比例接近)，代表第n幅大小为p×Q的图像；

步骤2：对步骤1中得到的N+M幅数字图像根据其模糊与否进行人工标定，若第n幅图像为模糊图像，则令其对应的标定变量y_n＝1，否则y_n＝-1；

步骤3：对于每一幅数字图像表示其中任意一像素点的灰度值，(x,y)为该像素点的坐标位置，进行与算子(-1)^x+y的相乘运算以保证傅里叶变换之后的零频部分位于频谱图像的中心，得到

步骤4：对每一变换后的图像进行二维离散傅里叶变换，

$F_n(u,v)=\underset{x=0}{\overset{P-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{Q-1}{\mathrm{\Σ}}}{I\′}_n(x,y)e^{-j2\mathrm{\π}(\frac{\mathrm{ux}}{P}+\frac{\mathrm{vy}}{Q})},u=\mathrm{0,1,2},...,P-1;v=\mathrm{0,1,2},...,Q-1$

其中F_n(u，v)表示I′_n的二维离散傅里叶变换，u，v为傅里叶变换后的空间坐标；

步骤5：计算每一图像的能量谱密度分布其中：

$h_{\mathrm{nd}}=\frac{1}{N_d}\underset{(u,v)\∈R_d}{\mathrm{\Σ}}{\left|F_n(u,v)\right|}^2,d=\mathrm{1,2},...,D$

其中 $R_d=\left\{(u,v)\right|{\mathrm{\γ}}_{d-1}\≤{(u-\frac{P}{2})}^2+{(v-\frac{Q}{2})}^2\≤{\mathrm{\γ}}_d\}$ 表示第d个频带，γ_d-1为d个频带的起始频率，γ_d为第d个频带的截止频率，N_d是位于第d个频带内点的数目；

步骤6：计算每一图像的倒谱

其中代表反傅里叶反变换，|F_n(u，v)|为第n幅图像傅里叶变换F_n(u，v)的模，倒谱具体表达式为：

$C_n(x,y)=\frac{1}{\mathrm{PQ}}{\mathrm{\Σ}}_{u=0}^{P-1}{\mathrm{\Σ}}_{v=0}^{Q-1}\log \left|F_n(u,v)\right|e^{j2\mathrm{\π}(\frac{\mathrm{ux}}{P}+\frac{\mathrm{vy}}{Q})}\text{,x=0,1,2,...,P-1;y=0,1,2,...,Q-1;}$

步骤7：计算每一图像对应的奇异倒谱直方图

s_nl＝#{C_n(x，y)|C_n(x，y)＜0,τ_l-1≤C_n(x,y)≤τ_l},l＝1,2...,L

运算符#表示落入第l个区间的倒谱点的数目，τ_l-1和τ_l分别是第l个倒谱取值区间的开始和结束边界。

步骤8：对于每一图像定义由能量谱密度分布和奇异倒谱直方图两种特征级联组成的模糊特征

步骤9：定义多核函数k(f_m,f_n)＝βk'(h_m,h_n)+(1-β)k'(s_m,s_n)，其中f_m,f_n代表任意两幅图像的模糊特征，h_m,h_n代表上述两幅图像的能量谱密度分布特征，s_m,s_n代表上述两幅图像的奇异倒谱直方图特征，k’(·,·)为任意满足Mercer定理的核函数；

步骤10：选用支持向量机分类器区分清晰和模糊图像，分类器的表达式为：

$y\left(f\right)=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{a}_n{y}_{n}k(f,f_n)+b$

其中f为测试样本的模糊特征，f_n为第n个训练样本的模糊特征，b以及核函数参数β为分类器参数；参数是满足使得下式取最小值的解，

$\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{a}_n-\frac{1}{2}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}\underset{m=1}{\overset{N}{\mathrm{\Σ}}}{a}_n{a}_m{y}_n{y}_{m}k(f_n,f_m)$

s.t.0≤a≤C

${\mathrm{\Σ}}_{n=1}^N{a}_n{y}_n=0$

其中C为支持向量机分类器中控制错分容忍程度的参数，记集合的序号，同时记为中序号的个数，最后得到b为：

在实际的实现过程中一般利用LibSVM工具包实现上述计算；

步骤11：令步骤7中的参数β取值从0变到1，每次增加0.1，重复步骤10中的支持向量机分类器参数训练过程，并利用步骤1中采集的M幅测试样本图像进行得到参数的测试，M幅测试样本图像对应的模糊特征为当y(f_n)的输出为1时代表模糊图像，输出为0时代表清晰图像，如果此输出类别与原始标定一致则表示正确分类；

重复本步骤中的支持向量机分类器训练与测试工作，并记录不同参数β对应的错分测试样本数目，以得到错分测试样本最少时的参数β、和b；

步骤12：在实际模糊图像辨别过程中，选取步骤11计算得到的参数β、和b，按照步骤10的方法来进行图像辨别。

需要说明的是：

步骤5中当频带数目D一旦确定，的取值也随之确定，D一般为数值小于10的一个常数。

步骤7中计算奇异倒谱直方图时的倒谱取值区间边界是根据具体的图像类别而确定，通过观察该类图像中模糊图像的倒谱值范围而确定。

步骤10中在求取支持向量机分类器参数时涉及到参数C，该参数通过交叉验证的方法可以得到，在LibSVM工具包中带有该参数的选择功能。

本发明的创新之处在于：

提出了一种频谱和倒谱信息融合的图像模糊检测方法，该方法提出了能量谱密度分布和奇异倒谱直方图两种特征作为图像的模糊特征，用于模糊检测。对所有图像进行模糊特征分析的基础上，采用基于多核函数的支持向量机分类器区分清晰和模糊图像。通过实验证明该方法是一种有效的无参照图像模糊检测方法。

附图说明

图1为清晰和模糊图像，及其频谱和倒谱。其中(a)，(b)和(c)分别为清晰图像、离焦模糊以及运动模糊图像，及其三者的频谱和倒谱。

图2为本发明一种频谱和倒谱信息融合的模糊图像检测方法流程图。

具体实施方式

根据本发明的方法，首先采集一定数量的清晰和模糊图像，一般要求数量都在1000幅以上，并对图像进行清晰与模糊的标注。根据本发明，利用Matlab或者C语言编写基于频谱和倒谱信息融合的图像模糊检测程序，并在采集数据上训练本发明对应的分类器参数；接着在各种需要图像模糊检测的场景安装采集摄像头采集原始图像，提取对应图像的模糊特征，根据之前训练的分类器可以正确区分清晰与模糊图像。本发明的方法，可以用于各类图像的模糊检测。

Claims (4)

1.一种频谱和倒谱信息融合的模糊图像检测方法，该方法包括：

步骤1：任意选取摄像头采集的N+M幅同类数字图像其中N幅训练样本图像，M幅测试样本图像，训练样本图像和测试样本图像中都包含模糊图像和清晰图像(两者比例接近)，代表第n幅大小为P×Q的图像；

步骤2：对步骤1中得到的N+M幅数字图像根据其模糊与否进行人工标定，若第n幅图像为模糊图像，则令其对应的标定变量y_n＝1，否则y_n＝-1；

步骤3：对于每一幅数字图像I_n(x,y)表示其中任意一像素点的灰度值，(x,y)为该像素点的坐标位置，进行与算子(-1)^x+y的相乘运算以保证傅里叶变换之后的零频部分位于频谱图像的中心，得到

步骤4：对每一变换后的图像进行二维离散傅里叶变换，

$F_n(u,v)=\underset{x=0}{\overset{P-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{Q-1}{\mathrm{\Σ}}}{I^{\′}}_n(x,y)e^{-j2\mathrm{\π}(\frac{\mathrm{ux}}{P}+\frac{\mathrm{vy}}{Q})},u=\mathrm{0,1,2},...,P-1;v=\mathrm{0,1,2},...,Q-1$

其中F_n(u,v)表示I′_n的二维离散傅里叶变换，u,v为傅里叶变换后的空间坐标；

步骤5：计算每一图像的能量谱密度分布其中：

$h_{\mathrm{nd}}=\frac{1}{N_d}\underset{(u,v)\∈R_d}{\mathrm{\Σ}}{\left|F_n(u,v)\right|}^2,d=\mathrm{1,2},...,D$

其中 $R_d=\left\{(u,v)\right|{\mathrm{\γ}}_{d-1}\≤{(u-\frac{P}{2})}^2+{(v-\frac{Q}{2})}^2\≤{\mathrm{\γ}}_d\}$ 表示第d个频带，γ_d-1为d个频带的起始频率，γ_d为第d个频带的截止频率，N_d是位于第d个频带内点的数目；

步骤6：计算每一图像的倒谱

其中代表反傅里叶反变换，|F_n(u,v)|为第n幅图像傅里叶变换F_n(u,v)的模，倒谱具体表达式为：

$C_n(x,y)=\frac{1}{\mathrm{PQ}}{\mathrm{\Σ}}_{u=0}^{P-1}{\mathrm{\Σ}}_{v=0}^{Q-1}\log \left|F_n(u,v)\right|e^{j2\mathrm{\π}(\frac{\mathrm{ux}}{P}+\frac{\mathrm{vy}}{Q})},x=\mathrm{0,1,2},...,P-1;y=\mathrm{0,1,2},...,Q-1;$

步骤7：计算每一图像对应的奇异倒谱直方图

s_nl＝#{C_n(x,y)|C_n(x,y)<0,τ_l-1≤C_n(x,y)≤τ_l},l＝1,2…,L

运算符#表示落入第l个区间的倒谱点的数目，τ_l-1和τ_l分别是第l个倒谱取值区间的开始和结束边界。

步骤8：对于每一图像定义由能量谱密度分布和奇异倒谱直方图两种特征级联组成的模糊特征

步骤9：定义多核函数k(f_m,f_n)＝βk’(h_m,h_n)+(1-β)k’(s_m,s_n)，其中f_m,f_n代表任意两幅图像的模糊特征，h_m,h_n代表上述两幅图像的能量谱密度分布特征，s_m,s_n代表上述两幅图像的奇异倒谱直方图特征，k’(·,·)为任意满足Mercer定理的核函数；

步骤10：选用支持向量机分类器区分清晰和模糊图像，分类器的表达式为：

$y\left(f\right)=\underset{n=1}{\overset{N}{\mathrm{\&Sigma;}}}{a}_n{y}_{n}k(f,f_n)+b$

其中f为测试样本的模糊特征，f_n为第n个训练样本的模糊特征，b以及核函数参数β为分类器参数；参数是满足使得下式取最小值的解，

$\underset{n=1}{\overset{N}{\mathrm{\&Sigma;}}}{a}_n-\frac{1}{2}\underset{n=1}{\overset{N}{\mathrm{\&Sigma;}}}\underset{m=1}{\overset{N}{\mathrm{\&Sigma;}}}{a}_n{a}_m{y}_n{y}_{m}k(f_n,f_m)$

s.t.   0≤a≤C

${\mathrm{\&Sigma;}}_{n=1}^N{a}_n{y}_n=0$

其中C为支持向量机分类器中控制错分容忍程度的参数，记集合为a_n>0的序号，同时记为中序号的个数，最后得到b为：

在实际的实现过程中一般利用LibSVM工具包实现上述计算；

步骤11：令步骤7中的参数β取值从0变到1，每次增加0.1，重复步骤10中的支持向量机分类器参数训练过程，并利用步骤1中采集的M幅测试样本图像进行得到参数的测试，M幅测试样本图像对应的模糊特征为当y(f_n)的输出为1时代表模糊图像，输出为0时代表清晰图像，如果此输出类别与原始标定一致则表示正确分类；

重复本步骤中的支持向量机分类器训练与测试工作，并记录不同参数β对应的错分测试样本数目，以得到错分测试样本最少时的参数β、和b；

步骤12：在实际模糊图像辨别过程中，选取步骤11计算得到的参数β、和b，按照步骤10的方法来进行图像辨别。

2.如权利要求1所述的一种频谱和倒谱信息融合的模糊图像检测方法，其特征在于所述步骤5中当频带数目D一旦确定，的取值也随之确定，D一般为数值小于10的一个常数。

3.如权利要求1所述的一种频谱和倒谱信息融合的模糊图像检测方法，其特征在于所述步骤7中计算奇异倒谱直方图时的倒谱取值区间边界是根据具体的图像类别而确定，通过观察该类图像中模糊图像的倒谱值范围而确定。

4.如权利要求1所述的一种频谱和倒谱信息融合的模糊图像检测方法，其特征在于所述步骤10中在求取支持向量机分类器参数时涉及到参数C，该参数通过交叉验证的方法可以得到，在LibSVM工具包中带有该参数的选择功能。