CN106097256B - 一种基于图像盲去模糊的视频图像模糊度检测方法 - Google Patents

Abstract

本发明公开了一种基于图像盲去模糊的视频图像模糊度检测方法，具体如下：(1)首先，将一帧模糊视频图像经过盲去模糊1方法，得到清晰图像f₁。(2)然后将清晰图像f₁进行显著性检测并得到显著图。(3)再将显著图进行连通域分割，然后进行连通域标记，在输入模糊图像中标记出与清晰图像的连通域相对应的区域。(4)利用结构相似性指标计算模糊图像与清晰图像各个相应连通区域的结构相似度值，计算加权平均值得到S₁。(5)将输入模糊图像经过盲去模糊2方法，得到清晰图像f₂。(6)重复步骤(2)到(4)，得到S₂。(7)对S₁和S₂赋予不同的权重，最后得到输入图像的模糊度：M_blur＝ω₁S₁+ω₂S₂。本发明使模糊度检测更加准确。

Description

一种基于图像盲去模糊的视频图像模糊度检测方法

技术领域

本发明涉及数字图像处理技术领域，特别是一种基于图像盲去模糊的视频图像模糊度检测方法。

背景技术

模糊度是图像质量的一个重要的衡量指标，图像的模糊度评价是图像质量评价领域的重要研究课题。不少已有的模糊度评价方法建立在待评价图像自身的结构特点上，比如边缘信息、纹理特征等，这类方法局限于比较相同内容图像的模糊度，也有一些可以用于评价不同内容图像模糊度的方法，但复杂性较高，实时性较差。全参考图像模糊度评价方法中难以获得未失真图像，单一盲去模糊算法准确度不高。

发明内容

本发明所要解决的技术问题是克服现有技术的不足而提供一种基于图像盲去模糊的视频图像模糊度检测方法，本发明结合两种针对不同模糊类型的盲去模糊算法，并分别赋予不同权重，最终使模糊度检测更加准确，可以较好的针对不同类型模糊图像自适应检测模糊度。

本发明为解决上述技术问题采用以下技术方案：

根据本发明提出的一种基于图像盲去模糊的视频图像模糊度检测方法，包括以下步骤：

步骤一、输入一帧模糊视频图像，进行两种不同类型的图像盲去模糊，分别得到清晰图像f₁、f₂；

步骤二、将清晰图像f₁、f₂分别进行显著性检测得到显著图，将显著图进行连通域分割，并在清晰图像f₁、f₂中标记出每个连通区域位置；

步骤三、将输入的模糊视频图像与清晰图像f₁、f₂中连通区域相同位置标记出来；

步骤四、分别计算输入的模糊视频图像与清晰图像f₁、f₂相对应的连通区域的结构相似性值SSIM_i、SSIM_j；其中，i为整数且1≤i≤N，N为输入图像经第一种类型的图像盲去模糊方法最终得到的连通区域个数，j为整数且1≤j≤M，M为输入图像经第二种类型的图像盲去模糊方法最终得到的连通区域个数；

步骤五、计算出所有区域的SSIM_i的加权平均值S1、SSIM_j的加权平均值S2，并对S1与S2赋予不同的权重作为输入模糊图像的模糊度。

作为本发明所述的一种基于图像盲去模糊的视频图像模糊度检测方法进一步优化方案，所述步骤一中第一种类型的图像盲去模糊具体如下：

(1)、首先运用基于L1/L2稀疏先验的图像去模糊模型及其算法进行盲模糊核估计；

(2)、得到盲模糊核后利用快速非盲去模糊算法进行去模糊,得到清晰图像f₁。

作为本发明所述的一种基于图像盲去模糊的视频图像模糊度检测方法进一步优化方案，所述步骤一中第二种类型的图像盲去模糊具体如下：

(1)、首先运用快速盲去运动模糊算法估计模糊核；

(2)、再利用基于超拉普拉斯先验的图像非盲去模糊方法，得到清晰图像f₂。

作为本发明所述的一种基于图像盲去模糊的视频图像模糊度检测方法进一步优化方案，所述的盲模糊核估计进一步包括：

(1)、对输入模糊视频图像x进行求导，得到高频图像y；

(2)、利用基于L1/L2正则表达式稀疏先验约束的盲去模糊模型更新f₁：

其中，k为待估计的盲模糊核，k＝[k₁,k₂…]，k_i为盲模糊核k的分量，k_i≥0,∑_ik_i＝1，α、β均为非负数，是f₁的导数，是的1范数与2范数的比值；

利用交替投影迭代算法更新f₁，即优化：

(3)、利用无约束迭代重赋权值最小二乘方法更新盲模糊核，即优化：

作为本发明所述的一种基于图像盲去模糊的视频图像模糊度检测方法进一步优化方案，所述的模糊核估计进一步包括：

(1)、首先利用双边滤波器去除图像中的噪声；

(2)、再采用冲击滤波器对图像进行边缘增强，利用有用的边缘信息估计模糊核。

作为本发明所述的一种基于图像盲去模糊的视频图像模糊度检测方法进一步优化方案，所述的显著性检测方法采用GBVS算法得到显著图；所述的连通域分割算法采用8邻域分割算法，然后，将分割得到的二值化连通域图与得到的清晰图像进行卷积得到连通区域图，最后在输入模糊视频图像中标注出与该连通区域图对应的区域位置。

作为本发明所述的一种基于图像盲去模糊的视频图像模糊度检测方法进一步优化方案，所述输入模糊图像的模糊度M_blur为：M_blur＝ω₁S₁+ω₂S₂，ω₁、ω₂为不同的权重。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：本发明结合两种针对不同模糊类型的盲去模糊算法，并分别赋予不同权重，最终使模糊度检测更加准确，可以较好的针对不同类型模糊图像自适应检测模糊度。

附图说明

图1是本发明算法流程图。

图2是结构相似度检测算法流程图。

图3是盲去模糊1算法流程图。

图4是盲去模糊2算法流程图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明进行详细描述。

图1是本发明算法流程图，一种基于图像盲去模糊的视频图像模糊度检测方法，包括以下步骤：

步骤一、输入一帧模糊视频图像，进行两种不同类型的图像盲去模糊，分别得到清晰图像f₁、f₂；其中，f₁为进行第一种类型的图像盲去模糊(称为盲去模糊1)所得到的清晰图像，f₂为进行第二种类型的图像盲去模糊(称为盲去模糊2)所得到的清晰图像。

所述的第一种类型的图像盲去模糊进一步包括：

(1)首先进行盲模糊核估计。

(2)得到模糊核后利用RL反卷积算法进行非盲去模糊,得到清晰图像f₁。

优选的，图3是盲去模糊1算法流程图，所述的盲模糊核估计进一步包括：

(1)对输入模糊图像x进行求导，得到高频图像y。

(2)利用基于L1/L2正则表达式稀疏先验的盲去模糊模型更新f₁：

其中，k为待估计的盲模糊核，k＝[k₁,k₂…]，k_i≥0,∑_i k_i＝1，α，β非负,用于正则项与最后一项。f₁为最终得到的清晰图像。其中，是的1范数与2范数的比值，随着图像越来越模糊，该比值逐渐增大，通过这一约束项利用迭代算法更新f₁。即：利用式(1)中的第二项来约束第一项。式(1)中的最后一项用来抑制噪声。

利用交替投影迭代算法更新f₁，即优化：

其中，是的1范数与2范数的比值，随着图像越来越模糊，该比值逐渐增大。

(3)、利用无约束迭代重赋权值最小二乘方法更新盲模糊核，即优化：

具体参见《Blind deconvolution using a normalized sparsity measure》(Krishnan D and Fergus R)In CVPR,2011:233-240.

优选的，如图4是盲去模糊2算法流程图，所述的图像盲去模糊2进一步包括：

(1)首先利用双边滤波器去除图像中的噪声。采用的双边滤波器为：

其中，I_e为双边滤波器输出图像，q为归一化因子，e是目标像素点，p_e为像素e的像素值。θ为以e为中心的邻域，e₀是邻域像素点，Q(*)函数表示两个像素之间的空间距离，G(*)函数表示两像素之间相似程度的权重。当Q(*)较大时，权重G(*)较小，在图像边缘部分，两相邻像素差值较大，所以权重较小，则边缘外的像素对像素点的影响较小，所以，可以在去除噪声的时候保留边缘。

(2)再采用冲击滤波器对图像进行边缘增强，利用有用的边缘信息估计模糊核。其中，冲击滤波器的数学模型如下：

其中，经过冲击滤波器后输出为L，X为空间的水平方向，Y为空间的垂直方向，L_X为水平方向的导数，L_Y为垂直方向的导数，t为时间，表示图像L的一阶方向导数,ΔL＝L_X ²L_XX+2L_XL_YL_XY+L_Y ²L_YY,为图像L的二阶方向导数。通过不断迭代得到最终L,初始值为双边滤波器的输出。对于有用边缘的提取，采用模型如下：

其中，L表示上一步骤的输出模糊图像，表示v处的像素的导数，N_h(e)表示以像素e为中心的大小为h*h的窗口，当r(v)较小时，说明v处是平坦区域或者尖峰。所以，为了增强边缘，可以设置阈值去掉较小的r(v)。

(3)经过冲击滤波器增强边缘并提取出有用边缘后，然后进行模糊核估计，利用以下模型：

其中，是经过上一步骤得到的清晰图像边缘，k是最终估计的模糊核，是模糊图像x的梯度也即边缘，η非负，然后不断迭代得到最终的模糊核。

(4)最后利用基于超拉普拉斯先验的图像非盲去模糊方法，得到清晰图像f₂。具体参见文献《Fast image deconvolution using hyper-laplacian priors》(D.KrishnanjandR.Fergus),Advances in Neural Information Processing Systems,2009,vol.22,pp.1033-1041.

将两幅清晰图像分别进行显著性检测得到显著图，将显著图进行连通域分割，并在清晰图像中标记出每个连通区域位置。

优选的，所述的显著性检测方法采用GBVS算法得到显著图。所述的连通域分割算法采用8邻域分割算法。然后，将分割得到的二值化连通域图与得到的清晰图像进行卷积得到连通区域图。最后分别在两幅同样的输入模糊图像中标记出与该连通区域图对应的区域的位置。

将输入模糊图像与清晰图像中标记出的连通区域相对应位置标记下来。

计算输入模糊图像与清晰图像相对应的连通区域的结构相似度，最后，计算所有连通区域的结构相似度的加权平均值作为输入图像的模糊度。

图2是结构相似度检测算法流程图，结构相似度的计算步骤进一步包括：

以下所述为SSIM_i的计算步骤，同理，SSIM_j的计算步骤也是如下所述步骤。

其中，分别为模糊图像与清晰图像的各个连通区域的平均亮度值。

其中，分别为两幅图像的各个连通区域的亮度标准差。

其中，为两幅图像对应连通区域的亮度相关系数。

SSIM_i＝[l_i(x_i,f_i)]^a[c_i(x_i,f_i)]^b[s_i(x_i,f_i)]^c，其中a，b，c相等。

其中，c₁，c₂，c₃均大于零。具体参见文献《Imagequality assessment:from error measurement to structural similarity》(Z.Wang,etal.)，IEEE Transactios on Image Processing,2004,vol.13,no.4,pp.600–612。

其中，N为输入图像经盲去模糊1方法最终得到的连通区域个数。

同理：其中，M为输入图像经盲去模糊2方法最终得到的连通区域个数。

输入模糊图像的模糊度M_blur为：M_blur＝ω₁S₁+ω₂S₂，ω₁、ω₂为不同的权重。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围内。

Claims (6)

1.一种基于图像盲去模糊的视频图像模糊度检测方法，其特征在于，包括以下步骤：

步骤一、输入一帧模糊视频图像，进行两种不同类型的图像盲去模糊，分别得到清晰图像f₁、f₂；

步骤二、将清晰图像f₁、f₂分别进行显著性检测得到显著图，将显著图进行连通域分割，并在清晰图像f₁、f₂中标记出每个连通区域位置；

步骤三、将输入的模糊视频图像与清晰图像f₁、f₂中连通区域相同位置标记出来；

步骤四、分别计算输入的模糊视频图像与清晰图像f₁、f₂相对应的连通区域的结构相似性值SSIM_i、SSIM_j；其中，i为整数且1≤i≤N，N为输入图像经第一种类型的图像盲去模糊方法最终得到的连通区域个数，j为整数且1≤j≤M，M为输入图像经第二种类型的图像盲去模糊方法最终得到的连通区域个数；

步骤五、计算出所有区域的SSIM_i的加权平均值S1、SSIM_j的加权平均值S2，并对S1与S2赋予不同的权重作为输入模糊图像的模糊度。

2.根据权利要求1所述的一种基于图像盲去模糊的视频图像模糊度检测方法，其特征在于，所述步骤一中第一种类型的图像盲去模糊具体如下：

(1)、首先运用基于L1/L2稀疏先验的图像去模糊模型及其算法进行盲模糊核估计；

(2)、得到盲模糊核后利用快速非盲去模糊算法进行去模糊,得到清晰图像f₁。

3.根据权利要求1所述的一种基于图像盲去模糊的视频图像模糊度检测方法，其特征在于，所述步骤一中第二种类型的图像盲去模糊具体如下：

(1)、首先运用快速盲去运动模糊算法估计模糊核；

(2)、再利用基于超拉普拉斯先验的图像非盲去模糊方法，得到清晰图像f₂。

4.根据权利要求2所述的一种基于图像盲去模糊的视频图像模糊度检测方法，其特征在于，所述的盲模糊核估计进一步包括：

(1)、对输入模糊视频图像x进行求导，得到高频图像y；

(2)、利用基于L1/L2正则表达式稀疏先验约束的盲去模糊模型更新f₁：

k为待估计的盲模糊核，k＝[k₁,k₂,…k_v,…,k_W]，k_v为盲模糊核k的分量，

v为大于等于1且小于等于W的整数，W为待估计盲模糊核的总个数,α、β均为非负数，是f₁的导数，是的1范数与2范数的比值；

利用交替投影迭代算法更新f₁，即优化：

(3)、利用无约束迭代重赋权值最小二乘方法更新盲模糊核，即优化：

5.根据权利要求1所述的一种基于图像盲去模糊的视频图像模糊度检测方法，其特征在于，所述的显著性检测方法采用GBVS算法得到显著图；所述的连通域分割算法采用8邻域分割算法，然后，将分割得到的二值化连通域图与得到的清晰图像进行卷积得到连通区域图，最后在输入模糊视频图像中标注出与该连通区域图对应的区域位置。

6.根据权利要求1所述的一种基于图像盲去模糊的视频图像模糊度检测方法，其特征在于，所述输入模糊图像的模糊度M_blur为：M_blur＝ω₁S1+ω₂S2，ω₁、ω₂为不同的权重。