CN104282003B - 一种基于梯度筛选的数字模糊图像盲复原方法 - Google Patents

Abstract

一种基于梯度筛选的数字模糊图像盲复原方法，属于图像和视频处理技术领域。本发明解决了现有的方法对复杂运动的模糊核估计不准确，需要先验运动形式这一缺陷，同时解决归一化稀疏正则化盲复原方法对具有较多细节的图像复原效果较差的问题。本发明的技术方案为：输入的图像经过双边滤波、冲击滤波，梯度筛选剔除小梯度幅值细节信息，归一化稀疏正则化盲复原，最后输出清晰图像。本发明可应用于民用照相摄像、智能视频监控、智能安防、光学成像遥感、军事成像侦察和导弹成像制导等领域。

Description

一种基于梯度筛选的数字模糊图像盲复原方法

技术领域

本发明涉及一种模糊图像盲复原方法，尤其涉及一种基于筛选的数字模糊图像盲复原方法，属于图像和视频处理技术领域。

背景技术

在数码相机等光学系统成像时，镜头和成像场景之间的相对运动或者镜头散焦均会导致采集到的图像或视频模糊，造成图像边缘信息减弱，严重影响图像质量，很难再准确地检测出图像中的感兴趣区域。一般通过图像复原可以在一定程度上改善图像质量，恢复出一部分边缘信息。图像复原时根据模糊核是否已知，分为模糊核未知的盲复原和模糊核已知的非盲复原，在实际应用中，由于很难获得模糊核，图像盲复原应用更广。

中国专利CN101359398A采用倒谱法估计运动模糊参数，得到模糊核再采用全变分方法实现盲复原。这种方法假设运动模糊由匀速直线运动产生，对直线运动产生的模糊，该方法能有效地检测出模糊参数，获得模糊核最后获得不错的复原效果。但在实际应用中，产生图像模糊的原因是多样的，有散焦产生的模糊、大气湍流产生的模糊，当然也有运动模糊，但运动模糊除了直线运动外，更多的是运动形式未知的复杂运动模糊，这种情况下，图像模糊就很难用此种方法进行复原。

现有的针对复杂运动形式模糊的图像盲复原方法主要有Tikhonov正则化、全变分正则化和归一化稀疏正则化等方法。Tikhonov正则化方法采用各向同性的约束项，导致复原结果过度平滑并且存在丢失边缘信息的问题。全变分正则化方法克服了前述方法的缺点，得到了广泛应用，但在实际应用时效果并不稳定，容易得到模糊解。归一化稀疏正则化方法从正则项的构造出发，利用稀疏先验提出更符合实际的正则项，从原理上解决了上述基于Tikhonov正则化方法和全变分正则化方法复原结果趋向模糊解的问题，取得了不错的效果。但是当图像中出现较多纹理等细小边缘细节信息时，归一化稀疏正则化方法复原效果往往并不理想，严重时复原图像完全不可用，导致该方法无法应用具有较多细小边缘的场景模糊图像复原问题，直接影响了该方法的广泛适用性。因此，如何提高复原图像的质量依然是目前数字图像去模糊技术应用于实际产品的最大问题。提高数字模糊图像的复原效果，在民用智能视频监控系统、智能交通管理系统等领域以及军事应用中如成像侦察系统、空间光学遥感和导弹成像制导等领域中都具有重要的应用价值。

总的来说，现有的数字模糊图像盲复原方法主要存在如下几个问题：

1)模糊核的估计利用直线运动模糊模型，对于直线运动造成的模糊能较准确的估计出模糊核，得到复原图像，但由于模型设定为直线运动，对复杂运动造成的模糊无能为力，不能得到复原图像；

2)没有对先验运动形式作出假设的Tikhonov正则化、全变分正则化盲复原方法，从原理上虽然能保证得到一个解，但由于正则项的选取，并不能保证所获得的图像是清晰图像；

3)在原理上保证能得到清晰解的归一化稀疏正则化盲复原方法，对于细节较多的图像复原效果并不理想，这主要是因为当细节尺度小于模糊核尺度时，在复原过程中细节将会干扰模糊核的估计，从而得出不准确的复原图像。在应用中，图像中的主要边缘才是决定模糊核估计的主要因素。

发明内容

本发明的目的是提出一种基于梯度筛选的数字模糊图像盲复原方法，以解决针对现有的方法对复杂运动的模糊核估计不准确，需要先验运动形式这一缺陷，同时解决归一化稀疏正则化盲复原方法对具有较多细节的图像复原效果较差的问题。

本发明为解决上述技术问题所采用的技术方案是：

本发明所述的一种基于梯度筛选的数字模糊图像盲复原方法，包括以下步骤：

步骤一：输入图像F(i,j)，如果图像为彩色图像则将其转换至RGB空间，提取其三个图像分量I_l(i,j)，其中l＝R,G,B；

步骤二：对图像分量I_l(i,j),l＝R,G,B进行双边滤波，双边滤波器具体形式如下：

其中，W_ij为双边滤波器，|x_j-x_i|表示当前像素点坐标x_i和邻域内的像素点坐标x_j的几何距离，|f_j-f_i|表示当前像素点对应的灰度值f_i和邻域内像素点灰度值f_j的灰度距离，为几何距离的方差，为灰度距离的方差；

步骤三：利用冲击滤波器对图像分量I_l(i,j)中的显著边缘进行加强，冲击滤波的计算公式如下：

其中，表示第t次迭代的图像，表示图像的梯度图像，表示梯度图像的二阶偏导，sign为符号函数；

步骤四：对图像分量I_l(i,j)进行梯度模值的计算，然后按梯度的模值大小进行排序，梯度模值的计算公式如下：

G_x(i,j)＝|I_l(i+1,j)-I_l(i,j)|

G_y(i,j)＝|I_l(i,j+1)-I_l(i,j)|

G(i,j)＝(G_x(i,j),G_y(i,j))

其中，G_x(i,j)为图像中点(i,j)对应的水平梯度值，G_y(i,j)为图像中点(i,j)对应的垂直梯度值，G(i,j)为I_l(i,j)的梯度图像，i,j为像素点的横、纵坐标值；

步骤五：对步骤四获得的梯度图像G(i,j)进行筛选，筛选过程为：只保留前p％的梯度，剔除后面1-p％的梯度，得到筛选后的梯度图像G_s(i,j)；

步骤六：使用筛选后的梯度图像G_s(i,j)进行模糊复原，具体为：采用归一化稀疏正则化方法进行模糊核估计和图像复原；

首先采用如下优化函数进行计算：

其中，x为待估计清晰图像的高频分量，G_s(i,j)为模糊图像经过梯度筛选后的梯度图像，h为待估计模糊核，为卷积运算，||·||₁为矩阵1范数运算，||·||₂为矩阵2范数运算，λ,为可调参数，其中λ为控制数据保真项的权重，为控制模糊核正则项||h||₁的权重；

通过交替优化上述公式中的变量x和h，最终得到模糊核的估计h^*，然后再利用估计出的h^*和原始的图像分量I_l(i,j)采用如下优化函数得到清晰图像的估计D(i,j)：

其中，f为待估计清晰图像，△f为f对应的梯度图像，||·||^α为矩阵α范数运算，β为可调参数，通过对上述优化函数求解，即可得到最终的复原图像D(i,j)。

本发明的有益效果是：

1、本发明以归一化稀疏正则化盲复原方法为基础，提出采用梯度筛选的方法对模糊图像中的细小边缘等细节信息进行抑制，将经过筛选的梯度图像用于精确地估计模糊核，最后再用原模糊图像和模糊核进行模糊复原，得到清晰图像的估计，本发明既能明显提高数字模糊图像复原效果，又不受图像内部细节的约束，具有广泛适用性。

2、本发明能够适用于更加复杂的运动形式造成的图像模糊，具有更强的适应性。同时本发明在模糊核估计阶段采用梯度筛选的方法对细节进行抑制，显著提高模糊核估计的准确度，间接地提高了整个图像复原质量，可以明显地改善由于抖动、散焦等情况造成的模糊图像或模糊视频的质量。

3、针对现有方法需要先验运动形式这一缺陷，本发明在归一化稀疏正则化盲复原方法的基础上进行改进，能对各种原因造成的模糊进行复原，能处理复杂运动造成的模糊，适用范围更广，成像复原效果更加稳定。

4、针对归一化稀疏正则化盲复原方法对具有较多细节的图像复原效果较差的情况，本发明在模糊核估计环节对图像细节进行抑制，减少了细节信息对模糊核估计的不利影响，提高了模糊核估计精度，能获得更准确的模糊盲复原结果。

5、为使计算量最少，本发明采用梯度排序筛选的方式实现细节抑制，只需进行简单的梯度运算和排序操作，没有复杂的迭代，计算复杂度低，细节抑制效果明显，实用性更强。

6、为了突出主要边缘对模糊核估计的影响，本发明在复原前对模糊图像进行二次滤波，在抑制噪声的同时突出了边缘，加强了显著边缘信息在模糊核估计中的作用，间接提高了复原质量。

附图说明

图1为本发明的流程图；

图2为本发明实施例中的模糊核估计对比图，(a)为真实的模糊核，(b)为现有归一化稀疏正则化方法估计的模糊核PSNR＝16.8172，(c)为本发明方法估计的模糊核PSNR＝19.3651；

图3为本发明实施例中，用图2中(a)所示模糊核人工合成的模糊图像复原对比图，其中(a)为原始清晰图像，(b)为人工合成模糊图像，(c)为现有归一化稀疏正则化方法复原图像PSNR＝13.6954，(d)为本发明方法复原图像PSNR＝19.2964；

图4为本发明实施例中自然模糊图像复原结果，其中(a)、(c)为原图，(b)、(d)为本发明复原图像。

具体实施方式

下面将结合本发明的附图，对本发明实施例中的技术方案进行清楚、完整地描述。本发明是一种模糊图像复原方法，它既能够在个人用普通计算机上离线实现单一图像模糊复原，也可以针对特定硬件平台进行实时性优化，连接数字光学成像装置的系统上进行实时的模糊视频图像复原。其整体实施流程如图1所示。

具体实施方式一：本实施方式所述的一种基于梯度筛选的数字模糊图像盲复原方法，包括以下步骤：

步骤一：输入图像F(i,j)，如果图像为彩色图像则将其转换至RGB空间，提取其三个图像分量I_l(i,j)，其中l＝R,G,B，后续步骤均对三个图像分量分别进行模糊复原处理，单个图像分量均处理完后，再将三个图像分量合成最终的复原图像，灰度图像处理和单个图像分量处理方法一样；

步骤二：对图像分量I_l(i,j),l＝R,G,B进行双边滤波，抑制图像噪声的同时保留图像的边缘信息，双边滤波器具体形式如下：

其中，W_ij为双边滤波器，|x_j-x_i|表示当前像素点坐标x_i和邻域内的像素点坐标x_j的几何距离，|f_j-f_i|表示当前像素点对应的灰度值f_i和邻域内像素点灰度值f_j的灰度距离，为几何距离的方差，取值范围为2～5，为灰度距离的方差；取值范围为0.05～0.30，两类方差在上述范围内的取值影响滤波器噪声抑制和边缘保持的权重，主要影响噪声抑制性能，在取值范围内值越大噪声抑制效果越好，主要影响边缘特性，在取值范围内值越小，边缘保持特性越好。

步骤三：利用冲击滤波器对图像分量I_l(i,j)中的显著边缘进行加强，冲击滤波的计算公式如下：

其中，表示第t次迭代的图像，t的取值范围为10～20，表示图像的梯度图像，表示梯度图像的二阶偏导，sign为符号函数；

由冲击滤波公式可以看出，冲击滤波发生在图像灰度的零交叉处即图像的边缘处，边缘的梯度决定了冲击的方向，边缘的二阶导数决定了冲击的强度，使得输入图像中的灰度发生突变的地方发生剧烈的跳变，锐化了信号，从而增强了图像的边缘。

步骤四：对图像分量I_l(i,j)进行梯度模值的计算，然后按梯度的模值大小进行排序，按从大到小的顺序排列，即主要边缘梯度排列在前，次要的细小边缘梯度排列在后，梯度模值的计算公式如下：

G_x(i,j)＝|I_l(i+1,j)-I_l(i,j)

G_y(i,j)＝|I_l(i,j+1)-I_l(i,j)|

G(i,j)＝(G_x(i,j),G_y(i,j))

其中，G_x(i,j)为图像中点(i,j)对应的水平梯度值，G_y(i,j)为图像中点(i,j)对应的垂直梯度值，G(i,j)为I_l(i,j)的梯度图像，i,j为像素点的横、纵坐标值；

步骤五：筛选出图像分量I_l(i,j)中的主要边缘和细节部分用于细节抑制，梯度较小的部分即是要抑制的图像细节部分，

对步骤四获得的梯度图像G(i,j)进行筛选，筛选过程为：只保留前p％的梯度，剔除后面1-p％的梯度，得到筛选后的梯度图像G_s(i,j)；这样就完成了对细节的抑制，用筛选后的梯度图像进行模糊核估计，p取值范围为15～35。

步骤六：使用筛选后的梯度图像G_s(i,j)进行模糊复原，具体为：采用归一化稀疏正则化方法进行模糊核估计和图像复原；

首先采用如下优化函数进行计算：

其中，x为待估计清晰图像的高频分量，G_s(i,j)为模糊图像经过梯度筛选后的梯度图像，h为待估计模糊核，为卷积运算，||·||₁为矩阵1范数运算，||·||₂为矩阵2范数运算，λ,为可调参数，其中λ为控制数据保真项的权重，其值越大估计出的模糊核越细，取值范围为50～200，为控制模糊核正则项||h||₁的权重，取值范围为1～5。

通过交替优化上述公式中的变量x和h，最终得到模糊核的估计h^*，然后再利用估计出的h^*和原始的图像分量I_l(i,j)采用如下优化函数得到清晰图像的估计D(i,j)：

其中，f为待估计清晰图像，△f为f对应的梯度图像，||·||^α为矩阵α范数运算，α取值范围为0.6～0.8，β为可调参数，用于控制数据保真项和正则项||△f||^α之间的权重，取值范围500-2000通过对上述优化函数求解，即可得到最终的复原图像D(i,j)。

具体实施方式二：本实施方式与具体实施方式一不同的是：步骤二所述的的取值为3，的取值为0.1。其它步骤与具体实施方式一相同。

具体实施方式三：本实施方式与具体实施方式一或二不同的是：步骤三所述的表示第t次迭代的图像中，t的取值为15。其它步骤与具体实施方式一或二相同。

具体实施方式四：本实施方式与具体实施方式一至三之一不同的是：步骤五所述的p的取值为20。其它步骤与具体实施方式一至三之一相同。

具体实施方式五：本实施方式与具体实施方式一至四之一不同的是：步骤六所述的λ的取值为100，的取值为2，α取值为0.7，β的取值为1000。其它步骤与具体实施方式一至四之一相同。

本发明的实施例如下：

步骤一：输入图像F(i,j)，如果图像为彩色图像则将其转换至RGB空间，提取其三个图像分量I_l(i,j)，其中l＝R,G,B，后续步骤均对三个图像分量分别进行模糊复原处理，单个图像分量均处理完后，再将三个图像分量合成最终的复原图像，灰度图像处理和单个图像分量处理方法一样；

步骤二：对图像分量I_l(i,j),l＝R,G,B进行双边滤波，抑制图像噪声的同时保留图像的边缘信息，双边滤波器具体形式如下：

其中，W_ij为双边滤波器，|x_j-x_i|表示当前像素点坐标x_i和邻域内的像素点坐标x_j的几何距离，|f_j-f_i|表示当前像素点对应的灰度值f_i和邻域内像素点灰度值f_j的灰度距离，为几何距离的方差，取值为3，为灰度距离的方差；取值为0.1，主要影响噪声抑制性能，在取值范围内值越大噪声抑制效果越好，主要影响边缘特性，在取值范围内值越小，边缘保持特性越好。

步骤三：利用冲击滤波器对图像分量I_l(i,j)中的显著边缘进行加强，冲击滤波的计算公式如下：

其中，表示第t次迭代的图像，t的取值为15，表示图像的梯度图像，表示梯度图像的二阶偏导，sign为符号函数；

由冲击滤波公式可以看出，冲击滤波发生在图像灰度的零交叉处即图像的边缘处，边缘的梯度决定了冲击的方向，边缘的二阶导数决定了冲击的强度，使得输入图像中的灰度发生突变的地方发生剧烈的跳变，锐化了信号，从而增强了图像的边缘。

步骤四：对图像分量I_l(i,j)进行梯度模值的计算，然后按梯度的模值大小进行排序，按从大到小的顺序排列，即主要边缘梯度排列在前，次要的细小边缘梯度排列在后，梯度模值的计算公式如下：

G_x(i,j)＝|I_l(i+1,j)-I_l(i,j)|

G_y(i,j)＝|I_l(i,j+1)-I_l(i,j)|

G(i,j)＝(G_x(i,j),G_y(i,j))

其中，G_x(i,j)为图像中点(i,j)对应的水平梯度值，G_y(i,j)为图像中点(i,j)对应的垂直梯度值，G(i,j)为I_l(i,j)的梯度图像，i,j为像素点的横、纵坐标值；

步骤五：筛选出图像分量I_l(i,j)中的主要边缘和细节部分用于细节抑制，梯度较小的部分即是要抑制的图像细节部分，

对步骤四获得的梯度图像G(i,j)进行筛选，筛选过程为：只保留前p％的梯度，剔除后面1-p％的梯度，得到筛选后的梯度图像G_s(i,j)；这样就完成了对细节的抑制，用筛选后的梯度图像进行模糊核估计，p取值为20。

步骤六：使用筛选后的梯度图像G_s(i,j)进行模糊复原，具体为：采用归一化稀疏正则化方法进行模糊核估计和图像复原；

首先采用如下优化函数进行计算：

其中，x为待估计清晰图像的高频分量，G_s(i,j)为模糊图像经过梯度筛选后的梯度图像，h为待估计模糊核，为卷积运算，||·||₁为矩阵1范数运算，||·||₂为矩阵2范数运算，λ,为可调参数，其中λ为控制数据保真项的权重，其值越大估计出的模糊核越细，取值为100，为控制模糊核正则项||h||₁的权重，取值范围为2。

通过交替优化上述公式中的变量x和h，最终得到模糊核的估计h^*，然后再利用估计出的h^*和原始的图像分量I_l(i,j)采用如下优化函数得到清晰图像的估计D(i,j)：

其中，f为待估计清晰图像，△f为f对应的梯度图像，||·||^α为矩阵α范数运算，α取值为0.7，β为可调参数，用于控制数据保真项和正则项||△f||^α之间的权重，取值为1000，通过对上述优化函数求解，即可得到最终的复原图像D(i,j)。

表1为采用平均灰度梯度GMG(Gray Mean Gradients)对图4的模糊图像复原前后进行的无参考质量评价结果。

	复原前GMG	复原后GMG
			鱼	2.1077	5.7571
佛像	2.8960	6.5510

表1

图2为模糊核估计对比图，(a)为真实的模糊核，(b)为现有归一化稀疏正则化方法估计的模糊核PSNR＝16.8172，(c)为本发明方法估计的模糊核PSNR＝19.3651，估计精度提高了15.2％；

图3为本发明实施例中，用图2中(a)所示模糊核人工合成的模糊图像复原对比图，(a)原始清晰图像，(b)人工合成模糊图像，(c)为现有归一化稀疏正则化方法复原图像PSNR＝13.6954，(d)为本发明方法复原图像PSNR＝19.2964，估计精度提高了40.9％；

图4为采用本发明方法得到自然模糊图像复原结果，其中(a)、(c)为原图，(b)、(d)为本发明复原图像。

本发明可应用于民用照相摄像、智能视频监控、智能安防、光学成像遥感、军事成像侦察和导弹成像制导等领域。

Claims (5)

1.一种基于梯度筛选的数字模糊图像盲复原方法，其特征在于所述方法包括以下步骤：

步骤一：输入图像F(i,j)，如果图像为彩色图像则将其转换至RGB空间，提取其三个图像分量I_l(i,j)，其中l＝R,G,B；

步骤二：对图像分量I_l(i,j),l＝R,G,B进行双边滤波，双边滤波器具体形式如下：

$W_{ij}=\exp (-\frac{{\left|x_j-x_i\right|}^2}{{\mathrm{\σ}}_d^2})\exp (-\frac{{\left|f_j-f_i\right|}^2}{{\mathrm{\σ}}_r^2})$

其中，W_ij为双边滤波器，|x_j-x_i|表示当前像素点坐标x_i和邻域内的像素点坐标x_j的几何距离，|f_j-f_i|表示当前像素点对应的灰度值f_i和邻域内像素点灰度值f_j的灰度距离，为几何距离的方差，为灰度距离的方差；

步骤三：利用冲击滤波器对图像分量I_l(i,j)中的显著边缘进行加强，冲击滤波的计算公式如下：

$I_l^{t+1}=I_l^t-sign\left({\mathrm{\ΔI}}_l^t\right)\left|\right|\▿I_l^t\left|\right|dt$

其中，表示第t次迭代的图像，表示图像的梯度图像，表示梯度图像的二阶偏导，sign为符号函数；

步骤四：对图像分量I_l(i,j)进行梯度模值的计算，然后按梯度的模值大小进行排序，梯度模值的计算公式如下：

G_x(i,j)＝|I_l(i+1,j)-I_l(i,j)|

G_y(i,j)＝|I_l(i,j+1)-I_l(i,j)|

G(i,j)＝(G_x(i,j),G_y(i,j))

其中，G_x(i,j)为图像中点(i,j)对应的水平梯度值，G_y(i,j)为图像中点(i,j)对应的垂直梯度值，G(i,j)为I_l(i,j)的梯度图像，i,j为像素点的横、纵坐标值；

步骤五：对步骤四获得的梯度图像G(i,j)进行筛选，筛选过程为：只保留前p％的梯度，剔除后面1-p％的梯度，得到筛选后的梯度图像G_s(i,j)，p的取值范围为15～35；

步骤六：使用筛选后的梯度图像G_s(i,j)进行模糊复原，具体为：采用归一化稀疏正则化方法进行模糊核估计和图像复原；

首先采用如下优化函数进行计算：

$\underset{x}{\mathrm{argmin}}\left\{\frac{\mathrm{\λ}}{2}\right||h\⊗x-G_s(i,j)|{|}^2+\frac{\left|\right|x|{|}_1}{\left|\right|x|{|}_2}\}$

其中，x为待估计清晰图像的高频分量，G_s(i,j)为模糊图像经过梯度筛选后的梯度图像，h为待估计模糊核，为卷积运算，||·||₁为矩阵1范数运算，||·||₂为矩阵2范数运算，λ,为可调参数，其中λ为控制数据保真项的权重，为控制模糊核正则项||h||₁的权重；

通过交替优化上述公式中的变量x和h，最终得到模糊核的估计h^*，然后再利用估计出的h*和原始的图像分量I_l(i,j)采用如下优化函数得到清晰图像的估计D(i,j)：

$\underset{f}{\mathrm{argmin}}\left\{\frac{\mathrm{\β}}{2}\right||h^{*}\⊗f-I_l(i,j)|{|}^2+\left|\right|\mathrm{\Δ}f\left|{|}^{\mathrm{\α}}\right\}$

其中，f为待估计清晰图像，△f为f对应的梯度图像，||·||^α为矩阵α范数运算，β为可调参数，通过对上述优化函数求解，即可得到最终的复原图像D(i,j)。

2.根据权利要求1所述的一种基于梯度筛选的数字模糊图像盲复原方法，其特征在于步骤二所述的的取值为3，的取值为0.1。

3.根据权利要求2所述的一种基于梯度筛选的数字模糊图像盲复原方法，其特征在于步骤三所述的表示第t次迭代的图像中，t的取值为15。

4.根据权利要求2所述的一种基于梯度筛选的数字模糊图像盲复原方法，其特征在于步骤五所述的p的取值为20。

5.根据权利要求4所述的一种基于梯度筛选的数字模糊图像盲复原方法，其特征在于步骤六所述的λ的取值为100，的取值为2，α取值为0.7，β的取值为1000。