CN108830802B - 一种基于短曝图像梯度导向的图像模糊核估计方法 - Google Patents

Abstract

本发明公开了一种基于短曝图像梯度导向的图像模糊核估计方法。通过引入短曝图像的梯度引导方法，对正常曝光模糊图像的点扩散函数进行准确估计。在正常曝光模糊图像的基础上获取一张相同场景的短曝光图像，该短曝光图像可视为无运动参考图，利用短曝光参考图和待求图像之间的梯度相似性与梯度稀疏性，构建图像约束项，以短曝图像的梯度导向建立图像能量最小化优化方程，并利用交替迭代法求解最优值。模糊核求解过程中，利用高斯金字塔模型，对输入图像和待求模糊核在不同金字塔尺度下处理，逐次更新模糊核和候选图像，最终获得估计模糊核。本发明为一般的运动模糊图像复原工作提供了准确有效的模糊核估计方法，进一步提升了图像非盲复原的准确性。

Description

一种基于短曝图像梯度导向的图像模糊核估计方法

技术领域

本发明属于数字图像处理领域，涉及一种基于短曝图像梯度导向的图像模糊核估计方法。

背景技术

运动图像模糊核估计是图像恢复领域的重要研究课题。图像在采集、传输过程中由于成像器件和拍摄目标物体之间存在相对运动，容易造成图像运动模糊。模糊图像复原研究中关键的一步是点扩散函数的估计，其准确性直接影响后期图像去模糊的效果，不合适的点扩散函数会导致去模糊效果差、引发振铃效应和噪声突出等问题。

对于运动模糊核的估计方法，主要分两类：稀疏先验和多尺度框架结合方法，图像边缘预测方法。稀疏先验和多尺度框架结合方法，如利用最大后验概率或零均值高斯混合模型估计图像和模糊核，并从不同尺度下逐步精细化模糊核。图像边缘预测方法，一般通过对模糊图像进行冲击滤波的方式锐化图像，预测图像强边缘，并逐步细化模糊核估计过程，最终获取点扩散函数。运动模糊图像点扩散函数的估计方法目前存在的主要问题是，对于复杂运动类型的模糊核估计难以精确，算法鲁棒性不足。在点扩散函数估计过程中，图像噪声的存在也同样影响核估计的准确性。另外，核估计算法需要在不同尺度下对图像和模糊核进行多次迭代计算，时间代价大。

考虑到传统模糊核估计方法的局限性，本方法提出了一种基于短曝图像梯度导向的模糊核估计方法，在获取正常曝光运动模糊图像的同时，额外拍摄获得相同场景的短曝光图像。该短曝光图像由于曝光时间短，可视为无运动模糊图像。将该短曝光图像作为参考图像应用于运动模糊图像的核估计过程中，可引导核估计的准确性，同时有效提高算法运行效率。

发明内容

本发明的目的是利用短曝图像的梯度引导方法，根据短曝图像和正常曝光图像的梯度相似性与梯度稀疏性，构建图像约束项，求解图像能量最小化优化方程，从而解决复杂运动类型的模糊图像点扩散函数估计问题。在该过程中，短曝图像替代长曝模糊图像并应用到模糊核的迭代运算中，有效引导模糊核的估计，并有效缩短不同金字塔尺度估计时间。

为达到以上目的，本发明采用以下技术方案：一种基于短曝图像梯度导向的图像模糊核估计方法，该方法包括以下步骤：

(1)短曝图像预处理：获取同一对象的运动模糊图像和短曝图像，计算运动模糊图像和短曝图像的灰度能量比值，并将短曝图像进行亮度拉伸；

(2)构建图像去模糊的总体方程；

其中，x为潜在清晰图像，k为待求模糊核，y为运动模糊图像；

(3)结合短曝图像和潜在清晰图在梯度方面的相似性，在图像复原过程中加入模糊核能量约束、梯度相似性约束和图像梯度的零次约束，得到新的能量方程，即基于短曝图像梯度引导的能量最小化优化方程：

其中，

为步骤(1)预处理后的短曝图像梯度图，

为潜在清晰图像梯度图，γ、η、λ是相关惩罚项的约束因子；

将能量最小化优化方程分解为模糊核子问题和清晰图像子问题；

(4)利用不同尺度的图像金字塔在梯度域逐步细化模糊核估计，得到最优模糊核，具体包括以下子步骤：

(4.1)设定运动模糊图像的最大模糊核尺寸，计算所需金字塔层数N；

(4.2)初始化模糊核：设定初始模糊核尺寸，模糊核能量均匀分布于模糊核中心两点；

(4.3)设置1到N的金字塔循环，每一层依次交替求解模糊核子问题和清晰图像子问题，将所得的模糊核作归一化处理；在第1层到第i层金字塔循环时，采用短曝图像梯度引导；在第i+1层到第N层金字塔循环时，不采用短曝图像梯度引导；其中，1≤i≤N-1；

(4.4)第N层循环计算结束，得到估计模糊核。

进一步地，所述步骤(1)中，采用BM3D方法对亮度拉伸后的短曝图像进行去噪处理，获得去噪后的短曝图像。

进一步地，所述步骤(1)中，短曝图像亮度拉伸的公式为：

B_l＝αB₀·M

其中，M为运动模糊图像和短曝图像B₀的灰度能量比值，α为亮度调整系数，其取值范围为[0.6,1.0]，B_l为亮度拉伸后的短曝图像。

进一步地，所述步骤(3)中，

根据能量最小化优化方程分解的模糊核子问题为：

根据能量最小化优化方程分解的清晰图像子问题为：

其中，

为亮度拉伸后的短曝图像梯度。

进一步地，所述步骤(4.3)中，在梯度域求解模糊核子问题：

在第1层到第i层金字塔循环时，将短曝图像作为潜在清晰图像引导图，即采用该尺度下的短曝图像梯度

替代

进行计算，从而快速准确地进行模糊核估计；第i+1层到第N层金字塔循环时，

为上一层金字塔计算所得的潜在清晰图像梯度。

进一步地，所述步骤(4.3)中，在清晰图像子问题中引入趋近

的变量g，得到目标方程：

将目标方程分解为x子问题和g子问题，并分别进行求解：

x子问题：

g子问题：

将g子问题通过不等式分析推导求解，得到：

进一步地，所述步骤(4.1)中，所需金字塔层数N的计算公式为：

N＝log(L/S)/log(R₀)+1

其中，S为最大模糊核尺寸，R₀为相邻金字塔尺寸比例，L为常量；由于采用短曝图像梯度引导方法，R₀可取较大的数值，其范围为[0.5,0.7071]。

本发明的有益效果：针对一般复杂运动类型的模糊图像点扩散函数估计问题，本发明方法通过引入短曝图像，利用其梯度图作为引导，结合短曝光图像和待求图像之间的梯度相似性与梯度稀疏性，构建图像约束项，建立图像能量最小化优化方程，通过图像金字塔分层求解，最终对正常曝光模糊图像的点扩散函数进行准确估计。本发明方法创造性地为运动模糊图像引入短曝参考图作为点扩散函数的估计手段，有效保证模糊核估计的准确性，适用于大模糊量、运动类型复杂的模糊图像，具有很强的鲁棒性。另外，与一般点扩散函数估计方法相比，本发明方法在保证核估计准确性的基础上，有效减少了核估计求解过程中所需的金字塔层数，节省时间成本。

附图说明

图1为模糊核估计总体流程图。

图2为模糊核估计算法具体流程图。

图3为待处理输入图像，其中，(a)为运动模糊图像，(b)为短曝图像。

图4为经过处理的短曝图像，其中，(a)为亮度提升的短曝图像，(b)为经过BM3D去噪方法处理后的结果。

图5为模糊核由粗到细估计过程，其中，(a)-(d)为不同尺度下的模糊核估计结果，模糊尺度逐步细化，(e)为标准的仿真参考模糊核。

图6为模糊核估计过程中间图，其中，(a)为79*99尺度下的模糊图，(b)为149*199尺度下的模糊图，(c)为74*99尺度下的短曝引导图，(d)为149*199尺度下的短曝引导图，(e)为74*99尺度下的潜在清晰估计图，(f)为149*199尺度下的潜在清晰估计图。

图7为一般盲复原方法预估模糊核结果，其中，(a)-(g)代表不同尺度下由粗到细的估计结果；由于模糊尺度过大，运动较为复杂，一般核估计方法容易出现偏差。

具体实施方式

以下结合附图对本发明作进一步说明。

本发明针对一般复杂运动类型的模糊图像点扩散函数估计问题，通过引入短曝图像，利用其梯度图作为引导，结合短曝图像和待求图像之间的梯度相似性与梯度稀疏性，构建图像约束项，建立图像能量最小化优化方程，通过图像金字塔分层求解，最终对正常曝光模糊图像的点扩散函数进行准确估计。

本发明的流程如附图1和附图2所示，主要包括短曝图像预处理、构建基于短曝图像梯度引导的能量最小化优化方程和利用不同尺度的图像金字塔逐步细化模糊核估计等三个步骤。

以下依据示例模糊图像图3(a)和短曝图像图3(b)，对本发明进行具体操作介绍。

步骤1.短曝图像预处理

1-1获取同一对象的运动模糊图像和短曝图像，分别计算模糊图像和短曝图像的灰度值总和E_y和E_b，并由此计算两者的灰度能量比值M：

M＝E_y/E_b (1)

在获得灰度能量比值M后，依据式(2)将短曝图像B₀进行灰度拉伸：

B_l＝αB₀·M (2)

其中，α为亮度调整系数，B_l为亮度拉升后的短曝图像。图4(a)为经过亮度拉升后的短曝图像。

1-2经过步骤1-1处理后的短曝图像，其图像清晰度优于正常曝光图像，但在亮度拉升过程中噪声被放大，需进行去噪处理。这里采用3维块匹配滤波方法(BM3D)对亮度拉伸后的短曝图像进行去噪操作，去噪处理后的图像记为B。BM3D方法主要利用在图像中寻找相似块的方法进行滤波，经过BM3D滤波算法处理的亮度拉伸短曝图像如图4(b)所示。

步骤2.构建图像去模糊的总体方程。具体是：

其中，x为潜在清晰图像，k为待求模糊核，y为运动模糊图像。

步骤3.新能量方程构建与求解。

3-1在总体方程的基础上，引入短曝图像，结合其与潜在清晰图在梯度方面的相似性，构建梯度相似性约束；同时，考虑图像梯度的零次约束和模糊核能量约束，获得新的能量方程：

其中，η、γ、λ是相关惩罚项的约束因子。由此获得能量最小化的图像约束方程，分步求解关于k的能量方程(4)即可最终得到运动模糊核。

3-2具体求解方程(4)，可分解为清晰图像求解子问题和模糊核求解子问题：

其中，(5)式为清晰图像求解子问题，(6)式为模糊核求解子问题。

3-3对于子问题(5)，引入变量g(g趋近

)，目标方程转化为：

以上目标方程可分解为x子问题(8)和g子问题(9)：

x子问题可转化到频域求解，其为最小二乘问题，求解可得到：

g子问题可转化为像素点最小化问题，通过不等式分析推导求解，得到：

以上过程的求解在同一图像金字塔尺度下交替进行，最终获得该尺度下的最优模糊核估计。

步骤4.利用不同尺度的图像金字塔逐步细化模糊核估计

4-1在梯度域进行模糊核估计，此时公式(6)转化为：

4-2设定运动模糊图像最大模糊核尺寸，如45*45，并依据式(13)计算所需图像金字塔层数N：

N＝log(L/S)/log(R₀)+1 (13)

其中，S为最大模糊核尺寸，R₀为相邻金字塔尺寸比例，L为常量；

3-3初始化模糊核：初始模糊核尺寸为S₀＝S/R₀ ^N，模糊核能量均匀分布于模糊核中心两点；

3-4设置1到N的金字塔循环，每一层依次交替求解公式(5)和公式(6)。计算所得的模糊核作归一化处理。在第1层到第i层金字塔循环时，该尺度下的短曝图像梯度

替代

进行计算。第i+1层到第N层金字塔循环时，

为上一层金字塔计算所得的潜在清晰图像梯度,其中，1≤i≤N-1。图5所示为不同金字塔尺度下由粗到细过程估计所得的图像模糊核。图6为模糊核估计过程中分别对应79*99尺度和149*199尺度下的模糊图像、短曝图像和预估计清晰图像。

3-4第N层循环计算结束，得到估计模糊核。

为说明本发明方法对运动模糊图像点扩散函数估计的准确性，以图3(a)为例，将本方法模糊核估计结果与常用盲复原核估计方法结果进行对比，常用盲复原核估计方法由粗到细的估计过程如图7所示，本发明方法核估计结果如图5(a)-(d)所示，其中图5(e)为45*45的图像标准模糊核。由于图像模糊尺度较大，常用盲复原模糊核估计方法在估计过程中逐步出现偏差，最终核估计结果与真实结果相比误差很大。本发明方法由于采用短曝图像梯度引导措施，在核估计初始阶段估计较为接近，由粗到细的估计过程中逐步逼近真实点扩散函数的分布，最终获得准确的核估计结果，且有效缩短了计算过程，在核估计的准确性和效率性方面具有很大的优势。

Claims (1)

1.一种基于短曝图像梯度导向的图像模糊核估计方法，其特征在于，该方法包括以下步骤：

(1)短曝图像预处理：获取同一对象的运动模糊图像和短曝图像，计算运动模糊图像和短曝图像的灰度能量比值，并将短曝图像进行亮度拉伸，采用BM3D方法对亮度拉伸后的短曝图像进行去噪处理，获得去噪后的短曝图像，短曝图像亮度拉伸的公式为：

B_l＝αB₀·M

其中，M为运动模糊图像和短曝图像B₀的灰度能量比值，α为亮度调整系数，其取值范围为[0.6,1.0]，B_l为亮度拉伸后的短曝图像；

(2)构建图像去模糊的总体方程；

其中，x为潜在清晰图像，k为待求模糊核，y为运动模糊图像；

(3)结合短曝图像和潜在清晰图在梯度方面的相似性，在图像复原过程中加入模糊核能量约束、梯度相似性约束和图像梯度的零次约束，得到新的能量方程，即基于短曝图像梯度引导的能量最小化优化方程：

其中，

为步骤(1)预处理后的短曝图像梯度图，

为潜在清晰图像梯度图，γ、η、λ是相关惩罚项的约束因子；

将能量最小化优化方程分解为模糊核子问题和清晰图像子问题；

根据能量最小化优化方程分解的模糊核子问题为：

根据能量最小化优化方程分解的清晰图像子问题为：

其中，

为亮度拉伸后的短曝图像梯度；

(4)利用不同尺度的图像金字塔在梯度域逐步细化模糊核估计，得到最优模糊核，具体包括以下子步骤：

(4.1)设定运动模糊图像的最大模糊核尺寸，计算所需金字塔层数N；所需金字塔层数N的计算公式为：

N＝log(L/S)/log(R₀)+1

其中，S为最大模糊核尺寸，R₀为相邻金字塔尺寸比例，L为常量；R₀取值范围为[0.5,0.7071]；

(4.2)初始化模糊核：设定初始模糊核尺寸，模糊核能量均匀分布于模糊核中心两点；

(4.3)设置1到N的金字塔循环，每一层依次交替求解模糊核子问题和清晰图像子问题，将所得的模糊核作归一化处理；

在梯度域求解模糊核子问题：

在第1层到第i层金字塔循环时，将短曝图像作为潜在清晰图像引导图，即采用该尺度下的短曝图像梯度

替代

进行计算，从而快速准确地进行模糊核估计；第i+1层到第N层金字塔循环时，

为上一层金字塔计算所得的潜在清晰图像梯度；

在清晰图像子问题中引入趋近

的变量g，得到目标方程：

将目标方程分解为x子问题和g子问题，并分别进行求解：

x子问题：

g子问题：

将g子问题通过不等式分析推导求解，得到：

其他

在第1层到第i层金字塔循环时，采用短曝图像梯度引导；在第i+1层到第N层金字塔循环时，不采用短曝图像梯度引导；其中，1≤i≤N-1；

(4.4)第N层循环计算结束，得到估计模糊核。

Images