CN101504765B - 采用梯度融合技术的运动模糊图像序列的复原方法 - Google Patents

Abstract

本发明涉及一种采用梯度融合技术的运动模糊图像序列的复原方法。本方法先计算出局部图像中的物体透明度，然后估计模糊退化函数，最后反卷积复原的过程中加入了梯度融合技术消除伪迹的影响。提出的方法可以使用一张快速曝光的噪声图像来恢复多张运动模糊图像，可以用于复原一个运动模糊图像序列。同时方法既能处理相机抖动引起的全局图像模糊，也能处理物体运动引起的局部图像模糊。使用了梯度融合技术来消除反卷积过程中引入的傅立叶振铃伪迹，较以往的复原方法的效果有所提高。

Description

采用梯度融合技术的运动模糊图像序列的复原方法

技术领域

本发明属图像处理技术领域，特别是涉及一种采用梯度融合技术将运动模糊图像序列复原的方法，包括了计算机图像处理、计算机视觉领域，涉及到透明度估计，正则化迭代，反卷积算法，以及梯度域融合技术。

背景技术

图像复原是一项非常重要的应用技术，在医学成像、视频跟踪、物体识别、遥感成像和考古研究等大量实际应用中都会涉及到图像复原的处理。图像复原更是很多视频和图像处理的前期处理阶段。

如今，随着数码相机产品的发展，数码相机的设备失真情况已经大大降低，退化图像的主要原因更多还是相机抖动和物体运动引起。相机设备的抖动导致的图像模糊为全局模糊，而物体运动产生的模糊大多为局部模糊，这两种情况都可以称之为运动模糊。也可以简单的说是在相机产生图像的曝光时间内，相机与景物产生了相对运动，从而形成图像模糊。

传统的图像复原算法通常是在频率域中建立约束，如维纳滤波和最小二乘滤波，还有非线性迭代复原算法等，这些算法都是在假设退化模型已知的情况下对模糊图像进行复原，难以直接解决应用问题。

在未知退化模型的情况下的图像复原称为盲复原。因此，图像盲复原分为退化函数的估计和图像反卷积两个步骤。

国内外现有的算法有根据自然图像的梯度统计来估计点扩散函数(退化函数)，做法是先对一张清晰的照片进行空间域的梯度统计作为参照分布，用贝叶斯学习使得模糊照片的梯度分布接近参照分布，从而估计得到点扩散函数。但是统计参照分布并没有最优的标准，因此该方法对于很多模糊图像并不十分有效。还有，该方法无法处理局部模糊图像。

然而采用单图像的方法缺乏足够的先验信息，想要复原出较高质量的图像是十分困难的。引入自然清晰图像特有的统计分布作为先验信息求解，但是信息量还是有限的。由于退化图像本身就是信息丢失的，也就是说即使我们精确地知道退化图像的点扩散函数，我们也没法完完全全恢复出原本的清晰图像，这也是数学上常说的病态问题。

国际上还有采用在高分辨率数码相机上固定一个低分辨率视频捕捉设备的方法，在高分辨率相机拍摄照片的同时用视频捕捉设备记录设备抖动的整个过程。然后使用光流算法对低分辨率视频中的相机运动进行分析，从中计算得到相应的近似点扩散函数。在设备条件较好的情况下，这种方法能够较好的估计出点扩散函数。但是硬件设备相对复杂，简单的绑定摄像机的方法不符合常理，而将摄像设备精简到普通相机中不仅开发设计难度高，而且相机成本也将大大增加。

国际上还有采用一张抖动模糊图像和一张噪声图像来复原出清晰图像。实验拍摄得到两张图像：一张通过长时间曝光和低ISO得到的模糊图像，另一张是短时间曝光和高ISO得到的噪声图像。综合利用模糊图像和噪声图像的特性，使用噪声图像来辅助模糊图像的复原。该方法需要模糊图像和噪声图像严格地对齐，并且还是无法处理局部图像模糊的情况。

另外，简单地调整相机模式是无法解决以上问题的。采用快速曝光，我们还可以将相机调整到高ISO来缩短曝光时间，这样可以拍摄到一张轮廓清晰的照片，但是照片因曝光不足而整体偏暗，局部区域由于曝光不足而损失了很多高频细节，并且照片上会明显地出现很多噪点。如果用打闪光的方式，则会引起图像过曝或者严重的阴影，色彩也会失真。

发明内容

本发明所要解决的技术问题是提供一种使用一张快速曝光的噪声图像来恢复多张运动模糊图像，复原一个运动模糊图像序列，既能处理相机抖动引起的全局图像模糊，也能处理物体运动引起的局部图像模糊的运动模糊图像序列复原的方法。

本发明解决其技术问题所采用的技术方案是：提供一种采用梯度融合技术将运动模糊图像序列复原的方法，根据图像退化的基本理论，将盲复原方法分为点扩散函数的估计和非盲反卷积，其特征在于，包括下列步骤：

(1)点扩散函数的估计：

a.选定噪声图像和一模糊图像中的同一物体，使用透明度计算方法估计物体的透明度，且两张透明度图像尺寸一致；

b.使用正则化迭代方法，以两张透明度图像作为输入，得出模糊图像的点扩散函数；

c.重复上述第a步和第b步，噪声图像只需一张，第a步中噪声图像每次都为同一张，模糊图像每次都不同，直至所有模糊图像都处理完；

(2)非盲反卷积：

a.将每一张模糊图像，以及对应的点扩散函数作为非盲反卷积算法的输入，同时指定迭代次数，具体迭代次数由采用的非盲反卷积算法而定；

b.在非盲反卷积算法迭代一半次数即第a步指定的迭代次数的一半后，使用梯度域融合技术对复原图像做消除振铃伪迹处理，所述的梯度域融合技术使用原模糊图像和复原图像作为输入；

c.重复非盲反卷积算法迭代，直至该算法收敛；再做一次梯度域融合，消除振铃伪迹。

根据权利要求1所述的一种采用梯度融合技术将运动模糊图像序列复原的方法，所述的非盲反卷积算法包括线性的最小二乘法即正则法，非线性的方法有Lucy-Richardson迭代。

透明度计算采用国际上较新的Closed-form matting，公式如下：

α＝arg min α^TLα+λ(α^T-b^T)D(α-b)，

上式中等式左边的α即为所要求解的透明度。α^T右上角的T为转置操作。D是一个对角矩阵，在它的对角元素上，用户标定区域像素对应的值为1，其它值为0，在本发明中，用户使用画笔来画点或线从而简单标定需要提取透明度的前景物体。b是列向量，其值与D对角元素值相同。L是一个N×N的矩阵，它的(i，j)th元素为：

$\underset{k|(i,j)\∈w_k}{\mathrm{\Σ}}({\mathrm{\δ}}_{\mathrm{ij}}-\frac{1}{\left|w_k\right|}(1+\frac{1}{\frac{\mathrm{\ϵ}}{\left|w_k\right|}+{\mathrm{\σ}}_k^2}(I_i-{\mathrm{\μ}}_k)(I_j-{\mathrm{\μ}}_k))).$

上式中w_k是一个3×3的小窗口，μ_k和σ_k ²分别是窗口中像素值的均值和方差，|w_k|是指窗口中像素的个数。I是3×3的单位阵。

正则化方法采用数学上现有的理论。根据正则化准则得到一个最小化问题：

$\underset{k}{\min }{\left|\right|\mathrm{Ak}-b\left|\right|}^2+{\mathrm{\λ}}^2{\left|\right|k\left|\right|}^2,$

该最小化公式中前一项是最小二乘问题，使得k能够尽量满足退化公式b＝Ak，但是多数情况下k是奇异的，所以需要第二项来对k作进一步约束，使得k的元素尽可能的小。同时k应该满足 $k_{i\≥0,\underset{i}{\mathrm{\Σ}}{k}_i=1.}$ λ用来控制收敛速度，取值一般为整数(例如λ＝3)。最终

求得的k就是所需的点扩散函数。

有益效果

与现有技术相比，本发明具有以下优点：

1.使用局部图像的透明度来估计点扩散函数，而非整张图像的灰度值，因此图像之间无需预先作对齐处理，计算量也大大减少，并且还可以处理局部模糊图像。

2.通过提取噪声图像和模糊图像中的同对象的透明度，可以有效的恢复出模糊图像的点扩散函数。

3.采用梯度域图像融合加入到反卷积过程中，极大地抑制反卷积过程中产生的振铃伪迹，使得结果图像中恢复的信息更加准确清晰。

4.可以一次复原同一场景下的一段图像序列或视频。

附图说明

图1(a)是噪声图像中提取的物体透明度；

图1(b)是模糊图像中提取的物体透明度；

图1(c)是利用两张透明度估计出的点扩散函数；

图2梯度融合技术消除振铃伪迹实例图；

图3(a)为模糊的局部图像；

图3(b)为本发明执行的结果图。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

如图1所示，图1是两张图像的局部物体的透明度，图1(a)是噪声图像中提取的物体透明度，虽然原图像是带有噪声的，但提取出的透明度是边界相对清晰的。图1(b)是模糊图像中提取的物体透明度，该透明度边界也是模糊的。图1(c)是利用两张透明度估计出的点扩散函数。

如图2所示，图2中的第一张图像为模糊图像，第二张为现有算法的结果，第三张为本发明使用梯度融合技术消除振铃伪迹影响后的结果图像。

如图3所示，图3为估计出局部物体透明度后提取出的局部图像。图3(a)为模糊的局部图像，图3(b)为本发明执行的结果。

下面结合具体实施方式对本发明作进一步详细说明。

本发明的整个具体实施步骤如下：

1.用户需要具备一部数码相机，普通家用数码相机或者专业单反数码相机均可，摄像机DV也可。

2.调整相机设置。拍摄模式设为连拍或者视频拍摄，相机参数设置为低ISO(eg：100)。手持相机拍摄一段图像序列或者视频。

3.再次调整相机设置。拍摄模式为普通拍照模式，相机参数设置为高ISO(eg：1600)，曝光时间选择较短的(eg：1/20秒)。手持相机拍摄一张同场景的图像。

4.将所有拍摄图像从数码相机导入计算机。

5.按照上节中本发明的复原步骤，使用该复原方法对图像序列或者视频进行复原。

说明：参数设置视具体相机而定，不同型号相机略有不同，参数选择为接近上述参数即可。所有拍摄图像为同一场景图像，调整相机模式时相机不必一直对着场景，两次拍摄间可以有时间间隔。

Claims (2)

1.一种采用梯度融合技术的运动模糊图像序列的复原方法，根据图像退化的基本理论，将盲复原方法分为点扩散函数的估计和非盲反卷积，其特征在于，包括下列步骤：

(1)点扩散函数的估计：

a.选定噪声图像和一模糊图像中的同一物体，使用透明度计算方法估计物体的透明度，且两张透明度图像尺寸一致；

b.使用正则化迭代方法，以两张透明度图像作为输入，得出模糊图像的点扩散函数；

c.重复上述第a步和第b步，噪声图像只需一张，第a步中噪声图像每次都为同一张，模糊图像每次都不同，直至所有模糊图像都处理完；

(2)非盲反卷积：

  a.将每一张模糊图像，以及对应的点扩散函数作为非盲反卷积算法的输入，同时指定迭代次数，具体迭代次数由采用的非盲反卷积算法而定；

b.在非盲反卷积算法迭代一半次数即第a步指定的迭代次数的一半后，使用梯度域融合技术对复原图像做消除振铃伪迹处理，所述的梯度域融合技术使用原模糊图像和复原图像作为输入；

c.重复非盲反卷积算法迭代，直至该算法收敛；再做一次梯度域融合，消除振铃伪迹。

2.根据权利要求1所述的一种采用梯度融合技术的运动模糊图像序列的复原方法，所述的非盲反卷积算法包括线性的最小二乘法即正则法，非线性的方法有Lucy-Richardson迭代。 

Images