CN103544681B - 非均一运动模糊图像的恢复方法 - Google Patents

Abstract

本发明提出一种非均一运动模糊图像的恢复方法，包括以下步骤：在模糊图像中选取多个相互重叠的图像块；根据均一模糊图像恢复方法分别求取多个图像块的局部模糊核和去模糊图像块；根据多个图像块的局部模糊核和去模糊图像块建立多个图像块的局部模糊核与相机全局运动参数之间的对应关系，并根据对应关系估计相机的初始全局运动参数；对相机的初始全局运动参数和去模糊图像块进行迭代以得到估计的相机的最终全局运动参数；根据相机的最终全局运动参数对模糊图像进行计算以得到最终的去模糊图像。本发明的实施例基于运动模糊图像成像模型，通过结合局部模糊核和相机全局运动参数的对应关系，能够实现快速、有效、鲁棒及低误差的运动模糊图像恢复。

Description

非均一运动模糊图像的恢复方法

技术领域

本发明涉及图像复原技术领域，特别涉及一种非均一运动模糊图像的恢复方法。

背景技术

运动模糊是一种在成像过程中普遍存在的现象。位于快速行驶的汽车、飞机或其他飞行器上的相机，在拍摄图像的过程中由于拍摄对象相对速度过快或者拍摄过程中的抖动，使得拍摄的图像产生运动模糊，严重影响了获取图像的质量。实现运动模糊图像的复原，恢复原始的清晰图像，有利于获取更高分辨率的图像细节信息，对于使用许多基于图像信息进行的后续处理是非常必要的预处理过程。

在运动模糊的研究当中，通常假设得到的模糊图像服从以下成像模型：

其中，B为获取的模糊图像，I为要恢复的清晰图像，K为模糊核，n为加性噪声。在该模型的定义中，模糊图像是由清晰图像与模糊核卷积，再加入噪声而产生的。图像恢复工作一般可以分成两步来完成：一是运动模糊核的估计；二是根据估计的模糊核的图像去卷积。基于单幅图像的运动去模糊是较为欠定的问题，通常是通过分析模糊图像和清晰图像的特点，将得到其分布情况的先验信息作为约束条件添加到图像恢复过程中。

现有的图像去模糊算法绝大部分均将相机抖动模糊假设为空间一致的。近年来的很多研究表明，除平面内平移外，转动也是手持相机运动中不可忽略的成分，从而使得采集得到的图像模糊具有空间不一致性。在拍摄过程中相机沿着一条连续的轨迹不断运动，包含了沿x、y、z三个坐标轴的平移和绕三个坐标轴的旋转。相机姿态发生变换后，采集到的图像可以看作是初始场景图像经过了一个仿射变换后的结果。因此，最终采集到的模糊图像可以看作是若干仿射变换后图像的加权和，如下：

其中，B,I,n∈R^N分别表示模糊图像B、清晰图像I和噪声n的向量形式，H_j∈R^N×N为对应于相机姿态j的仿射变换矩阵。权值μ_j对应于相机在该姿态停留时间占总曝光时间的比例。所有的权值组成一个列向量μ，且有∑_jμ_j＝1。与空间一致模糊卷积模型相比较，权值向量μ即对应于模糊核K。

而要描述相机在六维运动空间的运动参数，μ的维数通常很高，要给出合理的初始值是非常困难的。

发明内容

本发明旨在至少在一定程度上解决上述技术问题之一或至少提供一种有用的商业选择。

为此，本发明的一个目的在于提出一种非均一运动模糊图像的恢复方法，该方法基于运动模糊图像成像模型，通过结合局部模糊核和相机全局运动参数的对应关系，能够实现快速、有效、鲁棒及低误差的运动模糊图像恢复。

为达到上述目的，本发明的实施例提出了一种非均一运动模糊图像的恢复方法，包括以下步骤：S1：在模糊图像中选取多个图像块，其中，所述多个图像块相互重叠；S2：根据均一模糊图像恢复方法分别求取所述多个图像块的局部模糊核和去模糊图像块；S3：根据所述多个图像块的局部模糊核和去模糊图像块建立所述多个图像块的局部模糊核与相机全局运动参数之间的对应关系，并根据所述对应关系估计所述相机的初始全局运动参数；S4：对所述相机的初始全局运动参数和所述去模糊图像块进行迭代以得到估计的相机的最终全局运动参数；以及S5：根据所述相机的最终全局运动参数对所述模糊图像进行计算以得到最终的去模糊图像。

根据本发明实施例的非均一运动模糊图像的恢复方法，通过混合相机采集系统，获得场景的近红外闪光图像和可见光图像，针对非均一运动模糊图像恢复的问题，基于运动模糊图像成像模型，通过结合局部模糊核和相机全局运动参数的对应关系，得到合理有效的运动参数估计，从而能够实现快速、有效、鲁棒及低误差的运动模糊图像恢复，使得采集的图像能够更方便地服务于各种应用。

另外，根据本发明上述实施例的非均一运动模糊图像的恢复方法还可以具有如下附加的技术特征：

在本发明的实施例中，所述步骤S2进一步包括：分别对每个图像块进行高斯下采样以根据下采样结果计算下采样图像的模糊核和对应的清晰图像；对所述清晰图像上采样，并根据所述下采样图像的模糊核估计上采样图像的模糊核和对应的清晰图像，直至得到多个图像块的局部模糊核和去模糊图像块。

在本发明的实施例中，所述步骤S2还包括：分别计算每个图像块的二维图像熵；将二维图像熵小于预设阈值的图像块删除。

在本发明的实施例中，所述步骤S3包括：从所述多个局部模糊核中选取最优的局部模糊核估计结果；根据所述最优的局部模糊核估计结果求解相机的全局运动参数，作为相机的初始全局运动参数。

在本发明的实施例中，所述从所述多个局部模糊核中选取最优的局部模糊核估计结果，采用RANSAC算法。

在本发明的实施例中，所述步骤S4进一步包括：S501：计算图像的边缘信息，并从所述边缘信息中选取重要的边缘信息用于估计重要边缘估计模糊核；S502：根据所述重要边缘估计模糊核更新所述相机的全局运动参数和所述图像的去模糊结果；以及S503A：重复步骤S501～S502，直至所述图像的去模糊结果与上一次的所述图像的去模糊结果之间的变化小于预定数值时，将当前的相机运动参数作为相机的最终全局运动参数。

在本发明的实施例中，所述步骤S4还包括：S503B：重复步骤S501～S502，直至迭代次数达到预设的最大迭代次数后，将当前的相机运动参数作为相机的最终全局运动参数。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的非均一运动模糊图像的恢复方法的流程图；

图2为根据本发明一个实施例的非均一运动模糊图形的恢复方法的获取的相机运动模糊图像示意图；

图3为现有技术的运动去模糊方法对图2的图像进行复原的结果图；以及

图4为根据本发明一个实施例的非均一运动模糊图形的恢复方法的对图2的图像进行复原的结果图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

图1为根据本发明一个实施例的非均一运动模糊图像的恢复方法的流程图。

如图1所示，根据本发明一个实施例的非均一运动模糊图像的恢复方法，包括以下步骤：

步骤S101，在模糊图像中选取多个图像块，其中，多个图像块相互重叠。

步骤S102，根据均一模糊图像恢复方法分别求取多个图像块的局部模糊核和去模糊图像块。具体而言，分别对每个图像块进行高斯采样以根据下采样结果计算下采样图像的模糊核和对应的清晰图像，并对该清晰图像进行上采样，再根据下采样图像的模糊核估计上采样图像的模糊核和对应的清晰图像，直至得到多个图像块的局部模糊核和去模糊图像。

另外，在上述步骤S102中，进一步地，分别计算每个图像块的二维图像熵，并将所得二维图像熵中小于预设阈值的图像块删除。其中，预设阈值根据具体情景预先设定。

作为一个具体的示例，上述步骤S101和步骤S102，换言之即为：首先从原始模糊图像（例如为B）中均匀的选取相互重叠的一系列局部图像块，记为{B⁽ⁱ⁾}。对于每一个图像块，首先计算它的二维图像熵，如下：

E(B⁽ⁱ⁾)＝-∑_u,vp(u,v)log(p(u,v))，

其中，p(u，v)表示该点像素值为u而其邻域的平均像素值为v的联合概率分布。图像熵是一个衡量图像纹理特征的统计量。一般来说，具有丰富的纹理信息是图像能够进行较为准确的模糊核估计的一个重要性质。因此，首先将图像熵较小的一些局部图像块去除，从而减少算法的计算量。

进一步地，在每个局部区域内，多尺度迭代估计模糊核和图像去模糊结果。具体地包括以下步骤：

第一步，对模糊图像块B⁽ⁱ⁾采用高斯下采样的方法，构建图像的高斯金字塔由最底层开始逐级处理。

第二步，估计模糊核，具体估算如下式：

其中，K^(i),l为当前层的模糊核，为当前层清晰图像估计的边缘梯度信息，为当前层可见光模糊图像B^(i),l的梯度信息，||·||^α为α范数，λ_K为预设权值。

第三步，基于得到的模糊核估计清晰图像，则有：

其中，I^(i),l为当前层可见光模糊图像的清晰图像，K^(i),l当前层的模糊核，B^(i),l为当前层可见光模糊图像，||·||^β为β范数，λ_N为预设权值。

第四步，在得到清晰图像的估计值后，重复第二步至第三步，直至达到设定的最大迭代次数。

第五步，将得到的清晰图像上采样，其采样尺度选取和高斯下采样的相同，作为上一层清晰图像的初始值，重复步骤第二步至第四步，直至达到高斯金字塔的最高层，得到初始的局部模糊核和图像块估计结果。

步骤S103，根据多个图像块的局部模糊核和去模糊图像块建立多个图像块的局部模糊核与相机全局运动参数之间的对应关系，并根据该对应关系估计相机的初始全局运动参数。具体而言，首先从多个局部模糊核中选取最优的局部模糊核估计结果，再根据该最优的局部模糊核估计结果求解相机的全局运动参数，作为相机的初始全局运动参数。其中，采用RANSAC算法从多个局部模糊核中选取最优的局部模糊核估计结果。

作为一个具体的示例，首先，根据用户给出的模糊核大小，确定相机运动空间的范围，并离散化为若干相机姿态样本。其次，建立局部模糊核和各个相机姿态下对应的运动模糊参数μ间的关系。假设一幅与模糊图像大小相同的图像P，该图像只在所有局部块的中心位置的值为1，其余的值为0。则在每个相机姿态下，计算P经过仿射变换后的图像H_jP，并从中取出模糊核在该姿态下的投影每一个局部模糊核可以看作是由这些投影基的线性组合得到，具体如下：

其中，线性系数μ_j对应于运动模糊参数在每个姿态下的取值。

基于局部模糊核和相机全局运动参数的对应关系，运动模糊参数初始值的优化问题可以定义为：

其中，的每一列是的列向量形式，为局部模糊核估计结果，为运动模糊参数μ的梯度，λ_k为预设权值。

另外，由于局部模糊核的估计值存在一定的误差，使用所有模糊核求解运动参数的结果并不理想。因此，在本发明的一个实施例中，使用RANSAC算法，将具有较大误差的局部模糊核剔除。具体地分为以下步骤：

第一步，随机选取40%的局部模糊核结果代入上述优化问题中，求解得到一个全局运动参数。

第二步，将得到的运动参数反投影得到局部模糊核若的值很小，则标记该位置的局部模糊核估计结果为合理的结果，否则标记为不合理。

第三步，迭代执行第一、二步，得到一组标记为合理的局部模糊核估计结果，以及由其求解的相机运动参数。

步骤S104，对相机的初始全局运动参数和去模糊图像块进行迭代以得到估计的相机的最终全局运动参数。具体包括以下步骤：

步骤S1041，计算图像的边缘信息，并从边缘信息中选取重要的边缘信息用于估计重要边缘估计模糊核。

步骤S1042，根据该重要边缘估计模糊核更新相机的全局运动参数和图像的去模糊结果。

步骤S1043，重复执行上述步骤S1041至步骤S1042，直至图像的去模糊结果与上一次的图像的去模糊结果之间的变化小于预定数值时，将当前的相机运动参数作为相机的最终全局运动参数。

步骤S1044，重复执行步骤S1041至步骤S1042，直至迭代次数达到预设的最大迭代次数后，将当前的相机运动参数作为最终的全局运动参数。

作为一个具体的示例，上述步骤S104，也可由以下步骤进行描述：

第一步，计算图像中包含边缘的重要程度，具体如下式：

其中，为近红外闪光图像的一阶导数，N_h(x)为以x为中心的h×h邻域，h×h为该尺度对应的模糊核大小。

另外，根据下式可计算并标记出近红外闪光图像中大尺度边缘的位置；

第二步，将近红外闪光图像经过Shock滤波器，如下式所示：

其中，ΔB=B_x ²B_xx+2B_xB_yB_xy+B_y ²B_yy，B_xx、B_yy、B_xy分别为图像的二阶导数。另外，可根据下式选出其中重要的边缘信息用于模糊核的估计。

其中，τ_s为一个预先设定的对比数值，用于函数H的取值，为滤波后模糊图像的梯度信息。

第三步，基于得到的重要边缘估计模糊核，具体如下：

其中，其每一行对应于生成一个模糊图像中像素点的模糊核，为清晰图像梯度，为模糊图像中的重要边缘信息，α_I为范数指数，λ_I为预设权值。

第四步，在得到清晰图像的估计值后，由计算重要边缘用于模糊核的估计。取τ_r=0.9τ_r，τ_s=0.9τ_s，并重复第一、二步。

第五步，更新相机运动参数，具体如下式所示：

其中，且其每一列是经过仿射变换得到的清晰图像。

第六步，重复第一步至第五步，直至达到设定的最大迭代次数，从而得到运动参数的最终估计结果。

步骤S105，根据相机的最终全局运动参数对模糊图像进行计算以得到最终的去模糊图像。具体计算如下式所示：

其中，β_I为范数指数，λ_I为预设权值。

以下作为具体的实施例，结合图2、图3、图4描述根据本发明实施例的非均一运动模糊图像的恢复方法的效果。

如图2所示，为使用混合相机采集系统得到的场景近红外闪光图像和可见光图像对，如图3所示为使用现有技术的运动去模糊方法对图2的图像进行复原的结果图，如图4所示为使用本发明实施例的运动模糊图像恢复方法对图2的图像进行复原的结果图。如图3和图4 可见，图4中的图像比图3中的图像更为清晰。从而表明使用本发明实施例的运动模糊图像恢复方法得到的去模糊图像包含了更为清晰的边缘，且引入的人为误差更少。

根据本发明实施例的非均一运动模糊图像的恢复方法，通过混合相机采集系统，获得场景的近红外闪光图像和可见光图像，针对非均一运动模糊图像恢复的问题，基于运动模糊图像成像模型，通过结合局部模糊核和相机全局运动参数的对应关系，得到合理有效的运动参数估计，从而能够实现快速、有效、鲁棒及低误差的运动模糊图像恢复，使得采集的图像能够更方便地服务于各种应用。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (5)

1.一种非均一运动模糊图像的恢复方法，其特征在于，包括以下步骤：

S1：在模糊图像中选取多个图像块，其中，所述多个图像块相互重叠；

S2：根据均一模糊图像恢复方法分别求取所述多个图像块的局部模糊核和去模糊图像块，具体包括：

分别对每个图像块进行高斯下采样以根据下采样结果计算下采样图像的模糊核和对应的清晰图像，其中，下采样图像的模糊核为：

$K^{\left(i\right),l}=\underset{K}{min}\left|\right|\▿I^{\left(i\right),l}\⊗K-\▿B^{\left(i\right),l}|{|}^2+{\mathrm{\λ}}_K|\left|K\right|{|}^{\mathrm{\α}}$

其中，K^(i),l为所述下采样图像的模糊核，为当前层清晰图像估计的边缘梯度信息，为当前层可见光模糊图像B^(i),l的梯度信息，||·||^α为α范数，λ_K为预设权值，

所述对应的清晰图像为：

$I^{\left(i\right),l}=\underset{I}{min}\left|\right|I\⊗K^{\left(i\right),l}-B^{\left(i\right),l}|{|}^2+{\mathrm{\λ}}_N||\▿I|{|}^{\mathrm{\β}}$

其中，I^(i),l为所述对应的清晰图像，K^(i),l所述下采样图像的模糊核，B^(i),l为当前层可见光模糊图像，||·||^β为β范数，λ_N为预设权值；

对所述清晰图像上采样，并根据所述下采样图像的模糊核估计上采样图像的模糊核和上采样图像对应的清晰图像，直至得到多个图像块的局部模糊核和去模糊图像块；

S3：根据所述多个图像块的局部模糊核和去模糊图像块建立所述多个图像块的局部模糊核与相机全局运动参数之间的对应关系，并根据所述对应关系估计所述相机的初始全局运动参数；

S4：对所述相机的初始全局运动参数和所述去模糊图像块进行迭代以得到估计的相机的最终全局运动参数；以及

S5：根据所述相机的最终全局运动参数对所述模糊图像进行计算以得到最终的去模糊图像。

2.如权利要求1所述的非均一运动模糊图像的恢复方法，其特征在于，所述步骤S2还包括：

分别计算每个图像块的二维图像熵；

将二维图像熵小于预设阈值的图像块删除。

3.如权利要求1所述的非均一运动模糊图像的恢复方法，其特征在于，所述步骤S3包括：

从所述多个局部模糊核中选取最优的局部模糊核估计结果；

根据所述最优的局部模糊核估计结果求解相机的全局运动参数，作为相机的初始全局运动参数。

4.如权利要求3所述的非均一运动模糊图像的恢复方法，其特征在于，所述从所述多个局部模糊核中选取最优的局部模糊核估计结果，采用RANSAC算法。

5.如权利要求1所述的非均一运动模糊图像的恢复方法，其特征在于，所述步骤S4进一步包括：

S401：计算图像的边缘信息，并从所述边缘信息中选取重要的边缘信息用于估计重要边缘估计模糊核；

S402：根据所述重要边缘估计模糊核更新所述相机的全局运动参数和所述图像的去模糊结果；以及

S403：重复步骤S401～S402，直至所述图像的去模糊结果与上一次的所述图像的去模糊结果之间的变化小于预定数值时，将当前的相机的全局运动参数作为相机的最终全局运动参数。