CN110097509A - 一种局部运动模糊图像的复原方法 - Google Patents

Abstract

本发明涉及图像复原技术领域，具体涉及一种局部运动模糊图像的复原方法，包括以下步骤：A)获得编码曝光的最优快门序列S；B)计算运动目标的PSF像移尺度估计值d；C)采集背景图像G，计算背景图像G与待复原的模糊图像F的差值图像H，D)将差值图像H二值化后作为模板图H′，将模板图H′与F、G分别进行模板运算，得到目标提取图像F′和背景图像P；E)获得F)使用基于student‑t约束的复原方法，得到运动目标清晰图像G)将运动目标清晰图像和背景图像P融合，获得复原图像本发明具有迭代次数少，复原快的技术效果。

Description

一种局部运动模糊图像的复原方法

技术领域

本发明涉及图像复原技术领域，具体涉及一种局部运动模糊图像的复原方法。

背景技术

运动模糊是光学成像过程中经常会遇到的问题，其产生的原因是在相机曝光过程中由于被拍摄物和相机之间发生了相对位移，造成获取图像的运动模糊，降低了图像分辨率，极大的影响了成像质量。运动模糊图像复原技术，就是在不重新对目标景物拍摄的前提下，利用已有的运动模糊图像，通过对成像物理过程建模和数学求解，将模糊图像恢复为清晰图像，其在民用和军事等领域有着重要的应用价值。

在场景成像获取过程中，对于传统相机曝光模式来说，其相机快门在曝光过程中始终处于开启状态，相当于在时间域上定义了一个盒状滤波器和场景图像进行卷积。在频域上分析可近似为一个低通滤波器，这极大破坏了图像中的高频信息。同时由于外界噪声的加入，使得通过反卷积进行图像的运动模糊复原成为一个病态性问题。编码曝光(CodedExposure,CE)成像技术是Raskar等人在2006年提出的一种计算成像手段，其核心思想是通过在相机曝光过程中预设特定的二进制编码序列来控制相机快门的开启和闭合。相较于传统的相机曝光模式，相当于在时间域上设定了一个宽带滤波器，从频域率分析来看，使得在图像获取过程中尽可能多的保留中高频信息，消除了在频域上的零点部分，实现了复原的可逆化，大大的改善了模糊图像复原的病态性问题。

此外，运动目标场景拍摄时，会出现背景清晰、目标运动的局部运动模糊。大部分的模糊复原算法都是针对全局图像进行模糊复原，并未考虑局部运动模糊复原问题中PSF的空间非一致性。若直接采用全局模糊复原算法，会使得复原图像的背景产生严重的振铃效应，影响了复原图像的质量。需要引入局部运动模糊复原方法，对运动模糊区域和背景清晰区域分别进行处理，以期获得高质量的复原图像。

中国专利CN101504765B，公开日2011年6月8日，一种采用梯度融合技术的运动模糊图像序列的复原方法。其先计算出局部图像中的物体透明度，然后估计模糊退化函数，最后反卷积复原的过程中加入了梯度融合技术消除伪迹的影响。其使用了梯度融合技术来消除反卷积过程中引入的傅立叶振铃伪迹，较以往的复原方法的效果有所提高。但其迭代次数较多，所需复原时间长。

发明内容

本发明要解决的技术问题是：目前的局部运动模糊图像复原方法效果较差或者迭代次数多的技术问题。提出了一种快速迭代的具有较好清晰度和信噪比的局部运动模糊图像的复原方法。

为解决上述技术问题，本发明所采取的技术方案为：一种局部运动模糊图像的复原方法，适用于由编码曝光相机采集的局部运动模糊图像，包括以下步骤：A)获得编码曝光的最优快门序列S；B)计算运动目标的PSF像移尺度估计值d；C)采集背景图像G，计算背景图像G与待复原的模糊图像F的差值图像 表示矩阵的异或计算；D)将差值图像H二值化后作为模板图H′，将模板图H′与模糊图像F′进行模板运算，得到目标提取图像F′,将模板图H′与背景图像G进行模板运算，得到背景图像P；E)将目标提取图像F′表示为：其中，为待求解的运动目标图像，Γ为目标提取图像F′中背景像素被运动目标遮挡的时间占曝光时间的百分比，P＝G.*H′，获得F)针对步骤E获得的运动目标图像使用基于student-t约束的复原方法，得到运动目标清晰图像G)将运动目标清晰图像和背景图像P融合，获得复原图像

作为优选，在步骤A中使用遗传搜索算法，获得编码曝光的最优快门序列S，目标函数为max F＝α₁min(|F(S)|)+α₂var(1/|F(S)|)，其中，α₁、α₂为权重系数函数，F()表示傅里叶变换，|F(S)|表示快门序列S傅里叶变换的频域幅值，函数var()表示计算方差，S＝[S₁，S₂，...，S_l]，其中S_{i，i∈[1，l]}∈{0，1}，l为序列长度，其值由人工设定。

作为优选，步骤B中，获得PSF像移尺度估计值d的方法为：其中，v为运动目标速度的估计值，由人工确定，L为物方成像距离，f为相机焦距，M为相机感光器像素尺寸，t为相机曝光时间，PSF像移尺度估计值d的单位为像素。

作为优选，步骤D中，将差值图像H二值化的方法为：设置阈值其中，x∈[1,m],y∈[1,n],m×n为图像的像素尺寸。

作为优选，步骤E中，获得目标提取图像F′中背景像素被运动目标遮挡的时间占曝光时间的百分比Г的方法为：其中，j∈[1，n]，n为图像的像素行数，Γ＝{Γ₁，Γ₂，…，Γ_n}^T，区域和表示，在运动方向上目标图像区域与背景交界处的两侧区域，所述两侧区域会各有d个像素的运动目标与背景像素的叠加区域，round为近似取整运算。

作为优选，步骤F中，使用基于student-t约束的复原方法，得到运动目标清晰图像的方法包括以下步骤：F1)建立马尔可夫专家场模型：

其中，为待获得的清晰图像，h为PSF像移尺度估计值，λ、η和ξ分别为各约束项的正则化系数，σ为势函数正则化系数，λ∈[300，1500]，η∈[50，150]，ξ∈(0，1)，为专家场模型的滤波器矩阵，λ、η以及ξ的取值越大时，图像复原细节更锐化，但同时会加大复原图像的噪声，d₁，d₂分别为水平和竖直方向的变分梯度算子；F2)将步骤B获得的PSF像移尺度估计值d作为h的初始值，使用进化算法迭代若干次，直到取得局部或全局最优解。

作为优选，为5x5的高斯滤波器矩阵，ξ＝0.2，σ＝5。

作为优选，步骤G中，将运动目标清晰图像和背景图像P融合的方法为：其中，P′指完全没有被运动目标遮挡的背景图像P的区域，表示运动目标图像与背景图像P交界处的模糊的区域，表示运动目标中心的不模糊区域，ω_1(x，y)+ω_2(x，y)＝1，其中，x∈[1,m],y∈[1,n],m×n为图像的像素尺寸，区域以及区域为目标图像与背景图像P交界处沿横轴方向的两侧的模糊的交界区域。

本发明的实质性效果是：利用编码曝光模式进行模糊图像采集，采用背景差分法进行目标初次提取，再综合编码曝光运动模糊叠加特性和运动先验信息，实现运动模糊目标区域的精确提取，结合student-t复原算法进行PSF精确估计和复原重建，迭代2-3次后通常可得到复原结果，迭代次数少，复原效率高。在本发明中，需要输入一幅场景背景图像和一幅局部运动目标模糊图像，从而得到复原效果较好的全局清晰图像。本发明可应用于运动目标探测、医学图像处理、遥感成像等领域，在图像处理场合有重要的应用价值。

附图说明

图1为实施例一复原方法流程图。

图2为实施例一成像场景背景图。

图3为实施例一目标局部运动模糊图像。

图4为实施例一运动目标区域模板图。

图5为实施例一运动目标提取图像。

图6为实施例一局部运动模糊复原结果。

具体实施方式

下面通过具体实施例，并结合附图，对本发明的具体实施方式作进一步具体说明。

实施例一：

一种局部运动模糊图像的复原方法，针对局部运动模糊复原问题，从模糊图像获取和复原方案设计角度出发，提出了基于编码曝光和运动先验信息的局部运动模糊复原方法，其主要思路是：

1.采用背景差分法进行目标提取，综合编码曝光运动模糊的叠加特性，引入了“抠图”的思想来分离出模糊目标边缘的背景像素，实现运动模糊目标区域的精确提取；

2.引入编码曝光成像理论模型，考虑了编码曝光中码字序列频域幅值曲线的最小值和方差，建立了最优码字选取的适应度函数准则；通过物像关系，获得运动目标PSF像移尺度初步估计参数，作为运动先验信息。引入基于贝叶斯最大后验概率框架的student-t复原算法进行PSF精确估计和复原重建，快速迭代得到复原结果。

如图1所示，本实施例包括以下步骤：

A)对于线性匀速运动的局部运动模糊成像场景，利用编码曝光相机采集运动图像，获得目标区域模糊，背景清晰的局部运动模糊图像。其中，编码曝光最优快门序列的确定准则定义为：max F＝α₁min(|F(S)|)+α₂var(1/|F(S)|),其中，α₁、α₂为权重系数函数，f()表示离散傅里叶变换，|F(S)|表示快门序列S傅里叶变换的频域幅值，函数var()表示计算方差，S＝[S₁，S₂，...，S_l]，其中S_{i，i∈[1，l]}∈{0，1}，“1”表示快门开，“0”表示快门关，l为编码序列长度，其值由人工设定。

B)获得PSF像移尺度估计值d，PSF指模糊图像点扩散函数(Point SpreadFunction，PSF)，对于线性匀速运动目标，其运动速度估计为v，结合成像系统物像关系，物方成像距离为L，相机焦距为f，传感器像素尺寸为M，则在相机曝光时间t内，运动目标PSF像移尺度估计值d可以表示为：像移尺度d的单位是像素，表示线性运动模糊像移量，该估计值作为后续复原算法输入的运动先验信息。

C)对于成像场景，利用编码曝光模式分别拍摄采集一幅背景图像G和一幅待复原的目标运动局部模糊图像F，计算两者的差值图像H，表示为： 表示矩阵的异或计算。图2为成像场景背景清晰图。图3为目标局部运动模糊图像，运动目标为匀速直线运动，运动速度为40mm/s,利用编码曝光方式采集图像，所选用的码字序列为11110001101000100110101010011011，码字长度为32。

D)设置阈值T，将差值图像H二值化后作为模板图其中，x∈[1,m],y∈[1,n],m×n为图像的像素尺寸。模板图H′表示了所提取的运动目标区域，将其与模糊图像F进行模板运算，得到目标提取图像F′，表示为：F′＝F.*H′，其中“.*”表示模板运算，模板运算为图像处理中常用的成熟的运算，在此不做展开。P为背景G与模板图H′进行模板运算得到的背景图像，P＝G.*H′。

E)对于所提取的目标区域图像F′，其模型可以表示为：F'＝Γ·N+(1-Г)，P，其中N表示清晰目标图像，Γ为目标提取图像F′中背景像素被运动目标遮挡的时间占曝光时间的百分比。在忽略噪声的影响下，可以表示为 为待求解的运动目标图像。

其中，j∈[1，n]，n为图像的像素行数，Γ＝{Γ₁，Γ₂，...，Γ_n}^T，区域和表示，在运动方向上目标图像区域与背景交界处的两侧区域，所述两侧区域会各有d个像素的运动目标与背景像素的叠加区域，round为近似取整运算。计算图像F′每一行Γ值，按行计算后拼接获得

F)针对步骤E所提取获得的局部运动模糊图像引入基于student-t约束的PSF估计和图像复原算法，结合运动先验信息，复原得到局部区域清晰图像。基于student-t约束复原方法利用了马尔可夫专家场模型，对于图像进行建模，复原问题可以表示为：

其中，为待获得的清晰图像，h为PSF像移尺度估计值，λ、η和ξ分别为各约束项的正则化系数，σ为势函数正则化系数，λ∈[300，1500]，η∈[50，150]，ξ∈(0，1)，为专家场模型的滤波器矩阵，λ、η以及ξ的取值越大时，图像复原细节更锐化，但同时会加大复原图像的噪声，d₁，d₂分别为水平和竖直方向的变分梯度算子；将步骤B获得的PSF像移尺度估计值d作为h的初始值，使用进化算法迭代若干次，直到取得局部或全局最优解。通常经过2-3次迭代，就可快速得到复原结果。为5x5的高斯滤波器矩阵，ξ＝0.2，σ＝5。

G)采用距离加权融合方法，对于局部清晰图像和背景图像P进行融合，实现目标区域像素和背景边界像素的合理过渡，得到最终全局复原图像。

其中，P′指完全没有被运动目标遮挡的背景图像P的区域，表示运动目标图像与背景图像P交界处的模糊的区域，表示运动目标中心的不模糊区域，ω_1(x，y)+ω_2(x，y)＝1，其中，x∈[1，m]，y∈[1，n]，m×n为图像的像素尺寸，区域以及区域为目标图像与背景图像P交界处沿横轴方向的两侧的模糊的交界区域。

如图4所示，为运动目标区域模板图，能够完整有效的提取目标区域，分割边缘较为准确，能够为后续局部图像复原提供较好的基础。图5为所提取出的精确的运动目标区域图像。针对该区域图像，进行局部复原，并将复原结果融合放入原模糊图像对应区域，得到最终的整体局部运动模糊复原结果，如图6所示。从图6结果可以看到，复原图像有效的保护了背景信息不被破坏，防止了目标边缘像素和背景的相互影响，视觉效果好。

以上所述的实施例只是本发明的一种较佳的方案，并非对本发明作任何形式上的限制，在不超出权利要求所记载的技术方案的前提下还有其它的变体及改型。

Claims (8)

1.一种局部运动模糊图像的复原方法，适用于由编码曝光相机采集的局部运动模糊图像，其特征在于，

包括以下步骤：

A)获得编码曝光的最优快门序列S；

B)计算运动目标的PSF像移尺度估计值d；

C)采集背景图像G，计算背景图像G与待复原的模糊图像F的差值图像H， 表示矩阵的异或计算；

D)将差值图像H二值化后作为模板图H′，将模板图H′与模糊图像F进行模板运算，得到目标提取图像F′，将模板图H′与背景图像G进行模板运算，得到背景图像P；

E)将目标提取图像F′表示为：其中，为待求解的运动目标图像，Γ为目标提取图像F′中背景像素被运动目标遮挡的时间占曝光时间的百分比，P＝G.*H′，获得

F)针对步骤E获得的运动目标图像使用基于student-t约束的复原方法，得到运动目标清晰图像

G)将运动目标清晰图像和背景图像P融合，获得复原图像

2.根据权利要求1所述的一种局部运动模糊图像的复原方法，其特征在于，

在步骤A中使用遗传搜索算法，获得编码曝光的最优快门序列S，目标函数为max F＝α₁min(|F(S)|)+α₂var(1/|F(S)|)，其中，α₁、α₂为权重系数函数，F()表示傅里叶变换，|F(S)|表示快门序列S傅里叶变换的频域幅值，函数var(O)表示计算方差，S＝[S₁，S₂，...，S_l]，其中S_{i，i∈[1，l]}∈{0，1}，l为编码序列长度，其值由人工设定。

3.根据权利要求1或2所述的一种局部运动模糊图像的复原方法，其特征在于，

步骤B中，获得PSF像移尺度估计值d的方法为：其中，v为运动目标速度的估计值，由人工确定，L为物方成像距离，f为相机焦距，M为相机感光器像素尺寸，t为相机曝光时间，PSF像移尺度估计值d的单位为像素。

4.根据权利要求1或2所述的一种局部运动模糊图像的复原方法，其特征在于，

步骤D中，将差值图像H二值化的方法为：

设置阈值T，其中，x∈[1，m]，y∈[1，n]，m×n为图像的像素尺寸。

5.根据权利要求1或2所述的一种局部运动模糊图像的复原方法，其特征在于，

步骤E中，获得目标提取图像F′中背景像素被运动目标遮挡的时间占曝光时间的百分比Γ的方法为：其中，j∈[1，n]，n为图像的像素行数，Γ＝{Γ₁，Г₂，...，Г_n}^T，区域和表示，在运动方向上目标图像区域与背景交界处的两侧区域，所述两侧区域会各有d个像素的运动目标与背景像素的叠加区域，round为近似取整运算。

6.根据权利要求1或2所述的一种局部运动模糊图像的复原方法，其特征在于，

步骤F中，使用基于student-t约束的复原方法，得到运动目标清晰图像的方法包括以下步骤：

F1)建立马尔可夫专家场模型：

，其中，为待获得的清晰图像，h为PSF像移尺度估计值，λ、η和ξ分别为各约束项的正则化系数，σ为势函数正则化系数，λ∈[300，1500]，η∈[50，150]，ξ∈(0，1)，为专家场模型的滤波器矩阵，λ、η以及ξ的取值越大时，图像复原细节更锐化，但同时会加大复原图像的噪声，d₁，d₂分别为水平和竖直方向的变分梯度算子；

F2)将步骤B获得的PSF像移尺度估计值d作为h的初始值，使用进化算法迭代若干次，直到取得局部或全局最优解。

7.根据权利要求6所述的一种局部运动模糊图像的复原方法，其特征在于，为5x5的高斯滤波器矩阵，ξ＝0.2，σ＝5。

8.根据权利要求1或2所述的一种局部运动模糊图像的复原方法，其特征在于，

步骤G中，将运动目标清晰图像和背景图像P融合的方法为：

其中，P′指完全没有被运动目标遮挡的背景图像P的区域，表示运动目标图像与背景图像P交界处的模糊的区域，表示运动目标中心的不模糊区域，ω_1(x，y)+ω_2(x，y)＝1，其中，x∈[1，m]，y∈[1，n]，m×n为图像的像素尺寸，区域以及区域为目标图像与背景图像P交界处沿横轴方向的两侧的模糊的交界区域。