CN102156965A - 一种存在运动物体的场景运动模糊图像恢复方法 - Google Patents

Abstract

本发明属于数字图像处理领域，具体是一种存在运动物体的场景运动模糊图像恢复方法。步骤1：场景运动模糊图像的运动模型参数估计及修正与提取运动物体模糊图像：步骤2：运动模糊图像恢复：包括场景运动模糊图像恢复和运动物体模糊图像恢复，其中：对于场景运动模糊图像，按照步骤1的方法估计出静态场景运动模糊的运动模型参数并对其进行修正后，利用图像恢复方法对其进行恢复；步骤3：恢复图像融合：对按照步骤2恢复后的运动物体图像嵌入到恢复后的场景图像中，即对恢复后的运动物体图像与恢复后的场景图像进行融合，采用滤波的方法处理恢复后的运动物体图像和场景图像的结合部分，使其接缝平滑保持图像的完整性。

Description

一种存在运动物体的场景运动模糊图像恢复方法

技术领域

本发明属于数字图像处理领域，涉及一种运动模糊图像恢复方法，具体是一种存在运动物体的场景运动模糊图像恢复方法。

背景技术

由于相机与被摄物之间的相对运动，导致图像质量的下降，称之为运动模糊。运动模糊是成像过程中一种普遍存在的现象，在飞机、快速行驶的汽车或者宇宙飞行器上拍摄图像，拍摄对象相对速度过快或者拍摄时抖动都会导致运动模糊的产生。运动模糊的现象严重影响了获取的图像的质量，对后续处理和分析带来了很大的困难。

在移动成像系统成像过程中，会出现以下两种情况：(1)被摄区域没有运动物体。此种情况下，被摄区域整体与相机存在相对运动，所拍摄的整幅图像都发生了运动模糊，所成之图像我们称为场景运动模糊图像。(2)被摄区域存在运动物体。此种情况下被摄区域和运动物体与相机存在不同的相对运动，即在场景运动模糊的情况下存在运动物体模糊，所成之图像我们称之为存在运动物体的场景运动模糊图像。目前为止，几乎所有的运动模糊图像恢复方法都是针对整个场景与成像装置发生相对运动说形成的场景运动模糊图像的。由于图像恢复技术在图像处理中占有重要的地位，已经形成了一些经典的常用图像恢复算法，如无约束最小二乘法、有约束最小二乘法方法、逆滤波、维纳滤波、最大熵复原法等，至今还被广泛使用。这些方法都需要在点扩展函数PSF(Point Spread Function)已知的前提下才能进行，然而往往实际情况下点扩展函数PSF是未知的。鉴于此种情况，研究人员提出了盲恢复算法。

现有的运动模糊盲恢复算法研究主要有两种，一种是采取将运动模型PSF与恢复图像相分离，先对PSF进行辨识，然后用恢复算法进行恢复。另外一种即将PSF辨识和图像恢复同时进行。

第一种方法首先对PSF进行辨识，现有的PSF辨识方法主要有基于频域的方法和基于空间域的方法。估计出PSF后，可采用传统的恢复方法进行恢复。但是，由于图像恢复问题往往是病态的，采用正则化方法可以很好的解决这一问题。正则化图像恢复的一个新的发展是全变分(total variation，TV)正则化图像恢复方法。全变分正则化方法的优点在于：(1)全变分正则化方法能够很好保持复原图像边缘；(2)全变分图像恢复问题等价于凸函数最小化问题，存在唯一最小值，易于求解。

第二种方法即是将PSF辨识和图像恢复同时进行，这种方法适用对先验知识了解较少或者无先验知识的情况。非负支持域递归逆滤波(Nonnegativity and Support Constraints Recursive Inverse Filtering NAS-RIF)算法是一种应用广泛的盲恢复算法，这种方法与盲均衡算法中的Bussgang类算法相似，属于零记忆非线性解卷技术，在进行盲解卷时具有计算复杂度低和应用灵活的特点。非负支持域递归逆滤波算法(NAS-RIF)可以很好的克服迭代盲解卷积方法的收敛性较差和模拟退火算法的计算量太大的缺点。

以上的方法都是针对场景运动模糊图像的，对于场景运动模糊情况下存在运动物体的运动模糊图像，直接采用以上的恢复方法达不到好的恢复效果。

发明内容

本发明的目的在于提出一种存在运动物体的场景运动模糊图像恢复方法，克服了现有运动模糊图像恢复技术的不足。

本发明是按照以下技术方案实现的：一种存在运动物体的场景运动模糊图像恢复方法，具体步骤为：

步骤1：场景运动模糊图像的运动模型参数估计及修正与提取运动物体模糊图像：对于采集系统采集的存在运动物体的场景运动模糊图像，采用在同等采集条件下采集场景运动模糊图像，利用已有的先验条件，估计它的运动参数，接着采用运动参数辨识方法对其进行辨识，对估计的结果进行修正，从而得到较准确的静态场景运动模糊的运动模型参数；

步骤2：运动模糊图像恢复：包括场景运动模糊图像恢复和运动物体模糊图像恢复，其中：对于场景运动模糊图像，按照步骤1的方法估计出静态场景运动模糊的运动模型参数并对其进行修正后，利用图像恢复方法对其进行恢复；

步骤3：恢复图像融合：对按照步骤2恢复后的运动物体图像嵌入到恢复后的场景图像中，即对恢复后的运动物体图像与恢复后的场景图像进行融合，采用滤波的方法处理恢复后的运动物体图像和场景图像的结合部分，使其接缝平滑保持图像的完整性。

所述步骤2中采用全变分正则化图像恢复方法来对存在运动物体的场景运动模糊图像进行恢复，包括以下步骤：

1)从物理问题上建立泛函及其约束条件；

2)通过泛函变分，利用变分法基本预备定理求Euler-Lagrange方程；

3)在边界条件下求解，即求解偏微分方程。

所述步骤2中采用非负支持域递归逆滤波算法(NAS-RIF)来对提取出的运动物体模糊图像进行恢复，该算法采用如下的非线性滤波器：

其中U_sup代表目标所在的支持域，L_B则是背景像素的灰度值，NL代表一非线性滤波器；

在最优化算法中所用的代价函数如下：

$J\left(u\right)=\underset{\∀(x,y)}{\mathrm{\Σ}}{e}^2(x,y)+\mathrm{\γ}{[u(x,y)-1]}^2$

$=\underset{(x,y)\∈U_{\sup }}{\mathrm{\Σ}}{\stackrel{)}{f}}^2(x,y)\left[\frac{1-\mathrm{sgn}\left(\stackrel{)}{f}(x,y)\right)}{2}\right]+\underset{(x,y)\∈{\stackrel{\‾}{U}}_{\sup }}{\mathrm{\Σ}}{[\stackrel{)}{f}(x,y)-L_B]}^2+\mathrm{\γ}{[\underset{\∀(x,y)}{\mathrm{\Σ}}u(x,y)-1]}^2$

其中u(x，y)为一自适应有限脉冲响应(FIR)滤波器，而误差信号e(x，y)则通过共轭梯度最小化法或最速下降法最优化方法来调整u(x，y)的滤波器系数；

其中

是U_sup之外的区域，变量γ则是在L_B为零即背景为黑时才有非零的值。

本发明的有益效果：

本发明针对存在运动物体的场景运动模糊图像提出一种图像恢复方法。对于存在运动物体的场景运动模糊图像，直接采用传统的恢复方法会导致运动物体模糊图像恢复质量很差，导致图像恢复质量很差，本发明采用光流法将运动物体模糊图像与场景运动模糊图像相分离，采用全变分方法对分离出的场景运动模糊图像进行恢复处理，可以很好的保持图像的细节纹理和边缘信息，而且能抑制噪声的影响，并且易于求解。采用非负支持域递归逆滤波算法(NAS-RIF)对分离出的运动物体模糊图像进行恢复处理，将恢复后的场景图像和运动物体图像进行融合，并采用平滑处理使得图像融合接缝更加平滑，以达到很好的恢复整幅图像的目的。本发明公开的运动模糊图像恢复方法是目标检测、目标分析等计算机视觉高级处理部分的重要基础性工作，在国防安全、智能交通等需要高质量图像的诸多领域都具有广泛的应用前景和市场价值。

附图说明

图1为本发明技术方案流程图；

图2为图像的运动模糊的降质模型图；

图3为非负支持域递归逆滤波算法(NAS-RIF)流程图。

具体实施方式

下面结合附图对本发明的实施例作详细说明：本实施例在以本发明的技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本实施例针对搭载在高精度转台上的面阵相机采集的存在运动物体的场景运动模糊图像进行恢复处理。由采集系统采集的存在运动物体的场景运动模糊图像，根据采集系统的部分信息估计其运动模糊PSF参数并加以修正，利用估计出的PSF对场景运动模糊图像进行恢复，同时提取其中的运动物体模糊图像，对其进行图像恢复，最后将其与恢复后的场景图像融合成为一幅完整的图像。具体步骤如下：

步骤1.场景运动模糊图像的运动模型参数估计及修正与提取运动物体模糊图像。

图像的运动模糊的降质模型如图2所示：

数学模型为：

g(x，y)＝f(x，y)*h(x，y)+n(x，y)           (1)

式中f(x，y)是原图像，g(x，y)为降质图像，h(x，y)为点扩散函数(Point Spread Function，PSF)，n(x，y)为加性噪声。

本实施例是针对搭载在高精度转台上的面阵相机成像系统所成之模糊图像，在采集过程中，云台是匀速转动的，所成的运动模糊图像可等效成匀速直线运动模糊图像。设运动方向与X轴的夹角为θ。运动距离为L，则它的PSF模型如下式所示：

$h(x,y)=\left\{\begin{array}{cc}1/L& y=x\tan \mathrm{\θ},0\≤x\≤L\cos \mathrm{\θ}\\ 0& y\≠x\tan \mathrm{\θ},-\∞\≤x\≤\∞\end{array}\right.---\left(2\right)$

由上式可以看出，当运动方向θ和运动距离L确定时，即可得到确定的点扩展函数(PSF)。

本实施例利用云台的运动信息及相机的相关信息，可以估计出所采集运动模糊图像的PSF。设相机采集图像的帧率为P，曝光时间为T，序列图像中相邻两幅图像之间的偏移量可用相位相关法求得，设为X，则

若得到准确的PSF，则采取经典的恢复算法即可达到很好的恢复效果。直接利用云台的运动信息及相机的相关信息估计出的PSF跟真实的PSF之间存在一定的误差，采用现有的运动模糊参数辨识方法对运动模糊参数进行辨识，修正与所估计PSF之间的误差，以便得到更为准确的PSF参数。本实施例采用的基于方向微分的辨识方法可以自动鉴别出运动方向，且准确度较高，利用微分图像在运动方向上的自相关性可估计出模糊长度。根据辨识出的运动模糊PSF参数与利用云台及相机的相关信息估计出的PSF之间的误差，可得出云台的运动信息和相机的相关信息与误差的关系曲线，在处理运动模糊图像时就可以直接利用云台运动信息及相机相关信息估计并参考它与误差的关系曲线对其加以修正，得出准确的运动模糊PSF。

本实施例采用光流法来检测运动物体，由于运动物体和场景与相机存在不同的相对运动，故场景和运动物体的运动矢量不同，故可分割出有明显不同运动的像素集合，将运动物体模糊图像提取出来。

光流分析是建立在经过很短的时间Δt，运动物体的光亮度不变基础上。设图像点(x，y)在时刻t的亮度为f(x，y，t)，经过Δt时刻后，物体运动到(x+Δx，y+Δy)，此时其亮度则变为f(x+Δx，y+Δy，t+Δt)，并且：

f(x，y，t)＝f(x+Δx，y+Δy，t+Δt)     (4)

根据泰勒级数展开，得：

$f(x,y,t)=f(x,y,t)+\frac{\∂f}{\∂t}\mathrm{\δx}+\frac{\∂f}{\∂t}\mathrm{\δy}+\frac{\∂f}{\∂t}+\mathrm{\δt}+e---\left(5\right)$

当Δt→0，消去等式(8)两边相同项并忽略高阶无穷小，则式(5)可变为：

$\frac{\∂f}{\∂x}\frac{\mathrm{dx}}{\mathrm{dt}}+\frac{\∂f}{\∂y}\frac{\mathrm{dy}}{\mathrm{dt}}+\frac{\∂f}{\∂t}=0---\left(6\right)$

设u＝dx/dt，v＝dy/dt，

则得到光流场的约束方程：

f_xu+f_yv+f_t＝0                          (7)

假定光流在整个图像上是光滑变化的，即要求运动场不仅要求满足光流场约束方程又要满足全局平滑性。这样根据该假定，则有：

${(\▿u)}^2={(\frac{\∂u}{\∂x}+\frac{\∂u}{\∂y})}^2=0$ ${(\▿v)}^2={(\frac{\∂v}{\∂x}+\frac{\∂v}{\∂y})}^2=0---\left(8\right)$

此二式构成光流约束方程的附加约束条件。为求出u，v，利用拉格朗日乘子法求条件极值，即光流场误差的极小值：

其中λ是平滑因子。λ越大，平滑度就越高，则估计得精度也越高。为使总误差E(x，y)最小，式(9)两边对u，v求导取零并以导点速度u，v分别与邻域平均值之差近似拉式算子

最后整理并求出u，v：

$u={\stackrel{\‾}{u}}_{\mathrm{av}}-\frac{f_x(f_x{\stackrel{\‾}{u}}_{\mathrm{av}}+f_y{\stackrel{\‾}{v}}_{\mathrm{av}}+f_t)}{{\mathrm{\λ}}^2+f_x^2+f_y^2}---\left(10\right)$

$v={\stackrel{\‾}{v}}_{\mathrm{av}}-\frac{f_y(f_x{\stackrel{\‾}{u}}_{\mathrm{av}}+f_y{\stackrel{\‾}{v}}_{\mathrm{av}}+f_t)}{{\mathrm{\λ}}^2+f_x^2+f_y^2}---\left(11\right)$

这样，我们可以据此求出各点的u，v，并得到图像的光流以进行分析，提取运动物体模糊图像。考虑到提取的精度，我们拟把算法确定出的运动物体模糊图像区域扩大，以确保整个运动物体模糊图像都在确定的区域内。

步骤2.运动模糊图像恢复。

运动模糊图像恢复包括场景运动模糊图像恢复和运动物体模糊图像恢复，其中：

对于场景运动模糊图像，按照步骤1的方法得出场景运动模糊图像的运动参数PSF，采用采用全变分(total variation，TV)正则化图像恢复方法来对场景运动模糊图像进行恢复，全变分正则化图像恢复方法可以很好的保持图像的细节纹理和边缘信息，而且能抑制噪声的影响，且此种方法将恢复问题等价于凸函数最小化问题，存在唯一最小值，易于求解。变分图像恢复是一种确定性的方法，它通过引入能量函数，将图像恢复问题转化为一个泛函求极小值的问题，即变分问题。变分法是研究泛函求极值问题的方法，它的主要步骤为：

(1)从物理问题上建立泛函及其约束条件；

(2)通过泛函变分，利用变分法基本预备定理求Euler-Lagrange方程；

(3)在边界条件下求解，即求解偏微分方程。

设理想恢复图像为f，模糊图像为g，PSF函数为h。全变分复原模型的出发点是输出图像f在满足条件∫_Ω|h*f-g|²dxdy＝σ²＝const的约束下，应尽可能光滑。与各项同性扩散模型不同，它采用

作为图像光滑性测度，构成了如下泛函的变分问题：

$\underset{f}{\inf }E\left(f\right)=\∫|\▿f|\mathrm{d\Ω}+\frac{\mathrm{\λ}}{2}\∫{[h*f-g]}^2\mathrm{d\Ω}---\left(12\right)$

最小化泛函(12)得到Euler-Lagrange方程：

$\mathrm{\λh}*(h*f-g)-\mathrm{div}\left(\frac{\▿f}{|\▿f|}\right)=0---\left(13\right)$

式(13)的梯度下降流为：

$\frac{\∂f}{\∂t}=\mathrm{div}\left(\frac{\▿f}{|\▿f|}\right)-\mathrm{\λh}*(h*f-g)---\left(14\right)$

本实施例在整个迭代过程中取固定的λ值。

对于步骤1提取出的运动物体模糊图像，由于物体运动的不确定性，它的运动信息是未知的，我们无法对其运动参数进行估计，故所提取出的运动物体模糊图像的PSF是未知的，故采用盲恢复算法来复原图像。本实施例采用非负支持域递归逆滤波算法(NAS-RIF)来对提取出的局部运动模糊图像进行恢复。非负支持域递归逆滤波算法可以很好的克服迭代盲去卷积方法的收敛性较差和模拟退火算法的计算量太大的缺点。

NAS-RIF算法的流程图如图3所示，其中u(x，y)为一自适应有限脉冲响应(FIR)滤波器，NL代表一非线性滤波器，而误差信号e(x，y)则通过共轭梯度最小化法或最速下降法等最优化方法来调整u(x，y)的滤波器系数。

采用如下的非线性滤波器：

其中U_sup代表目标所在的支持域，L_B则是背景像素的灰度值。

在最优化算法中所用的代价函数如下：

$J\left(u\right)=\underset{\∀(x,y)}{\mathrm{\Σ}}{e}^2(x,y)+\mathrm{\γ}{[u(x,y)-1]}^2$

$=\underset{(x,y)\∈U_{\sup }}{\mathrm{\Σ}}{\stackrel{)}{f}}^2(x,y)\left[\frac{1-\mathrm{sgn}\left(\stackrel{)}{f}(x,y)\right)}{2}\right]+\underset{(x,y)\∈{\stackrel{\‾}{U}}_{\sup }}{\mathrm{\Σ}}{[\stackrel{)}{f}(x,y)-L_B]}^2+\mathrm{\γ}{[\underset{\∀(x,y)}{\mathrm{\Σ}}u(x,y)-1]}^2---\left(16\right)$

其中

是U_sup之外的区域，变量γ则是只有在L_B为零(即背景为黑)时才有非零的值。

本实施例中采用灰色为背景，即L_B不为零，则变量γ为0。代价函数可简化为：

$J\left(u\right)=\underset{\∀(x,y)}{\mathrm{\Σ}}{e}^2(x,y)+\mathrm{\γ}{[u(x,y)-1]}^2$

$=\underset{(x,y)\∈U_{\sup }}{\mathrm{\Σ}}{\stackrel{)}{f}}^2(x,y)\left[\frac{1-\mathrm{sgn}\left(\stackrel{)}{f}(x,y)\right)}{2}\right]+\underset{(x,y)\∈{\stackrel{\‾}{U}}_{\sup }}{\mathrm{\Σ}}{[\stackrel{)}{f}(x,y)-L_B]}^2---\left(17\right)$

由于上式的代价函数是凸的，所以该算法保证收敛至全局最小点。本实施例采用共轭梯度法作为此代价函数的最小化优化方法。

步骤3.恢复图像融合。

对于按照步骤2恢复后的场景图像和运动物体图像，将恢复后的运动物体图像嵌入到恢复后的场景图像中，由于运动物体模糊图像和场景运动模糊图像是分开进行恢复的，如果将恢复后的运动物体图像直接嵌入恢复后的场景图像，势必会造成运动物体图像与场景图像存在亮度差异的现象，影响图像的质量。对于恢复后的运动物体图像与恢复后的场景图像的融合，本实施例中采用均值滤波的方法处理运动物体图像嵌入后其与场景图像的结合部，使两者的接缝更加平滑，保持图像的完整性，获得完整的恢复图像。

Claims (3)

1.一种存在运动物体的场景运动模糊图像恢复方法，其特征在于，具体步骤为：

步骤1：场景运动模糊图像的运动模型参数估计及修正与提取运动物体模糊图像：对于采集系统采集的存在运动物体的场景运动模糊图像，采用在同等采集条件下采集场景运动模糊图像，利用已有的先验条件，估计它的运动参数，接着采用运动参数辨识方法对其进行辨识，对估计的结果进行修正，从而得到较准确的静态场景运动模糊的运动模型参数；

步骤2：运动模糊图像恢复：包括场景运动模糊图像恢复和运动物体模糊图像恢复，其中：对于场景运动模糊图像，按照步骤1的方法估计出静态场景运动模糊的运动模型参数并对其进行修正后，利用图像恢复方法对其进行恢复；

步骤3：恢复图像融合：对按照步骤2恢复后的运动物体图像嵌入到恢复后的场景图像中，即对恢复后的运动物体图像与恢复后的场景图像进行融合，采用滤波的方法处理恢复后的运动物体图像和场景图像的结合部分，使其接缝平滑保持图像的完整性。

2.如权利要求1所述的一种存在运动物体的场景运动模糊图像恢复方法，其特征在于，所述步骤2中采用全变分正则化图像恢复方法来对存在运动物体的场景运动模糊图像进行恢复，包括以下步骤：

1)从物理问题上建立泛函及其约束条件；

2)通过泛函变分，利用变分法基本预备定理求Euler-Lagrange方程；

3)在边界条件下求解，即求解偏微分方程。

3.如权利要求1所述的一种存在运动物体的场景运动模糊图像恢复方法，其特征在于，所述步骤2中采用非负支持域递归逆滤波算法(NAS-RIF)来对提取出的运动物体模糊图像进行恢复，该算法采用如下的非线性滤波器：

其中U_sup代表目标所在的支持域，L_B则是背景像素的灰度值，NL代表一非线性滤波器；

在最优化算法中所用的代价函数如下：

$J\left(u\right)=\underset{\∀(x,y)}{\mathrm{\Σ}}{e}^2(x,y)+\mathrm{\γ}{[u(x,y)-1]}^2$

$=\underset{(x,y)\∈U_{\sup }}{\mathrm{\Σ}}{\stackrel{)}{f}}^2(x,y)\left[\frac{1-\mathrm{sgn}\left(\stackrel{)}{f}(x,y)\right)}{2}\right]+\underset{(x,y)\∈{\stackrel{\‾}{U}}_{\sup }}{\mathrm{\Σ}}{[\stackrel{)}{f}(x,y)-L_B]}^2+\mathrm{\γ}{[\underset{\∀(x,y)}{\mathrm{\Σ}}u(x,y)-1]}^2$

其中u(x，y)为一自适应有限脉冲响应(FIR)滤波器，而误差信号e(x，y)则通过共轭梯度最小化法或最速下降法最优化方法来调整u(x，y)的滤波器系数；

其中

是U_sup之外的区域，变量γ则是在L_B为零即背景为黑时才有非零的值。

Images