CN104794696A - 一种图像去运动模糊方法及装置 - Google Patents

Abstract

本发明提供一种图像去运动模糊方法及装置。其方法包括：输入待处理的原始图像；对原始图像进行运动方向边缘检测以提取原始图像中运动目标在运动方向的第一方向边缘信息；对原始图像进行垂直于运动方向边缘检测以提取原始图像中运动目标在垂直于运动方向的第二方向边缘信息；根据第一方向边缘信息和第二方向边缘信息获取原始图像中运动目标区域；对运动目标区域进行去运动模糊处理；将去运动模糊处理后的运动目标区域与原始图像中非运动目标区域合并，生成并输出去运动模糊后的整体图像。本发明提供的图像去运动模糊方法仅对运动目标区域进行处理，无需额外硬件支持，在保证对目标恢复质量的前提下，进一步简化计算量，降低噪声干扰。

Description

一种图像去运动模糊方法及装置

技术领域

本发明实施例涉及数字图像处理技术领域，尤其涉及一种图像去运动模糊方法及装置。

背景技术

视频监控广泛应用于公共安全及交通管理领域，基于视频图像的目标识别等处理可以极大地提高安全预警与分析处理能力。但现有视频监控系统中由于成像器件存在各种物理缺陷，或使用环境不利于良好成像，以及使用者的操作问题等原因，对快速运动物体成像时容易存在运动模糊，导致拍摄到的图像细节不够清晰，不利于使用者后续处理与分析。

现有的视频图像去运动模糊方法如中国专利(申请号：201110209524.8)采用两级滤波器用于降低噪声等影响，提高图像恢复质量；中国专利(申请号：201310341341.0，201010223988.X)提供结合相机参数控制的去模糊方法，其不足是必须依赖相机控制或其它额外硬件设备；专利201210218306.5公开了一种基于稀疏性度量的图像盲去模糊的方法，主要解决现有技术在图像盲去模糊时，对噪声敏感且存在严重的振铃效应的问题；中国专利(申请号：201110177388.9)采用Laplace算子对滤波后的模糊图像进行卷积，针对卷积后的邻域梯度差值修正梯度图像并与原模糊图像叠加实现单张图像去模糊；中国专利(申请号：201110205589.5)公开了一种空间各异模糊核三维运动去模糊的方法，能够处理包括空间各异复杂运动、遮挡与出现等复杂情况的大尺度运动模糊问题；中国专利(申请号：201010532524.7)分别对图像进行模糊和锐化，并计算两种图像的差异用于计算模糊系数，从而实现逆运算去模糊；中国专利(申请号：201410239703.X)引入支撑连续性先验，用于提高运动模糊核的估计精度；中国专利(申请号：201310030285.9)自适应选择用于估计运动模糊核的窗口，避免了手动选择的繁琐性和盲目性，提高了窗口选择的有效性和处理结果的准确性。

上述方法在恢复质量、计算量等方面各有优点，但都是针对整幅图像进行处理，仍然存在较大的冗余计算，或者需要依赖额外硬件实现，增大了对系统计算资源的需求，并影响处理速度。

发明内容

本发明提供的图像去运动模糊方法及装置解决了现有技术中对整幅图像进行处理存在较大的冗余计算和依赖额外硬件实现等问题。

本发明提供一种图像去运动模糊方法，包括：

输入待处理的原始图像；

对所述原始图像进行运动方向边缘检测以提取所述原始图像中运动目标在运动方向的第一方向边缘信息；

对所述原始图像进行垂直于运动方向边缘检测以提取所述原始图像中运动目标在垂直于运动方向的第二方向边缘信息；

根据所述第一方向边缘信息和第二方向边缘信息获取所述原始图像中运动目标区域；

对所述运动目标区域进行去运动模糊处理；

将所述去运动模糊处理后的运动目标区域与所述原始图像中非运动目标区域合并，生成并输出去运动模糊后的整体图像。

进一步地，对所述原始图像采用帧差图像四阶矩进行运动方向边缘检测，包括：

(1)计算帧差图象四阶矩计算公式为：

其中w是图像窗口，N是图像窗口内的像素数，R_all是帧差图象，是图像窗口w中图像像素均值；

(2)判别运动模糊目标在运动方向的运动区域，判别公式为:

$\left\{\begin{array}{ccc}{R}_{a11}(x,y)\∈R_{H\_\mathrm{motion}},& \mathrm{if}& m_i^{\left(4\right)}\≥C\×{\left({\mathrm{\δ}}_s^2\right)}^2\\ R_{a11}(x,y)\∉R_{H\_\mathrm{motion},}& \mathrm{else}& \end{array}\right.,$ 其中R_{H_motion}是运动目标在运动方向的边界图像，C是预先设定的常量，是帧差图象背景区域S内的噪声方差，的计算公式为：

${\mathrm{\δ}}_s^2=\frac{1}{N}\underset{(x,y)\∈s}{\mathrm{\Σ}}{(R_{a11}(x,y)-\stackrel{\‾}{m})}^2.$

进一步地，对所述原始图像采用含邻域信息的梯度运算进行垂直于运动方向边缘检测，若设定待检测的像素点为I(x,y)，则其邻域信息值NeighborInfor计算公式为：

$\mathrm{NeihborInfor}\left(I(x,y)\right)=\frac{I(x,y)}{1+\exp \left[q(I(x,y)-\stackrel{\‾}{I}(x,y))\right]},$ 其中是邻域内像素点的平均灰度值，q为邻度算子，q是取值在0～1之间的常数；

对NeighborInfor值进行垂直于运动方向上的梯度运算以检测到运动目标在垂直于运动方向上的边缘。

进一步地，根据所述第一方向边缘信息和第二方向边缘信息获取所述原始图像中运动目标区域包括：

根据所述第一方向边缘信息和第二方向边缘信息，通过形态学处理提取围成的联通区域以获取所述原始图像中运动目标区域。

进一步地，对所述运动目标区域进行去运动模糊处理包括：

对所述原始图像中运动目标区域采用模糊函数逆运算处理以获取去运动模糊处理后的图像。

进一步地，若模糊图像f′形成公式为：

f′＝h*f+ε，其中f为原始图像，h为模糊函数，*为卷积运算，ε为误差，所述模糊函数h定义为：

$h(m,n)=\left\{\begin{array}{c}\frac{1}{d},0\≤m\≤d,n=0\\ 0,\mathrm{else}\end{array}\right\},$ 其中d是模糊函数长度；

则令以使得误差ε值最小化。

本发明还提供一种图像去运动模糊装置，包括：

输入模块，用于输入待处理的原始图像；

运动方向边缘检测模块，用于对所述原始图像进行运动方向边缘检测以提取所述原始图像中运动目标在运动方向的第一方向边缘信息；

垂直运动方向边缘检测模块，用于对所述原始图像进行垂直于运动方向边缘检测以提取所述原始图像中运动目标在垂直于运动方向的第二方向边缘信息；

获取运动目标区域模块，用于根据所述第一方向边缘信息和第二方向边缘信息获取所述原始图像中运动目标区域；

去运动模糊处理模块，用于对所述运动目标区域进行去运动模糊处理；

输出模块，用于将所述去运动模糊处理后的运动目标区域图与所述原始图像中非运动目标区域合并，生成并输出去运动模糊后的整体图像。

相对于现有技术中对整幅图像进行的去运动模糊处理，本发明提供的图像去运动模糊方法及装置通过获取原始图像中运动目标区域，实现仅对运动目标区域的去运动模糊处理，在保证对目标恢复质量的前提下，不需要额外硬件支持，进一步简化了计算量，还进一步降低噪声干扰。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明图像去运动模糊方法实施例的流程图；

图2为本发明图像去运动模糊装置实施例的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种图像去运动模糊方法，图1为本发明图像去运动模糊方法实施例的流程图，如图1所示，具体包括：

步骤100、输入待处理的原始图像；

上述原始图像含有运动模糊的区域，比如视频图像中快速运动的车辆、人影等。

步骤110、对所述原始图像进行运动方向边缘检测以提取所述原始图像中运动目标在运动方向的第一方向边缘信息；

本步骤中，假设将图像序列中没有发生突变的两帧连续图像设为I_k、I_k+1，进行差值计算，理论上可以滤除大量重复信息，设获取到的非零点集为

R_all＝I_k-I_k+1

实际应用中，由于随机噪声、环境光照变化等因素的干扰，帧差图象R_all中包含有这些因素引起的无关信息，将该信息设为噪声图象R_noise，则模糊目标(即运动目标)在运动方向的边界区域为：

R_{H_motion}＝R_all-R_noise

由于随机噪声一般具有高斯分布的特性，而运动物体具有很强的结构性，所以可以通过逐点计算帧差图像的四阶矩来区分高斯信号和非高斯信号，即划分背景区域与模糊目标。

假设第一运动方向检测到边缘其纵坐标最大、最小值分别为y_max，y_min。

步骤120、对所述原始图像进行垂直于运动方向边缘检测以提取所述原始图像中运动目标在垂直于运动方向的第二方向边缘信息；

步骤110的基础可以利用帧间差值计算，从而提取出模糊目标在运动方向上的区域边界，但在步骤120中垂直于运动方向上则提取不到目标区域信息。但运动目标在垂直于运动方向上目标也会发生模糊，但因程度较轻，可以采用改良的边缘检测算法来提取该区域边界信息。

传统边缘检测算子一般是对图像进行微分运算，实际应用中对离散图像采用差分运算代替微分运算。由于差分运算只考虑图像相邻像素点的灰度差值，信息量比较单一，所以对于灰度差值变化不大的模糊边缘，效果就不理想。如果考虑以像素点为中心的一个适当大小的区域，对区域的某种特征量进行差分运算，则该区域特征量包含有比单独像素点更丰富的图像信息，则能够更有效地检测到模糊边缘。

假设第二运动方向检测到边缘其横坐标最大、最小值分别为x_max，x_min；

步骤130、根据所述第一方向边缘信息和第二方向边缘信息获取所述原始图像中运动目标区域，即为点(x_min,y_min)、(x_min,y_max)、(x_max,y_min)、(x_max,y_max)围成的矩形区域，令其为R_motion；

步骤140、对所述运动目标区域进行去运动模糊处理；

步骤150、将所述去运动模糊处理后的运动目标区域与所述原始图像中非运动目标区域合并，生成并输出去运动模糊后的整体图像。

上述技术方案，相对于现有技术中对整幅图像进行的去运动模糊处理，本发明提供的图像去运动模糊方法及装置通过获取原始图像中运动目标区域，实现仅对运动目标区域的去运动模糊处理，在保证对目标恢复质量的前提下，不需要额外硬件支持，进一步简化了计算量，还进一步降低噪声干扰。

进一步地，在上述技术方案的基础上，步骤110可以采用帧差图像四阶矩进行运动方向边缘检测，具体可以包括：

(1)计算帧差图象四阶矩计算公式为：

其中w是图像窗口(如3*3窗口)，N是窗口内的像素数，R_all是帧差图象，m是图像窗口w中图像像素均值；

(2)判别运动模糊目标在运动方向的运动区域，判别公式为:

$\left\{\begin{array}{ccc}{R}_{a11}(x,y)\∈R_{H\_\mathrm{motion}},& \mathrm{if}& m_i^{\left(4\right)}\≥C\×{\left({\mathrm{\δ}}_s^2\right)}^2\\ R_{a11}(x,y)\∉R_{H\_\mathrm{motion},}& \mathrm{else}& \end{array}\right.,$ 其中R_{H_motion}是运动目标在运动方向的边界图像，C是预先设定的常量(可由经验值预先设定，通常设置为70～85)，是帧差图象背景区域S内的噪声方差，的计算公式为：

${\mathrm{\δ}}_s^2=\frac{1}{N}\underset{(x,y)\∈s}{\mathrm{\Σ}}{(R_{a11}(x,y)-\stackrel{\‾}{m})}^2.$

通过上面的计算，可以获取到帧差图像中除去噪声干扰的部分，即运动目标在运动方向的边界图像R_{H_motion}。

上述方法基于帧差图像四阶矩来区分高斯信号和非高斯信号，实现目标区域在运动方向上的边缘提取，其技术效果如下：

(1)充分利用随机噪声的高斯分布的特性和运动物体具有很强的结构特性，降低噪声对运动方向上目标边缘的影响。

(2)通过边缘检测可从运动方向上确定目标所在区域，为后续去模糊处理缩小处理范围。

进一步地，在上述技术方案的基础上，步骤120可以采用含邻域信息的梯度运算进行垂直于运动方向边缘检测，若设定待检测的像素点为I(x,y)，则其邻域信息值NeighborInfor计算公式为：

$\mathrm{NeihborInfor}\left(I(x,y)\right)=\frac{I(x,y)}{1+\exp \left[q(I(x,y)-\stackrel{\‾}{I}(x,y))\right]},$ 其中是邻域内像素点的平均灰度值，邻域可选择为8邻域或更多，q为邻度算子，q是取值在0～1之间的常数；

对NeighborInfor值进行垂直于运动方向上的梯度运算以检测到运动目标在垂直于运动方向上的边缘。

上述方法采用改良的边缘检测算法实现目标区域在垂直于运动方向上的边缘提取，其技术效果如下：

(1)构造NeighborInfor函数作为参考信息代替原始单个像素点信息，可以减轻垂直于运动方向上轻微模糊对边缘检测的影响。

(2)通过边缘检测可从垂直于运动方向上确定目标所在区域，为后续去模糊处理缩小处理范围。

进一步地，在上述技术方案的基础上，步骤140对所述原始图像中运动目标区域可以采用模糊函数逆运算处理以获取去运动模糊处理后的图像。

图像模糊的原理是原始图像经过一个模糊函数，如点扩散函数(point-spread function，简称PSF)和叠加随机噪声而得到的降质图像，其数学模型为：

f′＝h*f+ε

其中f为原始图像，h为模糊函数，*为卷积运算，ε为误差。

图像去模糊的原理则是对上式的逆运算。针对平行于运动方向的运动模糊，所述模糊函数为： $h(m,n)=\left\{\begin{array}{c}\frac{1}{d},0\≤m\≤d,n=0\\ 0,\mathrm{else}\end{array}\right\},$ 其中d是模糊函数长度；

当误差ε最小时，可获得最接近原图的去模糊图像，因此令可求得模糊函数长度d的极大似然解，然后针对属于R_motion的运动模糊像素，将模糊图像f′(i,j)和模糊函数长度d带入离散图像去模糊计算公式：

$f(i,j)=\left\{\begin{array}{cc}{f}^{\&prime;}(i,j),& j=\mathrm{1,1}\&le;i\&le;H\\ \frac{d\&times;f^{\&prime;}(i,j)-\underset{n=1}{\overset{j-1}{\mathrm{\&Sigma;}}}f(i,j-n)}{d-j+1},& 2\&le;j<d,1\&le;i\&le;H\\ d\&times;f^{\&prime;}(i,j)-\underset{n=1}{\overset{d-1}{\mathrm{\&Sigma;}}}f(i,j-n),& d\&le;j\&le;W,1\&le;i\&le;H\end{array}\right.$

其中W为图像宽度，H为图像高度，i，j为图像横纵坐标，通过该式由求解出原始图像，即实现去模糊处理。

上述方法针对模糊目标区域，计算模糊参数的极大似然解，且仅针对模糊区域根据图像退化模型进行逆运算，可以快速、准确地实现去模糊处理。该方法既保证了图像去模糊处理的质量要求，又缩小处理区域来提高处理速度，实现去模糊质量与速度的较好统一。

本发明还提供一种图像去运动模糊装置，图2为本发明图像去运动模糊装置实施例的结构示意图，如图2所示，具体包括：

输入模块21，用于输入待处理的原始图像；

运动方向边缘检测模块22，用于对所述原始图像进行运动方向边缘检测以提取所述原始图像中运动目标在运动方向的第一方向边缘信息；

垂直运动方向边缘检测模块23，用于对所述原始图像进行垂直于运动方向边缘检测以提取所述原始图像中运动目标在垂直于运动方向的第二方向边缘信息；

获取运动目标区域模块24，用于根据所述第一方向边缘信息和第二方向边缘信息获取所述原始图像中运动目标区域；

去运动模糊处理模块25，用于对所述运动目标区域进行去运动模糊处理；

输出模块26，用于将所述去运动模糊处理后的运动目标区域图与所述原始图像中非运动目标区域合并，生成并输出去运动模糊后的整体图像。

本实施例的装置，可以用于执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (7)

1.一种图像去运动模糊方法，其特征在于，包括：

输入待处理的原始图像；

对所述原始图像进行运动方向边缘检测以提取所述原始图像中运动目标在运动方向的第一方向边缘信息；

对所述原始图像进行垂直于运动方向边缘检测以提取所述原始图像中运动目标在垂直于运动方向的第二方向边缘信息；

根据所述第一方向边缘信息和第二方向边缘信息获取所述原始图像中运动目标区域；

对所述运动目标区域进行去运动模糊处理；

将去运动模糊处理后的所述运动目标区域与所述原始图像中非运动目标区域合并，生成并输出去运动模糊后的整体图像。

2.根据权利要求1所述的图像去运动模糊方法，其特征在于，对所述原始图像采用帧差图像四阶矩进行运动方向边缘检测，包括：

(1)计算帧差图象四阶矩计算公式为：

其中w是图像窗口，N是图像窗口内的像素数，R_all是帧差图象，是图像窗口w中图像像素均值；

(2)判别运动模糊目标在运动方向的运动区域，判别公式为:

$\left\{\begin{array}{cc}{R}_{\mathrm{all}}(x,y)\&Element;R_{H\_\mathrm{motion}},& \mathrm{if}{m}_i^{\left(4\right)\&GreaterEqual;C\&times;{\left({\mathrm{\&delta;}}_s^2\right)}^2}\\ R_{\mathrm{all}}(x,y)\&NotElement;R_{H\_\mathrm{motion}},& \mathrm{else}\end{array}\right.,$ 其中R_{H_motion}是运动目标在运动方向的边界图像，C是预先设定的常量，是帧差图象背景区域S内的噪声方差，的计算公式为：

${\mathrm{\&delta;}}_s^2=\frac{1}{N}\underset{(x,y)\&Element;s}{\mathrm{\&Sigma;}}{(R_{\mathrm{all}}(x,y)-\stackrel{\&OverBar;}{m})}^2.$

3.根据权利要求1所述的图像去运动模糊方法，其特征在于，对所述原始图像采用含邻域信息的梯度运算进行垂直于运动方向边缘检测，若设定待检测的像素点为I(x,y)，则其邻域信息值NeighborInfor计算公式为：

$\mathrm{NeighborInfor}\left(I(x,y)\right)=\frac{I(x,y)}{1+\exp \left[q(I(x,y)-\stackrel{\&OverBar;}{I}(x,y))\right]},$ 其中是邻域内像素点的平均灰度值，q为邻度算子，q是取值在0～1之间的常数；

对NeighborInfor值进行垂直于运动方向上的梯度运算以检测到运动目标在垂直于运动方向上的边缘。

4.根据权利要求1所述的图像去运动模糊方法，其特征在于，根据所述第一方向边缘信息和第二方向边缘信息获取所述原始图像中运动目标区域包括：

根据所述第一方向边缘信息和第二方向边缘信息，通过形态学处理提取围成的连通区域以获取所述原始图像中运动目标区域。

5.根据权利要求1所述的图像去运动模糊方法，其特征在于，对所述运动目标区域进行去运动模糊处理包括：

对所述原始图像中运动目标区域采用模糊函数逆运算处理以获取去运动模糊处理后的图像。

6.根据权利要求5所述的图像去运动模糊方法，其特征在于，若模糊图像f′形成公式为：

f′＝h*f+ε，其中f为原始图像，h为模糊函数，*为卷积运算，ε为误差，所述模糊函数h定义为：

$h(m,n)=\left\{\begin{array}{c}\frac{1}{d},0\&le;m\&le;d,n=0\\ 0,\mathrm{else}\end{array}\right\},$ 其中d是模糊函数长度；

则令以使得误差ε值最小化。

7.一种图像去运动模糊装置，其特征在于，包括：

输入模块，用于输入待处理的原始图像；

运动方向边缘检测模块，用于对所述原始图像进行运动方向边缘检测以提取所述原始图像中运动目标在运动方向的第一方向边缘信息；

垂直运动方向边缘检测模块，用于对所述原始图像进行垂直于运动方向边缘检测以提取所述原始图像中运动目标在垂直于运动方向的第二方向边缘信息；

获取运动目标区域模块，用于根据所述第一方向边缘信息和第二方向边缘信息获取所述原始图像中运动目标区域；

去运动模糊处理模块，用于对所述运动目标区域进行去运动模糊处理；

输出模块，用于将所述去运动模糊处理后的运动目标区域图与所述原始图像中非运动目标区域合并，生成并输出去运动模糊后的整体图像。