CN106875360A - 一种消除图像运动模糊的方法及装置 - Google Patents

Abstract

本发明公开了一种消除图像运动模糊的方法及装置，该方法包括以下步骤：基于梯度从模糊图像中提取出阶跃边缘；根据提取到的阶跃边缘，计算出阶跃边缘的响应直线；通过对响应直线进行水平采样，得到模糊核在垂直方向上的Radon变换投影值；通过对Radon变换投影值进行Radon逆变换得到模糊核的估计，最后对模糊图像去卷积，恢复出清晰图像。本发明通过建立阶跃边缘与模糊核之间的Radon变换关系，求解出模糊核，然后再恢复出清晰图像，从而将复杂的模糊核估计问题转换为更加简单而精确的阶跃边缘检测问题，大大降低了计算复杂度，提高了计算效率和精度。

Description

一种消除图像运动模糊的方法及装置

技术领域

本发明涉及图像处理技术领域，具体涉及一种消除图像运动模糊的方法及装置。

背景技术

随着智能制造技术的不断发展，机器运作自动化、智能化和精准化需求逐步增强，作为核心关键技术之一的机器视觉在工业现场中的应用越来越普遍。在实际应用中，当相机对流水线上高速运动的目标进行成像时，由于相机与目标存在相对运动，所成的图像会出现明显的模糊，这对于目标的定位和识别会造成很大的影响，尤其是在光照条件不理想而曝光时间较长的情况下，图像模糊会更加明显。

有鉴于此，急需一种高效的消除图像运动模糊的方法，能够很好的改善工业现场中运动目标图像的质量，提高定位和识别的精度。

发明内容

本发明所要解决的技术问题是改善工业现场中运动目标图像的质量，提高定位和识别的精度。

为了解决上述技术问题，本发明所采用的技术方案是提供一种消除图像运动模糊的方法，包括以下步骤：

S1、基于梯度从模糊图像中提取出阶跃边缘；

S2、根据提取到的阶跃边缘，计算出阶跃边缘的响应直线；

S3、通过对响应直线进行水平采样，得到模糊核在垂直方向上的Radon变换投影值；

S4、通过对Radon变换投影值进行Radon逆变换得到模糊核的估计，最后对模糊图像去卷积，恢复出清晰图像。。

在上述技术方案中，当恢复出的所述清晰图像与原始的清晰图像的误差大于预设误差时，将恢复出的所述清晰图像作为新的所述模糊图像，重新执行步骤S1。

在上述技术方案中，在步骤S1中，采用基于梯度的图像边缘检测算法，计算所述模糊图像的梯度值大小和对应梯度的方向；

所述模糊图像的梯度值大小的计算公式如下：

其中，g为所述模糊图像的梯度值大小；f(x,y)为所述模糊图像；

所述模糊图像的对应梯度的方向计算公式如下：

其中，θ为所述模糊图像的对应梯度的方向。

在上述技术方案中，在计算出所述模糊图像的梯度值大小和对应梯度的方向后，从所述模糊图像中提取出阶跃边缘，具体如下：

在采样网格中，沿着梯度方向，通过插值得到虚拟的邻近点，保留使中心点的梯度值最大的点，以做进一步的筛选；

其中，进一步筛选的方法具体包括以下步骤：

定义两个梯度阈值g_L和g_H，其中，g_L＜g_H；

将梯度值大于g_H的点作为边缘点；将梯度值小于g_L的点舍弃；当一个点的梯度值大于g_L且小于g_H时，若该点具有邻点，则将该点作为边缘点；否则，舍弃该点。

在上述技术方案中，在步骤S2中，提取到的阶跃边缘与计算出的响应直线之间的关系如下：

其中，b_edge(ρ_x,ρ_y)表示阶跃边缘；b_line(τ_x,τ_y)表示响应直线；(τ_x,τ_y)表示响应直线上的点坐标；(ρ_x,ρ_y)表示阶跃边缘上的点坐标。

在上述技术方案中，根据运动模糊的数学模型，对提取到的所述阶跃边缘进行建模，建模后的所述阶跃边缘的计算公式如下：

其中，θ为所述模糊图像的对应梯度方向；k(x,y)为所述模糊图像的模糊核；ρ表示方向为θ的模糊直线，可表示为ρ＝x cosθ+y sinθ；δ为冲击响应函数；(x,y)为图像域的坐标；

将运动模糊数学模型与Radon变换进行结合，则得到的新的运动模糊数学模型的计算公式如下：

其中，b(ρ_x,ρ_y)为运动模糊后的图像；f(ρ_x-x,ρ_y-y)为原始的清晰图像；(ρ_x,ρ_y)为Radon变换域的坐标；

设原始的清晰图像为一条方向为θ的理想直线，可将其参数化表示为δ(x cosθ+ysinθ)，则根据新的运动模糊数学模型的计算公式，计算出的一条方向为θ的阶跃边缘的响应直线b_line(ρ_x,ρ_y)的计算公式如下：

在上述技术方案中，在步骤S3中，所述模糊核在垂直方向上的Radon变换投影值与方向为θ的响应直线的关系如下：

其中，为所述Radon变换投影值，表示每一条沿着方向为θ的模糊直线，都可以看作是模糊核沿着此方向的Radon变换。

在上述技术方案中，在步骤S4中，Radon变换投影值的Radon逆变换公式如下：

其中，k(x,y)为模糊核的估计，Rf_θ(ω)表示Radon变换投影值的傅里叶变换。

在上述技术方案中，在步骤S4中，利用基于超拉普拉斯先验的图像非盲复原算法对模糊图像去卷积，恢复出清晰图像。

本发明还提供了一种消除图像运动模糊的装置，包括：

阶跃边缘提取单元，基于梯度从模糊图像中提取出阶跃边缘；

响应直线计算单元，根据所述阶跃边缘提取单元提取到的阶跃边缘，计算阶跃边缘的响应直线；

Radon变换投影值计算单元，对所述响应直线计算单元计算出的响应直线进行水平采样，得到模糊核在垂直方向上的Radon变换投影值；

运动模糊消除单元，对所述Radon变换投影值计算单元获取的Radon变换投影值进行Radon逆变换得到模糊核的估计，最后对模糊图像去卷积，恢复出清晰图像。

本发明通过建立模糊图像的阶跃边缘与模糊核之间的Radon变换关系，求解出模糊核，然后再对模糊图像去卷积，恢复出清晰图像，从而将复杂的模糊核估计问题转换为更加简单而精确的阶跃边缘检测问题，大大降低了计算复杂度，提高了计算效率和精度，而且相比传统的利用Radon变换来估计直线运动模糊参数的方法，本方案可以应用在较为复杂的运动场合。

附图说明

图1为本发明提供的一种消除图像运动模糊的方法流程图；

图2为本发明所选图像库中的模糊图像1的示意图；

图3为本发明所选图像库中的模糊图像2的示意图；

图4为本发明所选图像库中的模糊图像3的示意图；

图5为本发明中模糊图像1提取的阶跃边缘示意图；

图6为本发明中模糊图像2提取的阶跃边缘示意图；

图7为本发明中模糊图像3提取的阶跃边缘示意图；

图8为本发明中模糊图像1消除运动模糊之后的清晰图像以及估计得到的模糊核；

图9为本发明中模糊图像2消除运动模糊之后的清晰图像以及估计得到的模糊核；

图10为本发明中模糊图像3消除运动模糊之后的清晰图像以及估计得到的模糊核；

图11为本发明提供的一种消除图像运动模糊的装置结构示意图。

具体实施方式

从数学的角度来讲，模糊图像是由清晰图像与表示运动轨迹的点扩散函数(即模糊核)卷积得到的结果，因此本发明首先通过建立模糊图像的阶跃边缘与模糊核之间的Radon变换关系，求解出模糊核，然后再利用基于超拉普拉斯先验的图像非盲复原算法对模糊图像去卷积，从而恢复出清晰图像。由于本方案将复杂的模糊核估计问题转换为更加简单而精确的阶跃边缘检测问题，由此大大降低了计算复杂度，提高了计算效率和精度。而且相比传统的利用Radon变换来估计直线运动模糊参数的方法，本方案可以应用在较为复杂的运动场合。

下面结合说明书附图和具体实施方式对本发明做出详细的说明。

本发明提供了一种消除图像运动模糊的方法，如图1所示，包括以下步骤：

S101、采用基于梯度的图像边缘检测算法，计算模糊图像的梯度值大小和对应梯度的方向，从模糊图像中提取出理想的阶跃边缘。

如图2-4所示，为所选图像库中的模糊图像1、模糊图像2和模糊图像3的示意图。

模糊图像的梯度值大小如公式(1)所示：

公式(1)中，g为模糊图像的梯度值大小；f(x,y)为模糊图像。

模糊图像的对应梯度的方向如公式(2)所示：

公式(2)中，θ为模糊图像的对应梯度的方向。

在计算出模糊图像的梯度值大小和对应梯度的方向后，采用置信度的方法，从模糊图像中提取出理想的阶跃边缘，例如，在一个3x3的采样网格中，沿着梯度的方向，通过插值得到两个虚拟的邻近点，只有当中心点的梯度值最大时，该点才会保留以做进一步的筛选，进一步筛选的方法具体为：定义两个梯度阈值g_L和g_H，其中，g_L＜g_H，将梯度值大于g_H的点作为边缘点；将梯度值小于g_L的点舍弃；当一个点的梯度值大于g_L且小于g_H时，若该点在得到的边缘图中具有邻点，则将该点作为边缘点；否则，舍弃该点。

如图5-7所示，为模糊图像1、模糊图像2和模糊图像3提取的阶跃边缘示意图。

S102、根据提取到的阶跃边缘，计算出阶跃边缘的响应直线。

提取到的阶跃边缘与计算出的阶跃边缘的响应直线之间的关系如公式(3)所示：

公式(3)中，b_edge(ρ_x,ρ_y)表示阶跃边缘；b_line(τ_x,τ_y)表示响应直线；(τ_x,τ_y)表示响应直线上的点坐标；(ρ_x,ρ_y)表示阶跃边缘上的点坐标。

首先，根据运动模糊数学模型，对提取到的阶跃边缘b_edge(ρ_x,ρ_y)进行建模，建模后的阶跃边缘如公式(4)所示：

公式(4)中，θ为模糊图像的对应梯度方向；k(x,y)为模糊图像的点扩散函数，即模糊核；ρ表示方向为θ的模糊直线，可表示为ρ＝x cosθ+y sinθ；δ为冲击响应函数；(x,y)为图像域的坐标。

其次，将运动模糊数学模型与Radon变换进行结合，则得到的新的运动模糊数学模型如公式(5)所示：

公式(5)中，b(ρ_x,ρ_y)为运动模糊后的图像；f(ρ_x-x,ρ_y-y)为原始的清晰图像；(ρ_x,ρ_y)为Radon变换域的坐标。

设原始的清晰图像为一条方向为θ的理想直线，可将其参数化表示为δ(x cosθ+ysinθ)，则根据公式(5)，计算出一条方向为θ的阶跃边缘的响应直线b_line(ρ_x,ρ_y)，如公式(6)所示：

S103、通过对响应直线进行水平采样，得到模糊核在垂直方向上的Radon变换投影值，并将得到的所有Radon变换投影值移动到同一个坐标系下，使其中心位于原点。

模糊核在垂直方向上的Radon变换投影值与公式(6)中方向为θ的响应直线b_line(ρ_x,ρ_y)的关系如公式(7)所示：

公式(7)中，为模糊核在垂直方向上的Radon变换投影值，表示每一条沿着方向为θ的模糊直线，都可以看作是模糊核沿着此方向的Radon变换。

S104、通过对Radon变换投影值进行Radon逆变换得到模糊核的估计，最后利用基于超拉普拉斯先验的图像非盲复原算法对模糊图像去卷积，恢复出清晰图像。

Radon变换投影值的Radon逆变换如公式(8)所示：

公式(8)中，k(x,y)为模糊核的估计，Rf_θ(ω)表示Radon变换投影值的傅里叶变换。

图8-10为模糊图像1、模糊图像2和模糊图像3消除运动模糊之后的清晰图像以及估计得到的模糊核。

S105、判断得到的清晰图像与原始的清晰图像的误差是否小于预设误差，如果是，转S106；否则，将得到的清晰图像作为新的模糊图像，重新执行步骤S101。

S106、结束。

本发明还提供了一种消除图像运动模糊的装置，如图11所示，包括：

阶跃边缘提取单元10，基于梯度从模糊图像中提取出阶跃边缘；

响应直线计算单元20，根据阶跃边缘提取单元10提取到的阶跃边缘，计算出阶跃边缘的响应直线；

Radon变换投影值计算单元30，对响应直线计算单元20计算出的响应直线进行水平采样，得到模糊核在垂直方向上的Radon变换投影值；

运动模糊消除单元40，对Radon变换投影值计算单元30获取的Radon变换投影值进行Radon逆变换得到模糊核的估计，最后对模糊图像去卷积，恢复出清晰图像。

本发明不局限于上述最佳实施方式，任何人在本发明的启示下作出的结构变化，凡是与本发明具有相同或相近的技术方案，均落入本发明的保护范围之内。

Claims (10)

1.一种消除图像运动模糊的方法，其特征在于，包括以下步骤：

S1、基于梯度从模糊图像中提取出阶跃边缘；

S2、根据提取到的阶跃边缘，计算出阶跃边缘的响应直线；

S3、通过对响应直线进行水平采样，得到模糊核在垂直方向上的Radon变换投影值；

S4、通过对Radon变换投影值进行Radon逆变换得到模糊核的估计，最后对模糊图像去卷积，恢复出清晰图像。

2.如权利要求1所述的消除图像运动模糊的方法，其特征在于，当恢复出的所述清晰图像与原始的清晰图像的误差大于预设误差时，将恢复出的所述清晰图像作为新的所述模糊图像，重新执行步骤S1。

3.如权利要求1所述的消除图像运动模糊的方法，其特征在于，在步骤S1中，采用基于梯度的图像边缘检测算法，计算所述模糊图像的梯度值大小和对应梯度的方向；

所述模糊图像的梯度值大小的计算公式如下：

$g=\left|\right|\▿f(x,y)\left|\right|={\[{\left(\frac{\∂f}{\∂x}\right)}^2+{\left(\frac{\∂f}{\∂y}\right)}^2\]}^{1/2};$

其中，g为所述模糊图像的梯度值大小；f(x,y)为所述模糊图像；

所述模糊图像的对应梯度的方向计算公式如下：

$\mathrm{\θ}={\tan }^{-1}\[\frac{\∂f}{\∂y}/\frac{\∂f}{\∂x}\];$

其中，θ为所述模糊图像的对应梯度的方向。

4.如权利要求3所述的消除图像运动模糊的方法，其特征在于，在计算出所述模糊图像的梯度值大小和对应梯度的方向后，从所述模糊图像中提取出阶跃边缘，具体如下：

在采样网格中，沿着梯度方向，通过插值得到虚拟的邻近点，保留使中心点的梯度值最大的点，以做进一步的筛选；

其中，进一步筛选的方法具体包括以下步骤：

定义两个梯度阈值g_L和g_H，其中，g_L＜g_H；

将梯度值大于g_H的点作为边缘点；将梯度值小于g_L的点舍弃；当一个点的梯度值大于g_L且小于g_H时，若该点具有邻点，则将该点作为边缘点；否则，舍弃该点。

5.如权利要求4所述的消除图像运动模糊的方法，其特征在于，在步骤S2中，提取到的阶跃边缘与计算出的响应直线之间的关系如下：

$b_{edge}({\mathrm{\ρ}}_x,{\mathrm{\ρ}}_y)={\∫}_{-\mathrm{\∞}}^{\mathrm{\ρ}}{b}_{line}({\mathrm{\τ}}_x,{\mathrm{\τ}}_y)d\mathrm{\τ};$

其中，b_edge(ρ_x,ρ_y)表示阶跃边缘；b_line(τ_x,τ_y)表示响应直线；(τ_x,τ_y)表示响应直线上的点坐标；(ρ_x,ρ_y)表示阶跃边缘上的点坐标。

6.如权利要求5所述的消除图像运动模糊的方法，其特征在于，根据运动模糊的数学模型，对提取到的所述阶跃边缘进行建模，建模后的所述阶跃边缘的计算公式如下：

$\begin{array}{c}{b}_{edge}({\mathrm{\ρ}}_x,{\mathrm{\ρ}}_y)={\∫}_{-\mathrm{\∞}}^{+\mathrm{\∞}}{\∫}_{-\mathrm{\∞}}^{+\mathrm{\∞}}k(x,y){\∫}_{-\mathrm{\∞}}^{\mathrm{\ρ}}\mathrm{\δ}(\mathrm{\τ}-xcos\mathrm{\θ}-ysin\mathrm{\θ})d\mathrm{\τ}dxdy\\ ={\∫}_{-\mathrm{\∞}}^{\mathrm{\ρ}}\left\{{\∫}_{-\mathrm{\∞}}^{+\mathrm{\∞}}{\∫}_{-\mathrm{\∞}}^{+\mathrm{\∞}}k(x,y)\mathrm{\δ}(\mathrm{\τ}-xcos\mathrm{\θ}-ysin\mathrm{\θ})dxdy\right\}d\mathrm{\τ}\end{array};$

其中，θ为所述模糊图像的对应梯度方向；k(x,y)为所述模糊图像的模糊核；ρ表示方向为θ的模糊直线，可表示为ρ＝x cosθ+y sinθ；δ为冲击响应函数；(x,y)为图像域的坐标；

将运动模糊数学模型与Radon变换进行结合，则得到的新的运动模糊数学模型的计算公式如下：

$b({\mathrm{\ρ}}_x,{\mathrm{\ρ}}_y)={\∫}_{-\mathrm{\∞}}^{+\mathrm{\∞}}{\∫}_{-\mathrm{\∞}}^{+\mathrm{\∞}}k(x,y)f({\mathrm{\ρ}}_x-x,{\mathrm{\ρ}}_y-y)dxdy;$

其中，b(ρ_x,ρ_y)为运动模糊后的图像；f(ρ_x-x,ρ_y-y)为原始的清晰图像；(ρ_x,ρ_y)为Radon变换域的坐标；

设原始的清晰图像为一条方向为θ的理想直线，可将其参数化表示为δ(x cosθ+y sinθ)，则根据新的运动模糊数学模型的计算公式，计算出的一条方向为θ的阶跃边缘的响应直线b_line(ρ_x,ρ_y)的计算公式如下：

$b_{line}({\mathrm{\ρ}}_x,{\mathrm{\ρ}}_y)={\∫}_{-\mathrm{\∞}}^{+\mathrm{\∞}}{\∫}_{-\mathrm{\∞}}^{+\mathrm{\∞}}k(x,y)\mathrm{\δ}(\mathrm{\ρ}-xcos\mathrm{\θ}-sin\mathrm{\θ})dxdy.$

7.如权利要求6所述的消除图像运动模糊的方法，其特征在于，在步骤S3中，所述模糊核在垂直方向上的Radon变换投影值与方向为θ的响应直线的关系如下：

$b_{line}({\mathrm{\ρ}}_x,{\mathrm{\ρ}}_y)=R_{\mathrm{\θ}}^k\left(\mathrm{\ρ}\right);$

其中，为所述Radon变换投影值，表示每一条沿着方向为θ的模糊直线，都可以看作是模糊核沿着此方向的Radon变换。

8.如权利要求7所述的消除图像运动模糊的方法，其特征在于，在步骤S4中，Radon变换投影值的Radon逆变换公式如下：

$k(x,y)=\frac{1}{4{\mathrm{\π}}^2}{\∫}_0^{\mathrm{\π}}d\mathrm{\θ}{\∫}_{-\mathrm{\∞}}^{+\mathrm{\∞}}{\mathrm{Rf}}_{\mathrm{\θ}}\left(\mathrm{\ω}\right)e^{jw(xcos\mathrm{\θ}+ysin\mathrm{\θ})}\left|\mathrm{\ω}\right|d\mathrm{\ω};$

其中，k(x,y)为模糊核的估计，Rf_θ(ω)表示Radon变换投影值的傅里叶变换。

9.如权利要求1所述的消除图像运动模糊的方法，其特征在于，在步骤S4中，利用基于超拉普拉斯先验的图像非盲复原算法对模糊图像去卷积，恢复出清晰图像。

10.一种消除图像运动模糊的装置，其特征在于，包括：

阶跃边缘提取单元，基于梯度从模糊图像中提取出阶跃边缘；

响应直线计算单元，根据所述阶跃边缘提取单元提取到的阶跃边缘，计算阶跃边缘的响应直线；

Radon变换投影值计算单元，对所述响应直线计算单元计算出的响应直线进行水平采样，得到模糊核在垂直方向上的Radon变换投影值；

运动模糊消除单元，对所述Radon变换投影值计算单元获取的Radon变换投影值进行Radon逆变换得到模糊核的估计，最后对模糊图像去卷积，恢复出清晰图像。