CN102663718B - 一种全局不一致图像去模糊的方法及系统 - Google Patents

Abstract

本发明提出一种全局不一致图像去模糊方法，包括如下步骤：将两台拍照装置设置为正交，并对两台拍照装置进行校准；建立两台所述拍照装置的三维旋转运动模型；根据图像纹理等信息在两幅图像上各选择一块局部图像块，并根据该图像块估计局部模糊核。将求得的两幅图像中的局部模糊核进行反投影、求交线等运算通过估计得到拍照装置三维运动轨迹；对得到的三维运动轨迹进行优化以得到拍照装置的清晰三维运动轨迹和清晰图像。本发明还提出了一种全局不一致图像去模糊系统，包括：两台拍照装置；三维旋转运动模型建立装置；局部模糊核估计装置；三维运动估计装置；以及优化装置。本发明可以使模糊模型更接近于实际情况，达到更加理想的去模糊效果。

Description

一种全局不一致图像去模糊的方法及系统

技术领域

本发明涉及计算机视觉及计算摄像学领域，特别涉及一种全局不一致图像去模糊方法及装置。

背景技术

随着科技进步、社会发展，普通人对于拍照成像的清晰度的要求越来越高。由于相机抖动造成图像模糊时造成拍摄图像质量下降的重要原因。随着数字摄像设备的发展，数码摄像器材大量普及，这些家用级摄像器材大多缺乏效果良好却十分昂贵的光学防抖动装置，而另一方面使用这类摄像器材的消费者一般不具备很好的专业摄像知识，因而造成大量图片由于拍摄时的不慎操作而发生模糊。

现有的盲图像去模糊算法即针对这一问题同时估算图像的模糊核和清晰图像。这类算法大多假设图像具有全局一致的模糊核，以达到减少未知数的个数、降低算法的病态性的目的。由于盲区模糊问题本身是病态，如果采用全局不一致的模糊模型，将使模型参数大大增加，加剧的问题的病态性，往往造成问题无法求解或算法不收敛。然而实际上，全局一致的模糊假设并不能很好的描述图像的模糊过程。由于相机的实际投影模型为透视投影，图像中各点的模糊核并不完全相同，尤其是对于焦距较短的相机，其模糊核在图像四周变化很大。此时采用全局一致的模糊模型，很可能无法得到理想的去模糊效果。

发明内容

本发明的目的旨在至少解决上述的技术缺陷之一。

为此，本发明的第一个目的在于提出一种全局不一致图像去模糊方法，该方法可以使模糊模型更接近于实际情况，达到更加理想的去模糊效果。本发明的第二个目的在于提出一种全局不一致图像去模糊系统。

为达到上述目的，本发明一方面的实施例提出了一种全局不一致图像去模糊方法，包括如下步骤：

对两台拍照装置为正交设置，并对两台所述拍照装置进行校准；

根据校准后的所述拍照装置，建立两台所述拍照装置的三维旋转运动模型；

两台所述拍照装置分别采集第一模糊图像和第二模糊图像，并根据所述第一模糊图像和第二模糊图像的纹理信息和饱和信息分别在所述第一模糊图像和第二模糊图像上选择第一局部图像分块和第二局部图像分块，并对的所述第一局部图像分块和第二局部图像分块进行估计以得到对应的第一局部模糊核和第二局部模糊核；

将所述第一局部模糊核和第二局部模糊核分别反投回至所述三维旋转运动模型的三维运动空间以得到两个近似正交的二维流形，以及对所述二维流形进行求交运算以得到所述两台拍照装置的三维运动轨迹；以及

对所述三维运动轨迹进行优化以得到所述两台拍照装置的清晰三维运动轨迹。

根据本发明实施例的基于正交相机对的全局不一致图像去模糊方法，通过采集两个不同视角的图像信息，由三维几何关系和投影模型，计算相机的三维运动，并且根据求得的相机运动参数和双目相机的几何关系建立起全局不一致的图像模糊模型，根据透视几何原理计算图像上每一点的模糊信息，最终实现全局不一致的图像去模糊。

在本发明的一个实施例中，两台所述拍照装置的成像参数一致。

在本发明的一个实施例中，两台所述装置均固定于底座上，且位于同一高度。

在本发明的一个实施例中，两台所述拍照装置为正交设置，包括如下步骤：所述两台拍照装置的光轴为相互正交且光心重合。

在本发明的一个实施例中，两台所述拍照装置经过校准，包括如下步骤：调整两台所述拍照装置中的一台的旋转角度以及另一台拍照装置的位置和光轴方向以将两台所述拍照装置的视角重合；恢复两台所述拍照装置中的一台的旋转角度为初始状态。

在本发明的一个实施例中，所述三维旋转运动模型为：

x′(t)＝KR(t)K^-1x

$R\left(t\right)=\exp \left\{\left[\begin{array}{ccc}0& -{\mathrm{\θ}}_Z& {\mathrm{\θ}}_Y\\ {\mathrm{\θ}}_Z& 0& -{\mathrm{\θ}}_X\\ -{\mathrm{\θ}}_Y& {\mathrm{\θ}}_X& 0\end{array}\right]\right\}$

其中，x为清晰图象中的一个点的齐次图像坐标，x′(t)为清晰图象中的点x在t时刻时在CCD成像上对应点的位置，K为相机的内参矩阵，R(t)为相机的旋转矩阵，R(t)由相机绕三个轴的旋转运动参数[θ_X θ_Y θ_Z]计算得到，且随着时间变化并在三维空间中连成一条轨迹，X、Y和Z分别为三个旋转自由度的方向。

在本发明的一个实施例中，根据所述第一模糊图像和第二模糊图像的纹理信息分别计算所述第一模糊图像和第二模糊图像中的各个局部图像分块的置信权值；

检测所述局部图像分块中的饱和区域，并将饱和像素个数大于或等于预定数量的局部图像分块的置信权值置为0；以及

分别在所述第一模糊图像和第二模糊图像的图像块中选择置信权值最大的图像块作为第一局部图像分块和第二局部图像分块。

在本发明的一个实施例中，采用Levenberg-Marquardt优化算法对所述三维运动轨迹进行优化以得到所述两台拍照装置的清晰三维运动轨迹和清晰图像。

本发明另一方面的实施例还提出了一种全局不一致图像去模糊系统，包括：第一拍照装置，用于采集第一模糊图像；第二拍照装置，用于采集第二模糊图像；其中，所述第二拍照装置和所述第一拍照装置为正交设置；三维旋转运动模型建立装置，用于在第一拍照装置和第二拍照装置校准完毕后，建立所述第一和第二拍照装置的三维选择运动模型；局部模糊核估计装置，用于根据所述第一模糊图像和第二模糊图像的纹理信息和饱和信息分别在所述第一模糊图像和第二模糊图像上选择第一局部图像分块和第二局部图像分块，并对的所述第一局部图像分块和第二局部图像分块进行估计以得到对应的第一局部模糊核和第二局部模糊核；三维运动估计装置，将所述第一局部模糊核和第二局部模糊核分别反投回至所述三维旋转运动模型的三维运动空间以得到两个近似正交的二维流形，以及对所述二维流形进行求交运算以得到所述两台拍照装置的三维运动轨迹；以及优化装置，用于对所述三维运动轨迹进行优化以得到所述两台拍照装置的清晰三维运动轨迹。

根据本发明实施例的全局不一致图像去模糊系统，采用正交布置的双目相机系统，通过严格控制两个相机使其同步曝光，可以同时采集两个不同视角的图像信息。一旦用于相机在曝光时间运动而采集得到运动模糊的图像对，我们可以通过两幅图像中不同的模糊信息，计算相机系统在曝光时间内的三维运动，并且根据透视几何原理计算图像上每一点的模糊信息，最终实现全局不一致的图像去模糊。

在本发明的一个实施例中，所述第一拍照装置和第二拍照装置的成像参数一致。

在本发明的一个实施例中，所述第一拍照装置和第二拍照装置均固定于底座上，且位于同一高度。

在本发明的一个实施例中，所述第一拍照装置和第二拍照装置的光轴为相互正交且光心重合。

在本发明的一个实施例中，所述三维旋转运动模型为：

x′(t)＝KR(t)K^-1x

$R\left(t\right)=\exp \left\{\left[\begin{array}{ccc}0& -{\mathrm{\θ}}_Z& {\mathrm{\θ}}_Y\\ {\mathrm{\θ}}_Z& 0& -{\mathrm{\θ}}_X\\ -{\mathrm{\θ}}_Y& {\mathrm{\θ}}_X& 0\end{array}\right]\right\}$

其中，x为清晰图象中的一个点的齐次图像坐标，x′(t)为清晰图象中的点x在t时刻时在CCD成像上对应点的位置，K为相机的内参矩阵，R(t)为相机的旋转矩阵，R(t)由相机绕三个轴的旋转运动参数[θ_X θ_Y θ_Z]计算得到，且随着时间变化并在三维空间中连成一条轨迹，X、Y和Z分别为三个旋转自由度的方向。

在本发明的一个实施例中，所述局部模糊核估计装置分别根据所述第一模糊图像和第二模糊图像的纹理信息分别计算所述第一模糊图像和第二模糊图像中的各个局部图像分块的置信权值，并检测所述局部图像分块中的饱和区域，并将饱和像素个数大于或等于预定数量的局部图像分块的置信权值置为0，以及分别在所述第一模糊图像和第二模糊图像的所有局部图像分块中选择置信权值最大的图像块作为第一局部图像分块和第二局部图像分块。

在本发明的一个实施例中，所述优化装置采用Levenberg-Marquardt优化算法对所述三维运动轨迹进行优化以得到所述两台拍照装置的清晰三维运动轨迹和清晰图像。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的基于正交相机对的全局不一致图像去模糊方法的流程图；

图2为本发明实施例的正交相机对的设置及校准示意图；以及

图3为本发明实施例的基于正交相机对的全局不一致图像去模糊系统的示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。此外，本发明提供了的各种特定的设备和算法的例子，但是本领域普通技术人员可以意识到其他算法的可应用于性和/或其他设备的使用。

参照下面的描述和附图，将清楚本发明的实施例的这些和其他方面。在这些描述和附图中，具体公开了本发明的实施例中的一些特定实施方式，来表示实施本发明的实施例的原理的一些方式，但是应当理解，本发明的实施例的范围不受此限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

下面参照附图详细描述根据本发明实施例的全局不一致图像去模糊方法。

如图1所示，本发明实施例的全局不一致图像去模糊方法，包括如下步骤：

S101：对两台拍照装置为正交设置，即将两台拍照装置设置为正交，并对两台拍照装置进行校准。

在本发明的一个实施例中，两台拍照装置可以为相机，下面如图2所示，以第一相机A1，第二相机A2为例对本发明实施例提供的全局不一致图像去模糊方法进行描述，需要理解的是本发明上述实施例的拍照装置并不限于相机，也可以是摄像头等其他拍照装置。

在本步骤中，实现随两台相机搭建的采集系统的布置和校准。

在本发明的实施例中，第一相机A1和第二相机A2的成像参数都应尽可能一致。其中，成像参数包括：焦距、光圈大小、CCD的感光设置等。

将成像参数基本一致的第一相机A1和第二相机A2固定于底座上，并应保证两台相机位于同一高度。并且，第一相机A1与第二相机A2的光轴相互正交，第二相机A2的光心通过由第一反射镜B1和第二反射镜B2组成的潜望镜系统的变换，以达到和第一相机A1的光心完全重合的目的。

通过上述布置可以实现第一相机A1与第二相机A2的正交设置，然后对这两台相机进行校准。

第一相机A1与第二相机A2的校准过程如下所示：

(1)将第一相机A1逆时针方向旋转90度。在本发明的实施例中，采用带精确刻度的旋转立柱，以控制旋转的精度。

(2)通过调整第一反射镜B1和第二反射镜B2组成的潜望镜系统和第二相机A2的位置和光轴方向，使得第一相机A1与第二相机A2的视角完全重合。

(3)将第一相机A1反向旋转90度，转回初始状态，完成系统校准工作。

S102：建立拍照装置的三维旋转运动模型。

S1021：将相机的六维运动简化为三维旋转运动，其中六维运动是指刚体运动具有的6个自由度，包括3个旋转自由度和3个平移自由度。由于相机的平移运动对图像模糊贡献不大，因此省略上述3个平移自由度。

S1022：建立相机的三维旋转运动模型变为：

x′(t)＝KR(t)K^-1x

$R\left(t\right)=\exp \left\{\left[\begin{array}{ccc}0& -{\mathrm{\θ}}_Z& {\mathrm{\θ}}_Y\\ {\mathrm{\θ}}_Z& 0& -{\mathrm{\θ}}_X\\ -{\mathrm{\θ}}_Y& {\mathrm{\θ}}_X& 0\end{array}\right]\right\}$

其中，x为清晰图象中的一个点的齐次图像坐标，x′(t)为清晰图象中的点x在t时刻时在CCD成像上对应点的位置，K为相机的内参矩阵，R(t)为相机的旋转矩阵，R(t)由相机绕三个轴的旋转运动参数[θ_X θ_Y θ_Z]计算得到，且随着时间变化并在三维空间中连成一条轨迹，X、Y和Z分别为三个旋转自由度的方向。

S103：两台拍照装置分别采集第一模糊图像和第二模糊图像，并根据第一模糊图像和第二模糊图像的纹理信息和饱和信息分别在第一模糊图像和第二模糊图像上选择第一局部图像分块和第二局部图像分块，并对的第一局部图像分块和第二局部图像分块进行估计以得到对应的第一局部模糊核和第二局部模糊核。

S1031：确定局部图像分块的大小。在本发明的实施例中，采用边长为图像模糊核大小的5到10倍的正方形图像块，图像的模糊核的大小由用户根据图像模糊程度给出一个上限值，考虑到解卷积算法的处理能力，一般不超过30个像素。

S1032：根据第一模糊图像和第二模糊图像的纹理信息分别计算第一模糊图像和第二模糊图像中的各个局部图像分块的置信权值。也就是说，对图像中所有可能的局部图像分块，统计在该图像块中，图像梯度在不同方向的分布情况，并且用该局部图像分块中梯度分布最少的方向的统计值作为对该图像块的纹理丰富程度的度量，即由该局部图像分块估计得到的局部模糊核的置信权值。具体而言，计算该局部图像分块中每一个像素点的梯度方向，将所有0-360度分为8个方向区间，对该局部图像分块中的所有像素的梯度方向作直方图统计。将其中梯度方向分布最上的方向的统计值作为该局部图像分块的置信权值。

S1033：检测局部图像分块中的饱和区域，并且将包含饱和像素个数超过一定数量的局部图像分块的置信权值置为0。具体做法是RGB三通道分别检测局部图像分块中像素值等于255的像素，并将局部图像块中饱和像素的个数超过1％的图像块的置信权值置为0。

S1034：分别在第一模糊图像和第二模糊图像的所有局部图像分块中选择置信权值最大的图像块作为第一局部图像分块和第二局部图像分块。即在第一模糊图像中所有可能的局部图像分块中选择置信权值最大的一个局部图像分块，得到第一局部图像、在第二模糊图像中所有可能的局部图像分块中选择置信权值最大的一个局部图像分块，得到第二局部图像。

S1035：使用传统的全局一致盲去模糊算法对第一局部图像分块和第二局部图像分块进行去模糊，并分别估计出该图像分块对应的第一局部模糊核和第二局部模糊核。

S104：将第一局部模糊核和第二局部模糊核分别反投回至三维旋转运动模型的三维运动空间以得到两个近似正交的二维流形，以及对二维流形进行求交运算以得到两台拍照装置的三维运动轨迹。具体而言，包括以下步骤：

S1041：上述步骤中求得的每一个图像块的模糊核可以看作相机实际三维运动的一个二维投影。

S1042：得到两个近似正交的二维流形。由于本发明实施例的两台拍照装置(相机)是采用正交布置的，因此，可得到两个近似正交的二维流形。

S1043：对于每一个流形而言，拍照装置(相机)的运动轨迹应为在该流形上的一条一维运动轨迹。而由于上述两个流形近似正交，仅有一条交线，故该交线即为要求的相机系统的运动轨迹(三维运动轨迹)。

S105：对三维运动轨迹进行优化以得到两台拍照装置的清晰三维运动轨迹。本发明实施例中采用的优化算法以Levenberg-Marquardt算法为例，需要理解的是本发明并不限于Levenberg-Marquardt算法，也可以是共轭梯度法等其他优化算法，本发明的实施例对此并没有限制。具体而言：

S1051：使用步骤S104中求得的相机三维运动轨迹作为相机运动的初始值。

S1052：采用如下优化目标函数对拍照装置运动的初始值进行优化。

其中，优化目标函数如下：

其中I是模糊图像(第一模糊图像或第二模糊图像)，L是待求清晰图像，M是拍照装置运动，MοI为清晰图像I在相机运动为M是预测得到模糊图像。为待求清晰图像的梯度，为三维相机运动M在三维参数空间中的梯度。λ₁，λ₂分别为目标函数中关于图像先验和拍照装置运动参数先验的权值。

S1053：使用Levenberg-Marquardt优化算法对上述后验概率目标函数进行优化，求的是上述后验概率目标函数最大的为清晰三维运动轨迹和待求的清晰图像。

根据本发明实施例的基于正交相机对的全局不一致图像去模糊方法，通过采集两个不同视角的图像信息，由三维几何关系和投影模型，计算相机的三维运动，并且根据求得的相机运动参数和双目相机的几何关系建立起全局不一致的图像模糊模型，根据透视几何原理计算图像上每一点的模糊信息，最终实现全局不一致的图像去模糊。

参见图2，本发明的进一步实施例提出了一种全局不一致图像去模糊系统，包括第一拍照装置311、第二拍照装置312、三维旋转运动模型建立装置320、局部模糊核估计装置330、三维运动估计装置340和优化装置350。其中：

第一拍照装置311用于采集第一模糊图像。第二拍照装置312用于采集第二模糊图像，其中，第一拍照装置311和第二拍照装置312为正交设置。即将两台拍照装置设置为正交，并对两台拍照装置进行校准。

三维旋转运动模型建立装置320用于在第一拍照装置和第二拍照装置校准完毕后，建立第一和第二拍照装置的三维选择运动模型。

局部模糊核估计装置330用于根据所述第一模糊图像和第二模糊图像的纹理信息和饱和信息分别在所述第一模糊图像和第二模糊图像上选择第一局部图像分块和第二局部图像分块，并对的所述第一局部图像分块和第二局部图像分块进行估计以得到对应的第一局部模糊核和第二局部模糊核。

三维运动估计装置340，将第一局部模糊核和第二局部模糊分别反投回至所述三维旋转运动模型的三维运动空间以分别得到近似正交的第一二维流形和第二二维流形，对第一二维流形和第二二维流形进行求交运算，得到两台拍照装置的三维运动轨迹。

优化装置350，用于对上述三维运动轨迹进行优化以得到两台拍照装置的清晰三维运动轨迹和清晰图像。本发明实施例中采用的优化算法以Levenberg-Marquardt算法为例，需要理解的是本发明并不限于Levenberg-Marquardt算法，也可以是共轭梯度法等等其他优化算法。

根据本发明实施例的全局不一致图像去模糊系统300，采用正交布置的双目相机系统，通过严格控制两个相机使其同步曝光，可以同时采集两个不同视角的图像信息。一旦用于相机在曝光时间运动而采集得到运动模糊的图像对，可以通过两幅图像中不同的模糊信息，计算相机系统在曝光时间内的三维运动，并且根据透视几何原理计算图像上每一点的模糊信息，最终实现全局不一致的图像去模糊。

在本发明的一个示例中，对第一拍摄装置311和第二拍摄装置312进行正交设置和校准可按照以下步骤进行：

如图2所示，第一拍摄装置311和第二拍摄装置312以第一相机A1，第二相机A2为例，需要理解的是本发明上述实施例的拍照装置并不限于相机，也可以是摄像头等其他拍照装置。

在该示例中，对第一拍摄装置311和第二拍摄装置312进行正交设置时第一相机A1和第二相机A2的成像参数应尽可能一致。其中，成像参数包括：焦距、光圈大小、CCD的感光设置等。将成像参数基本一致的第一相机A1和第二相机A2固定于底座上，并应保证两台相机位于同一高度。并且，第一相机A1与第二相机A2的光轴相互正交，第二相机A2的光心通过由第一反射镜B1和第二反射镜B2组成的潜望镜系统的变换，以达到和第一相机A1的光心完全重合的目的。

通过上述布置可以实现第一相机A1与第二相机A2的正交设置，然后对这两台相机进行校准。

第一相机A1与第二相机A2的校准过程如下所示：

(1)将第一相机A1逆时针方向旋转90度。在本发明的实施例中，采用带精确刻度的旋转立柱，以控制旋转的精度。

(2)通过调整第一反射镜B1和第二反射镜B2组成的潜望镜系统和第二相机A2的位置和光轴方向，使得第一相机A1与第二相机A2的视角完全重合。

(3)将第一相机A1反向旋转90度，转回初始状态，完成系统校准工作。

在本发明的一个实施例中，三维旋转运动模型建立装置320建立三维选择运动模型的具体实现如下：

首先，将相机的六维运动简化为三维旋转运动，其中六维运动是指刚体运动具有的6个自由度，包括3个旋转自由度和3个平移自由度。由于相机的平移运动对图像模糊贡献不大，因此省略上述3个平移自由度。

接着，建立相机的三维旋转运动模型变为：

x′(t)＝KR(t)K^-1x

$R\left(t\right)=\exp \left\{\left[\begin{array}{ccc}0& -{\mathrm{\θ}}_Z& {\mathrm{\θ}}_Y\\ {\mathrm{\θ}}_Z& 0& -{\mathrm{\θ}}_X\\ -{\mathrm{\θ}}_Y& {\mathrm{\θ}}_X& 0\end{array}\right]\right\}$

其中，x为清晰图象中的一个点的齐次图像坐标，x′(t)为清晰图象中的点x在t时刻时在CCD成像上对应点的位置，K为相机的内参矩阵，R(t)为相机的旋转矩阵，R(t)由相机绕三个轴的旋转运动参数[θ_X θ_Y θ_Z]计算得到，且随着时间变化并在三维空间中连成一条轨迹，X、Y和Z分别为三个旋转自由度的方向。

在本发明的一个实施例中，局部模糊核估计装置330分别根据第一模糊图像和第二模糊图像的纹理信息分别计算第一模糊图像和第二模糊图像中的各个局部图像分块的置信权值，并检测局部图像分块中的饱和区域，并将饱和像素个数大于或等于预定数量的局部图像分块的置信权值置为0，以及分别在第一模糊图像和第二模糊图像的所有局部图像分块中选择置信权值最大的图像块作为第一局部图像分块和第二局部图像分块。

具体而言，在用户设置完第一模糊图像和第二模糊图像的图像分块大小后，对第一模糊图像和第二模糊图像中所有可能的局部图像分块，统计在每个局部图像分块中，图像梯度在不同方向的分布情况，并且用该局部图像分块中梯度分布最少的方向的统计值作为对该图像块的纹理丰富程度的度量，即由该局部图像分块估计得到的局部模糊核的置信权值。其具体做法为，计算该局部图像分块中每一个像素点的梯度方向，将所有0-360度分为8个方向区间，对该局部图像分块中的所有像素的梯度方向作直方图统计。将其中梯度方向分布最上的方向的统计值作为该局部图像分块的置信权值。检测图像中的饱和区域，并且将包含饱和像素个数超过一定数量的局部图像分块的置信权值置为0。具体做法是RGB三通道分别检测图像中像素值等于255的像素，并将图像中饱和像素的个数超过1％的局部图像分块的置信权值置为0。在第一模糊图像和第二模糊图像所有可能的局部图像分块中，分别选择置信权值最大的一个局部图像分块，得到第一局部图像分块和第二局部图像分块。使用传统的全局一致盲去模糊算法对第一局部图像分块和第二局部图像分块进行去模糊，并分别估计出该图像分块对应的第一局部模糊核和第二局部模糊核。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、算法或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。

Claims (11)

1.一种全局不一致图像去模糊方法，其特征在于，包括如下步骤：

将两台拍照装置正交设置，并对两台所述拍照装置进行校准；

根据校准后的所述拍照装置，建立两台所述拍照装置的三维旋转运动模型；

两台所述拍照装置分别采集第一模糊图像和第二模糊图像，并根据所述第一模糊图像和第二模糊图像的纹理信息和饱和信息分别在所述第一模糊图像和第二模糊图像上分别计算所述第一模糊图像和第二模糊图像中的各个局部图像分块的置信权值，再检测所述局部图像分块中的饱和区域，并将饱和像素个数大于或等于预定数量的局部图像分块的置信权值置为0，并分别在所述第一模糊图像和第二模糊图像的所有局部图像分块中选择置信权值最大的图像分块作为第一局部图像分块和第二局部图像分块，并对所述第一局部图像分块和第二局部图像分块进行估计以得到对应的第一局部模糊核和第二局部模糊核；

将所述第一局部模糊核和第二局部模糊核分别反投回至所述三维旋转运动模型的三维运动空间以得到两个近似正交的二维流形，以及对所述二维流形进行求交运算以得到所述两台拍照装置的三维运动轨迹；以及

使用Levenberg-Marquardt优化算法对所述三维运动轨迹进行优化以得到所述两台拍照装置的清晰三维运动轨迹和清晰图像。

2.如权利要求1所述的图像去模糊方法，其特征在于，两台所述拍照装置的成像参数一致。

3.如权利要求2所述的图像去模糊方法，其特征在于，两台所述拍照装置均固定于底座上，且位于同一高度。

4.如权利要求3所述的图像去模糊方法，其特征在于，所述将两台拍照装置正交设置，包括如下步骤：

设置所述两台拍照装置的光轴为相互正交且光心重合。

5.如权利要求1所述的图像去模糊方法，其特征在于，所述对两台所述拍照装置进行校准，包括如下步骤：

调整两台所述拍照装置中的一台的旋转角度以及另一台拍照装置的位置和光轴方向以将两台所述拍照装置的视角重合；

恢复两台所述拍照装置中的一台的旋转角度为初始状态。

6.如权利要求1所述的图像去模糊方法，其特征在于，所述三维旋转运动模型为：

x'(t)＝KR(t)K^-1x

$R\left(t\right)=\exp \left\{\left[\begin{array}{ccc}0& -{\mathrm{\θ}}_Z& {\mathrm{\θ}}_Y\\ {\mathrm{\θ}}_Z& 0& -{\mathrm{\θ}}_X\\ -{\mathrm{\θ}}_Y& {\mathrm{\θ}}_X& 0\end{array}\right]\right\}$

其中，x为清晰图像中的一个点的齐次图像坐标，x'(t)为清晰图像中的点x在t时刻时在CCD成像上对应点的位置，K为拍照装置的内参矩阵，R(t)为拍照装置的旋转矩阵，R(t)由拍照装置绕三个轴的旋转运动参数[θ_X θ_Y θ_Z]计算得到，且随着时间变化并在三维空间中连成一条轨迹，X、Y和Z分别为三个旋转自由度的方向。

7.一种全局不一致图像去模糊系统，其特征在于，包括：

第一拍照装置，用于采集第一模糊图像；

第二拍照装置，用于采集第二模糊图像，其中，所述第二拍照装置和所述第一拍照装置为正交设置；

三维旋转运动模型建立装置，用于在第一拍照装置和第二拍照装置校准完毕后，建立所述第一拍照装置和第二拍照装置的三维旋转运动模型；

局部模糊核估计装置，用于根据所述第一模糊图像和第二模糊图像的纹理信息和饱和信息分别在所述第一模糊图像和第二模糊图像上分别计算所述第一模糊图像和第二模糊图像中的各个局部图像分块的置信权值，并检测所述局部图像分块中的饱和区域，并将饱和像素个数大于或等于预定数量的局部图像分块的置信权值置为0，以及分别在所述第一模糊图像和第二模糊图像的所有局部图像分块中选择置信权值最大的图像分块作为第一局部图像分块和第二局部图像分块，并对所述第一局部图像分块和第二局部图像分块进行估计以得到对应的第一局部模糊核和第二局部模糊核；

三维运动估计装置，将所述第一局部模糊核和第二局部模糊核分别反投回至所述三维旋转运动模型的三维运动空间以得到两个近似正交的二维流形，以及对所述二维流形进行求交运算以得到所述第一拍照装置和所述第二拍照装置的三维运动轨迹；以及

优化装置，用于使用Levenberg-Marquardt优化算法对所述三维运动轨迹进行优化以得到所述两台拍照装置的清晰三维运动轨迹和清晰图像。

8.如权利要求7所述的图像去模糊系统，其特征在于，所述第一拍照装置和第二拍照装置的成像参数一致。

9.如权利要求8所述的图像去模糊系统，其特征在于，所述第一拍照装置和第二拍照装置均固定于底座上，且位于同一高度。

10.如权利要求9所述的图像去模糊系统，其特征在于，所述第一拍照装置和第二拍照装置的光轴为相互正交且光心重合。

11.如权利要求7所述的图像去模糊系统，其特征在于，所述三维旋转运动模型为：

x'(t)＝KR(t)K^-1x

$R\left(t\right)=\exp \left\{\left[\begin{array}{ccc}0& -{\mathrm{\θ}}_Z& {\mathrm{\θ}}_Y\\ {\mathrm{\θ}}_Z& 0& -{\mathrm{\θ}}_X\\ -{\mathrm{\θ}}_Y& {\mathrm{\θ}}_X& 0\end{array}\right]\right\}$

其中，x为清晰图像中的一个点的齐次图像坐标，x'(t)为清晰图像中的点x在t时刻时在CCD成像上对应点的位置，K为拍照装置的内参矩阵，R(t)为拍照装置的旋转矩阵，R(t)由拍照装置绕三个轴的旋转运动参数[θ_X θ_Y θ_Z]计算得到，且随着时间变化并在三维空间中连成一条轨迹，X、Y和Z分别为三个旋转自由度的方向。