CN103440624A - 一种基于运动检测的图像去模糊方法及装置 - Google Patents

Abstract

本发明提供一种基于相机运动检测的图像去模糊方法,首先通过惯性导航器件获取曝光期间相机的运动参数，根据运动参数估计相机的大致运动轨迹；然后根据运动轨迹由多视几何学获取曝光期间图像的模糊核；最后由维纳滤波算法得到去模糊后的清晰图像。结果表明这种方法能够准确地检测曝光期间相机的运动情况，并根据运动轨迹快速、准确地生成模糊核，最终通过逆滤波得到相对清晰的图像。

Description

一种基于运动检测的图像去模糊方法及装置

技术领域

本发明涉及图像处理技术，尤其涉及一种图像去模糊方法及装置。

背景技术

在图像处理领域，补偿由于曝光期间相机的运动造成的运动模糊一直是一个热点同时也是一个难点问题。现有的解决方案有两大类，一种是在成像已经完成之后对图像进行补偿，即通过算法将模糊图像进行清晰化；另一种是在成像时就对运动进行补偿，即曝光过程中就将运动造成的干扰去除，立刻获取一张清晰的照片。

第一种解决方案有一个假设前提就是图像模糊的数学模型：

其中，B代表模糊图像，I代表清晰图像，k代表空间不变的模糊核，n代表加性噪声，

代表空间卷积运算。第一种方案下又存在两个方向，分别是已知模糊核的情况下去模糊和未知模糊核的情况下去模糊。已知模糊核的情况下去模糊相对简单，现有的逆滤波方法相对成熟，如最小均方差滤波（维纳滤波）、约束最小二乘方滤波、几何均值滤波等；未知模糊核的情况相对较难，主要通过对自然图像的先验知识来辅助求取该问题，此类方法计算量大、对硬件要求高、结果不够稳定。

第二种方案的典型代表是Image Stabilizer，该方案的原理是在曝光期间通过陀螺仪检测相机的转动姿态，然后根据转动的信息来控制一枚补偿透镜的运动，从而修正因为转动带来的光路扭曲，最终达到消除运动带来的模糊效果。此方法只能用来解决转动问题带来的模糊，针对大幅度的运动造成的模糊并没有很好的效果。

发明内容

针对现有技术的缺陷，本发明提供一种基于相机运动检测的图像去模糊方法，旨在快速、准确地对相机曝光期间运动而造成的图像模糊进行处理。

为实现上述目的，本发明提供了一种基于相机运动检测的图像去模糊算法，包括下述步骤：

S1：数据采集，以获取相机到被拍摄物体之间的距离（也即物距）、曝光时间T内相机的n组运动数据和相机所拍摄的模糊图像；

S2：根据所述n组运动数据估计相机的运动轨迹，进而根据相机的运动轨迹和物距生成曝光时间T内的模糊核；

S3：根据步骤S2得出的模糊核，对所述模糊图像进行逆滤波得到去模糊的图像。

在又一实施例中，本发明提供了一种基于相机运动检测的图像去模糊装置，其特征在于，包括：

第一模块，用于数据采集，以获取相机到被拍摄物体之间的距离（也即物距）、曝光时间T内相机的n组运动数据和相机所拍摄的模糊图像；

第二模块，用于根据所述n组运动数据估计相机的运动轨迹，进而根据相机的运动轨迹和物距生成曝光时间T内的模糊核；

第三模块，用于根据第二模块得出的模糊核，对所述模糊图像进行逆滤波得到去模糊的图像。

本发明提供的方法和装置能够快速地检测出相机在曝光期间的运动轨迹；能够根据运动轨迹快速地估计运动模糊核；能够有效地恢复出清晰的图像，相较于传统的根据一幅图像进行盲去模糊算法，在运算时间上显著降低，在计算资源上更加节省。

附图说明

图1是本发明实施例提供的系统硬件结构示意图；

图2是本发明实施例提供的处理流程图；

图3是模糊核长度计算原理示意图；

图4是模糊核方向计算原理示意图；

图5是惯性运动单元输出与模糊核方向的关系示意图；

图6是模糊核拼接示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

本发明实例提供的基于相机运动检测的图像去模糊方法是一种基于惯性导航技术和多视几何学的去模糊过程，其基本思想是：通过惯性导航器件获取曝光期间相机的运动参数，根据运动参数估计相机的大致运动轨迹；然后根据运动轨迹由多视几何学获取曝光期间图像的模糊核；最后由维纳滤波算法得到去模糊后的清晰图像。

如图1所示，本发明的系统硬件包括千兆网面阵CCD相机101，用于图像拍摄；激光测距传感器102捷联于千兆网面阵CCD相机101上，用于测量物距即被拍摄物体到相机的距离；惯性导航器件103捷联于千兆网面阵CCD相机101上，采用ADIS16405高精密三轴陀螺仪、加速度计、磁力计，用于测量相机的运动参数，包括加速度、角速度和磁场强度；PC机104，通过以太网与千兆网面阵CCD相机101连接，用于配置相机参数和接收相机拍摄图像，通过串行通讯口与嵌入式控制器105连接，发送相机曝光命令；嵌入式控制器105，采用STM32f4discovery开发板，用于接收PC机104的曝光命令后向千兆网面阵CCD相机101发送触发脉冲曝光，同时读取惯性导航器件103的数据，曝光结束后回传数据给PC机104。

该方法包括下述步骤：

S1：数据采集，以获取相机到被拍摄物体之间的距离（也即物距）、曝光时间T内相机的n组运动数据和相机所拍摄的模糊图像。

其中，物距可以利用激光测距传感器102获取；相机的运动数据可以利用捷联于相机上的惯性导航器件103获取，相机曝光时间为T，从惯性导航器件103的寄存器读出数据的周期（也即惯导采样周期）为T/n，相机曝光时间T内共读取n组惯导数据；曝光结束，模糊图像通过以太网回传给上位机，n组惯导数据按时间先后顺序分别加上时间戳以后通过通信接口（例如，232串行口）回传给上位机。

具体执行流程如下：首先，PC机通过以太网将相机的参数配置好，设置为触发曝光模式。然后通过串口向嵌入式控制器发送曝光命令，嵌入式控制器在收到曝光命令后通过GPIO口向以太网相机发送脉冲信号，紧接着嵌入式控制器通过SPI口查询惯性运动单元的数据，并将整个曝光周期的数据保存起来；与此同时，激光测距传感器将测得的物距返回给PC机。最后，相机曝光结束，图像被回传给PC机，惯性运动数据也回传给PC机。

数据采集完成后，在PC机上进行数据处理。如图2所示，首先惯性运动数据201进行相机运动轨迹运算202；然后结合相机运动轨迹202和物距203通过直线模糊核生成单元204生成许多直线型模糊核；接着将这些直线型模糊核通过模糊核拼接单元205生成曲线型的完整的模糊核；最后将模糊图像206与曲线型模糊核通过逆滤波单元207得到最终的清晰图像208。

下面，对PC机上的数据处理过程进行详细说明。

S2：根据所述n组运动数据估计相机的运动轨迹，进而结合相机运动轨迹和物距生成曝光时间T内的模糊核。

步骤S2具体包括：

S21：将来自惯性导航器件103的n组惯导数据转换为实际物理值，计算相机姿态，并计算与镜头平行的平面上的加速度分量；

S22：根据S21的结果，假设相机在每次惯导采样周期T/n内为匀速直线运动，计算每次惯导采样期间的速度，所述速度乘以惯导采样周期即为该周期内的位移；

S23：结合所述位移和物距，计算每个惯导采样周期内，物点的运动在像平面上形成的向量的模和方向，并利用所述向量的模和方向计算与每个惯导采样周期对应的一段直线模糊核，然后根据数据的先后顺序将各个直线模糊核拼接起来，得到整个曝光时间T内的曲线模糊核。

假设相机曝光期间的运动速度为(u,v)，u是相机沿x轴的运动速度，v是相机沿y轴的运速度。如果将相机看做静止，则物点的的运动速度为(-u,-v)。

模糊核又称为点扩散函数(point spread function)，可以通过分析一个点在成像过程中的行为来获取模糊核函数。如图3所示，在一个惯导采样期间，开始时刻物点在A点处，此时在像平面301上的映射为A′；结束时刻物点在B点处，此时在像平面301上的映射为B′。物点的运动

会在像平面301上形成向量为了生成模糊核，需要获取该向量的模和方向。

获取向量的模：设A点坐标为(x₁,y₁,z₁)，其中z₁即为A点的物距，相机曝光时间为t，物点的移动速度为(u,v)，得B点坐标为(x₁+ut,y₁+vt,z₁)。通过相机标定矩阵K: $\left[\begin{array}{ccc}{f}_x& 0& x_0\\ 0& f_y& y_0\\ 0& 0& 1\end{array}\right]$ 将A、B两点变换到像素坐标得A′： $\left[\begin{array}{c}{f}_x\·x_1+x_0\·z_1\\ f_y\·y_1+y_0\·z_1\\ z_1\end{array}\right],$ B′： $\left[\begin{array}{c}{f}_x\·x_1+x_0\·z_1+f_x\·\mathrm{ut}\\ f_y\·y_1+y_0\·z_1+f_y\·\mathrm{vt}\\ z_1\end{array}\right].$ 其中x₀,y₀表示相机主点在像素坐标系下的坐标，f_x,f_y表示焦距与像素单元的x方向和y方向上的长度的比值。将齐次形式的坐标变换为2维坐标，得A′： $\left[\begin{array}{c}\frac{f_x\·x_1}{z_1}+x_0\\ \frac{f_y\·y_1}{z_1}+y_0\end{array}\right],$ B′： $\left[\begin{array}{c}\frac{f_x\·x_1}{z_1}+x_0+\frac{f_x\·\mathrm{ut}}{z_1}\\ \frac{f_y\·y_1}{z_1}+y_0+\frac{f_y\·\mathrm{vt}}{z_1}\end{array}\right].$ 由此，向量

的模为 $\frac{t}{z_1}\sqrt{{(f_x\·u)}^2+{(f_y\·v)}^2}.$

获取向量方向：假设IMU输出速度沿x,y轴正方向为正，如图4所示，假如相机的速度为V，即两轴输出均为正值，根据相对运动，相机静止则物体的运动速度为V′，反映在图像上物体的运动即为左下方向。同理可得其他速度输出对应的方向情况，如图5所示。使用atan2(v,u)求出向量方向。

在向量的长度和方向都能够获取以后，可计算所需要的模糊核。作为示例，可以参考matlab中fspecial(‘motion’,LEN,THETA)函数原理。在fspecial函数中，几何上根据向量的长度值（模）和角度值（方向），构造一个以此向量为对角线的矩形，根据矩形的长和宽为维数构造矩阵，矩阵对角线上的元素取值为1，与对角线垂直距离大于0.5的元素值取0，小于0.5的取垂直距离值，然后将整个矩阵归一化即为当前所需的模糊核。

在一个特定实施例中，设相机曝光时间为T，n的取值为10，也即将一个曝光周期分为10段，每个时间段为T/10，将每个T/10时间段内的运动看做匀速直线运动，根据上文所述方法分别获取这10个直线型模糊核。如图6所示，然后根据先后顺序将10个模糊核拼接为一个完整的曲线型模糊核，以适应复杂的运动情况。

S3：根据S2得出的模糊核，对模糊图像进行逆滤波得到去模糊的图像。

具体如下：对图像模糊模型

作傅里叶变换，得到B(u,v)＝I(u,v)×K(u,v)+N(u,v)，其中，图像模糊模型中的B代表模糊图像，I代表清晰图像，k代表空间不变的模糊核，n代表加性噪声，代表空间卷积运算。然后，对傅里叶变换后的等式作变换，得I(u,v)＝B(u,v)/K(u,v)-N(u,v)/K(u,v)，通过对I(u,v)进行反傅里叶变换即可获取清晰图像。其中，需要针对噪声n进行处理，可选择维纳滤波（最小均方误差滤波）方法，即认为图像和噪声为随机过程，获得清晰图像的过程即找到一个未污染的图像I的估计值

使它们之间的均方误差最小。度量误差可由

给出，其中E{·}是宗量的期望值。最终得到：

$\hat{I}(u,v)=\left[\frac{1}{K(u,v)}\frac{{\left|\right|K(u,v)\left|\right|}^2}{{\left|\right|K(u,v)\left|\right|}^2+k}\right]B(u,v)$

其中k是噪声功率谱和未退化图像功率谱的比值，通常取0.01至0.1。通过该式可以计算出清晰图像估计值的傅里叶变换，再通过反变换获取空间域的图像，完成整个逆滤波过程。

结果表明，本发明提供的基于相机运动检测的图像去模糊方法能够准确地检测曝光期间相机的运动情况，并根据运动轨迹快速、准确地生成模糊核，最终通过逆滤波得到相对清晰的图像。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于相机运动检测的图像去模糊方法，其特征在于，包括以下步骤：

S1：数据采集，以获取相机到被拍摄物体之间的距离（也即物距）、曝光时间T内相机的n组运动数据和相机所拍摄的模糊图像；

S2：利用所述n组运动数据估计相机的运动轨迹，进而根据相机的运动轨迹和物距生成曝光时间T内的模糊核；

S3：根据步骤S2得出的模糊核，对所述模糊图像进行逆滤波得到去模糊的图像。

2.根据权利要求1所述的一种基于相机运动检测的图像去模糊方法，所述步骤S1中，相机的n组运动数据利用捷联于相机上的惯性导航器件获取，相机曝光时间为T，惯导采样周期为T/n，相机曝光时间T内共读取n组惯导数据。

3.根据权利要求2所述的一种基于相机运动检测的图像去模糊方法，所述步骤S2包括以下步骤：

S21：将来自惯性导航器件的n组惯导数据转换为实际物理值，计算相机姿态，并计算与镜头平行的平面上的加速度分量；

S22：根据S21的结果，假设相机在每次惯导采样周期T/n内为匀速直线运动，计算每次惯导采样期间的速度，所述速度乘以惯导采样周期即为该周期内的位移；

S23：根据所述位移和物距，计算每个惯导采样周期内，物点的运动在像平面上形成的向量的模和方向，并利用所述向量的模和方向计算与每个惯导采样周期对应的一段直线模糊核，然后根据数据的先后顺序将各个直线模糊核拼接起来，得到整个曝光时间T内的曲线模糊核。

4.根据权利要求1所述的一种基于相机运动检测的图像去模糊方法，所述步骤S3中，所述逆滤波为维纳滤波，得到的去模糊的图像的傅里叶变换

为：

$\hat{I}(u,v)=\left[\frac{1}{K(u,v)}\frac{{\left|\right|K(u,v)\left|\right|}^2}{{\left|\right|K(u,v)\left|\right|}^2+k}\right]B(u,v)$

其中K(u,v)为所述模糊核的傅里叶变换，B(u,v)为所述模糊图像的傅里叶变换，k为噪声功率谱和未退化图像功率谱的比值，

对

进行傅里叶反变换即得到空间域的去模糊的图像，从而完成整个逆滤波过程。

5.一种基于相机运动检测的图像去模糊装置，其特征在于，包括：

第一模块，用于数据采集，以获取相机到被拍摄物体之间的距离（也即物距）、曝光时间T内相机的n组运动数据和相机所拍摄的模糊图像；

第二模块，用于根据所述n组运动数据估计相机的运动轨迹，进而根据相机的运动轨迹和物距生成曝光时间T内的模糊核；

第三模块，用于根据第二模块得出的模糊核，对所述模糊图像进行逆滤波得到去模糊的图像。

6.根据权利要求5所述的一种基于相机运动检测的图像去模糊装置，所述相机的n组运动数据利用捷联于相机上的惯性导航器件获取，相机曝光时间为T，惯导采样周期为T/n，相机曝光时间T内共读取n组惯导数据。

7.根据权利要求6所述的一种基于相机运动检测的图像去模糊装置，所述第二模块包括：

第一子模块，用于将来自惯性导航器件的n组惯导数据转换为实际物理值，计算相机姿态，并计算与镜头平行的平面上的加速度分量；

第二子模块，用于根据第一子模块的结果，假设相机在每次惯导采样周期T/n内为匀速直线运动，计算每次惯导采样期间的速度，利用所述速度乘以惯导采样周期得到该周期内的位移；

第三子模块，用于根据所述位移和物距，计算每个惯导采样周期内，物点的运动在像平面上形成的向量的模和方向，并利用所述向量的模和方向计算与每个惯导采样周期对应的一段直线模糊核，然后根据数据的先后顺序将各个直线模糊核拼接起来，得到整个曝光时间T内的曲线模糊核。

8.根据权利要求5所述的一种基于相机运动检测的图像去模糊装置，所述第三模块中，所述逆滤波为维纳滤波，得到的去模糊的图像的傅里叶变换为：

$\hat{I}(u,v)=\left[\frac{1}{K(u,v)}\frac{{\left|\right|K(u,v)\left|\right|}^2}{{\left|\right|K(u,v)\left|\right|}^2+k}\right]B(u,v)$

其中K(u,v)为所述模糊核的傅里叶变换，B(u,v)为所述模糊图像的傅里叶变换，k为噪声功率谱和未退化图像功率谱的比值，

对

进行傅里叶反变换即得到空间域的去模糊的图像，完成整个逆滤波过程。

Images