CN103856723A - 一种单透镜成像的psf快速标定方法 - Google Patents

Abstract

本发明公开了一种基于单透镜成像的PSF快速标定方法，首先对一组同类型的单透镜进行PSF估计，通过求取这一组PSF的平均值得到此类单透镜的PSF模板；当使用其他此类单透镜时，无需完全重复现有的复杂PSF估计方法，而是将PSF模板作为PSF估计迭代优化过程的初始值，可以减少PSF估计过程所需的时间。本方法在现有的单透镜成像算法基础上，大大提高了PSF标定的速度，方便用户使用，实际操作性强，在保证图像质量同时大大降低镜头成本，减小镜头体积与重量，在图像处理和相机设计领域具有非常重要的意义。

Description

一种单透镜成像的PSF快速标定方法

技术领域：

本发明主要涉及到数字图像处理领域，特指一种单透镜成像的PSF快速标定方法法。

背景技术：

目前，单反相机以其高清的成像质量、丰富的镜头选择、迅捷的响应速度、卓越的手控能力等优势在人们的日常生活中发挥着越来越重要的作用。然而，为弥补单反镜头中镜片的几何畸变和像差，进一步提高成像质量，单反镜头的设计日益复杂，甚至包含数十个独立的光学器件。复杂的镜头在提高成像质量的同时，无疑也会增加镜头的体积和重量，也导致镜头的成本大大提高。镜头体积和重量的增加给用户的日常使用带来了不便，成本的提高也不便单反向大面积用户推广使用。因此，在2尽量消除镜片像差，增加成像质量的同时，如何降低镜头成本，使其更为轻便，也成为目前单反相机设计的重要需求之一。近年来，随着图像复原技术的快速发展，图像去模糊等方法越来越成熟，镜头中某些消除像差和修正几何畸变的镜片可由去模糊等计算摄影技术代替，因此，单透镜成像（如图1所示）与图像复原技术的结合也逐渐成为单反相机设计的一个新的研究方向。

单透镜成像的关键在于：必须对所采用的单透镜进行校正。由于本身特性及制造工艺的不同，每个透镜都有一定的缺陷，如果采用单透镜成像，因为缺少复杂镜头中其他镜片对单透镜本身像差和几何畸变的弥补，所以单透镜成像不可避免地会产生一定程度的模糊，如图2所示。单透镜像差在成像过程中所造成的模糊可以用点扩散函数PSF（Point SpreadFunction）表示，所谓校正即估算单透镜PSF的过程。单透镜成像产生模糊图像的过程可以理解为清晰场景和PSF卷积的过程，如图3所示。若单透镜PSF已知，则可以利用模糊图像和PSF进行反卷积得到清晰图像，以消除单透镜像差所造成的模糊。理想单透镜的PSF一般为圆形的磁盘状，如图4所示。由于单透镜本身存在一定的曲率，而且实际制造工艺存在一定差异，由单透镜得到的整幅模糊图像在不同部位的模糊程度是不相同的，尤其是透镜边缘部分得到的图像，畸变更加严重。

全局不变的PSF不能清楚地表示单透镜像差所造成的模糊，所以一般将图像分成大小合适的图像块，并认为每个图像块的PSF是一样的，即估算空间变换的PSF[1]。Heide等人[2]提出了一种PSF校正方法用于单透镜成像，采用一阶原始对偶优化方法[3]求解 $B_{\mathrm{opt}}=\underset{B}{\min }{\left|\right|\mathrm{IB}-\mathrm{sj}\left|\right|}_2^2+\mathrm{\λ}{\left|\right|\▿B\left|\right|}_1+\mathrm{\μ}{\left|\right|1^{T}B-1\left|\right|}_2^2$ 中的凸优化问题，通过不断迭代得到最优的PSF。为提高PSF估计的效率，这种迭代优化算法一般在尺度空间中进行，最初级尺度空间中PSF的迭代初始值一般为高斯模糊核或delta函数，上一尺度空间的优化结果作为当前尺度空间迭代过程的初始值，如图5所示。但其PSF校正算法的缺点是需要多次迭代才能得到最优解，校正过程速度太慢，而且对每个单透镜都要首先进行PSF校正。因此，如何提高PSF估计的速度是单透镜成像急需解决的问题。

发明内容：

本发明要解决的技术问题在于：针对现有单透镜成像方法中PSF估计速度太慢，耗费时间长，而且对每个单透镜都要进行PSF估计的问题，提供一种基于单透镜成像的PSF快速标定方法，避免PSF估计过程的重复，在保证图像质量同时大大降低镜头成本，减小镜头体积与重量，方便用户使用。

为解决上述技术问题，本发明提出的技术方案是：

1、一种基于单透镜成像的PSF快速标定方法，其特征在于，包括如下步骤：

步骤一：利用单透镜相机获取模糊图像；缩小单透镜相机的光圈至最小，获取清晰图像；

步骤二：将模糊图像和清晰图像划分为若干个大小相同的图像块，估计出所采用单透镜的空间变化的PSF；

步骤三：对N个同类型的单透镜重复步骤一和步骤二，得到一组PSF；

步骤四：对步骤三中得到的N个PSF值求取平均值，作为此类单透镜的PSF模板；

步骤五：对此类型新的单透镜，将步骤四中得到的PSF模板作为PSF校正过程的迭代初始值，则可以快速迭代以求得该单透镜的实际PSF。

进一步的，步骤一中的模糊图像是在正常光圈大小下，由单透镜相机得到的模糊图像；当光圈缩至最小时，单透镜的像差可忽略不计，以此图像作为清晰图像。

进一步的，所述步骤二中估计所采用单透镜的空间变化的PSF的具体方法为文献2公开的已有方法：假设图像块J为模糊图像中某个图像块，图像块I为清晰图像中对应的图像块，图像块J对应的最佳PSF用B_opt表示，求解B_opt可以转化为下式所示的凸优化问题：

$B_{\mathrm{opt}}=\underset{B}{\min }{\left|\right|\mathrm{IB}-\mathrm{sj}\left|\right|}_2^2+\mathrm{\λ}{\left|\right|\▿B\left|\right|}_1+\mathrm{\μ}{\left|\right|1^{T}B-1\left|\right|}_2^2---\left(1\right)$

其中，B表示迭代过程中的PSF，式中右边第一项是线性最小方差的数据融合项，标量

是某个图像块上清晰图像与模糊图像像素值的比值，表示清晰图像和模糊图像之间的差异，x和y表示二维图像的横纵坐标；第二项表示待估计的PSF梯度的全变分先验（Total Variation,TV）；第三项表示能量约束项，所估计的PSF必须满足∑_x,yB(x,y)=1；

再采用一阶原始对偶优化方法求解式（1）中的凸优化问题，通过不断迭代得到最优的PSF；最初级尺度空间中PSF的迭代初始值为高斯模糊核或delta函数，上一尺度空间的优化结果作为当前尺度空间迭代过程的初始值。

进一步的，所述步骤三中的同类型单透镜是指制作单透镜时，镜面大小、曲率的基本参数都相同的单透镜。

进一步的，所述步骤四中采用统计方法求PSF模板的公式为：

$P_m=\frac{1}{N}\underset{i}{\overset{N}{\mathrm{\Σ}}}{P}_i$

其中，P_i表示步骤三中所得到的N个PSF，P_m表示所得到的PSF模板；个数N可取为20-100。

进一步的，所述步骤五中将步骤四中得到的PSF模板作为PSF校正过程的迭代初始值，即

$\left\{\begin{array}{c}{B}_{\mathrm{opt}}=\underset{B}{\min }{\left|\right|\mathrm{IB}-\mathrm{sj}\left|\right|}_2^2+\mathrm{\λ}{\left|\right|\▿B\left|\right|}_1+\mathrm{\μ}{\left|\right|1^{T}B-1\left|\right|}_2^2\\ \mathrm{with}{B}_0=P_m\end{array}\right.---\left(3\right)$

其中，B表示迭代过程中的PSF，式中右边第一项是线性最小方差的数据融合项，标量

是某个图像块上清晰图像与模糊图像像素值的比值，表示清晰图像和模糊图像之间的差异，x和y表示二维图像的横纵坐标；第二项表示待估计的PSF梯度的全变分先验（Total Variation,TV）；第三项表示能量约束项，所估计的PSF必须满足∑_x,yB(x,y)=1。

本发明提供的上述基于单透镜成像的PSF快速标定方法避免了PSF估计过程的重复，得到PSF模板后，可大大减少同类型的单透镜PSF估计的时间，在保证图像质量同时大大降低镜头成本，减小镜头体积与重量，在图像处理和相机设计领域具有非常重要的意义。

附图说明：

图1用简单镜头替换复杂镜头；

图2为单透镜成像所造成的模糊；

图3为清晰图像与PSF卷积得到模糊图像的过程；

图4为理想的单透镜的PSF形状；

图5为在尺度空间中估计PSF的示意图；

图6为单透镜成像的快速PSF标定方法流程图；

具体实施方式：

下面结合上述附图，对本发明进行详细描述：

如图6所示，本实施例提供的所述基于单透镜成像的PSF快速标定方法包括如下步骤：

步骤一：在正常相机光圈下，利用单透镜相机获取模糊图像；将单透镜相机的光圈缩小至针孔大小，获取清晰图像，这时可认为单镜片像差对图像所造成的模糊忽略不计；

步骤二：将模糊图像和清晰图像划分为若干个大小相同的图像块，估计所采用单透镜的空间变化的PSF，这里采用的PSF估计方法是已有的方法，具体步骤可参考文献[2]，该方法耗费时间较长。

PSF估计可以看作是已知清晰图像和模糊图像的反卷积问题。假设J为模糊图像中某个图像块，I为清晰图像中对应的图像块，图像块J对应的最佳PSF用B_opt表示，求解B_opt可以转化为式（1）所示的凸优化问题：

$B_{\mathrm{opt}}=\underset{B}{\min }{\left|\right|\mathrm{IB}-\mathrm{sj}\left|\right|}_2^2+\mathrm{\λ}{\left|\right|\▿B\left|\right|}_1+\mathrm{\μ}{\left|\right|1^{T}B-1\left|\right|}_2^2---\left(1\right)$

其中，B表示迭代过程中的PSF，式（1）右边第一项是线性最小方差的数据融合项，标量

是某个图像块上清晰图像与模糊图像像素值的比值，表示清晰图像和模糊图像之间的差异，x和y表示二维图像的横纵坐标；第二项表示待估计的PSF梯度的全变分先验（Total Variation,TV）；第三项表示能量约束项，所估计的PSF必须满足∑_x,yB(x,y)=1。

文献[2]采用一阶原始对偶优化算法[3]求解式（1）中的凸优化问题，通过不断迭代得到最优的PSF。为提高PSF估计的效率，这种迭代优化算法一般在尺度空间中进行，最初级尺度空间中PSF的迭代初始值一般为高斯模糊核或delta函数，上一尺度空间的优化结果最为当前尺度空间迭代过程的初始值，如图5所示。

步骤三：对N个同类型的单透镜重复步骤一和步骤二，得到一组PSF。这里同类型的单透镜是指制作单透镜时，镜面大小、曲率等基本参数都是相同的，仅存在制造工艺方面的差别；N是预处理阶段采用的单透镜数量，这里取N=20。采用步骤一和步骤二中的方法对这20个同类型的单透镜都进行PSF估计，从而得到一组PSF。这一组PSF基本形状类似，但受具体制造工艺的影响，每个PSF的边缘细节略有差别。

步骤四：对步骤三中得到的N个PSF求取平均值，作为此类单透镜的PSF模板，平均值可由式（2）求得：

$P_m=\frac{1}{N}\underset{i}{\overset{N}{\mathrm{\Σ}}}{P}_i---\left(2\right)$

其中，P_i表示步骤三中所得到的N个PSF，P_m表示所得到的PSF模板。根据统计学方法，这一组PSF的平均值P_m比每个PSF更接近此类单透镜的理想PSF，即单透镜成像所造成的模糊不受制造工艺差别的影响。

步骤五：对此类型新的单透镜，将步骤四中得到的PSF模板作为PSF校正过程的迭代初始值，则可以快速迭代以求得该单透镜的真实PSF，用于复原模糊图像。

因为存在制造工艺的差别，即使是同一种类型的单透镜，在使用之前都要先进行PSF估计，步骤二中提到，PSF估计的优化过程一般需要在尺度空间中迭代进行，而现有算法的迭代初始值一般为简单的高斯模糊核或delta函数。从高斯模糊核或delta函数到最终的单透镜PSF一般需要多次迭代，而在步骤五中，如果将步骤四所估计的PSF平均值P_m作为迭代优化过程的初始值，步骤一中的凸优化问题可以表示为

$\left\{\begin{array}{c}{B}_{\mathrm{opt}}=\underset{B}{\min }{\left|\right|\mathrm{IB}-\mathrm{sj}\left|\right|}_2^2+\mathrm{\λ}{\left|\right|\▿B\left|\right|}_1+\mathrm{\μ}{\left|\right|1^{T}B-1\left|\right|}_2^2\\ \mathrm{with}{B}_0=P_m\end{array}\right.---\left(3\right)$

因为初始值非常接近此类单透镜的理想PSF，所以只需几次迭代就可以得到新单透镜的实际PSF。

如上所述，本发明基于单透镜成像的基本原理，首先对一组同类型的单透镜分别进行PSF估计，对得到的一组PSF求取平均值作为该类型单透镜的PSF模板，对其他此类单透镜，无需完全重复PSF估计过程，只需将PSF模板作为迭代优化过程的初始值，即可快速得到每个单透镜的实际PSF。这种方法通过替换PSF估计过程的迭代初始值，从而减少优化迭代过程所需的时间，在保证图像质量同时大大降低镜头成本，减小镜头体积与重量，在图像处理和相机设计领域具有非常重要的意义。

参考文献

[1]A.Levin,R.Fergus,F.Durand and W.T.Freeman.Image and depth from a conventionalcamera with a coded aperture.ACM SIGGRAPH.Volume.26,Issue.3,pp.1-9,2007.

[2]F.Heide,M.Rouf,M.B.Hullin,B.Labitzke,W.Heidrich,A.Kolb.High-QualityComputational Imaging Through Simple Lenses.ACM Transactions on Graphics.2013.

[3]H.Felix,R.Mushfiqur,B.H.Matthias,L.Bjorn,H.Wolfgang,K.Andreas,“High-Qualitycomputational imaging through simple lenses”,ACM Transactions on Graphics,2013.

Claims (6)

1.一种基于单透镜成像的PSF快速标定方法，其特征在于，包括如下步骤：

步骤一：利用单透镜相机获取模糊图像；缩小单透镜相机的光圈至最小，获取清晰图像；

步骤二：将模糊图像和清晰图像划分为若干个大小相同的图像块，估计出所采用单透镜的空间变化的PSF；

步骤三：对N个同类型的单透镜重复步骤一和步骤二，得到一组PSF；

步骤四：对步骤三中得到的N个PSF值求取平均值，作为此类单透镜的PSF模板；

步骤五：对此类型新的单透镜，将步骤四中得到的PSF模板作为PSF校正过程的迭代初始值，则可以快速迭代以求得该单透镜的实际PSF。

2.根据权利要求1所述基于单透镜成像的PSF快速标定方法，其特征在于，所述步骤一中的模糊图像是在正常光圈大小下，由单透镜相机得到的模糊图像；当光圈缩至最小时，单透镜的像差忽略不计，以此图像作为清晰图像。

3.根据权利要求1或2所述基于单透镜成像的PSF快速标定方法，其特征在于，所述步骤二中估计所采用单透镜的空间变化的PSF的具体方法为：假设图像块J为模糊图像中某个图像块，图像块I为清晰图像中对应的图像块，图像块J对应的最佳PSF用B_opt表示，求解B_opt可以转化为下式所示的凸优化问题：

$B_{\mathrm{opt}}=\underset{B}{\min }{\left|\right|\mathrm{IB}-\mathrm{sj}\left|\right|}_2^2+\mathrm{\λ}{\left|\right|\▿B\left|\right|}_1+\mathrm{\μ}{\left|\right|1^{T}B-1\left|\right|}_2^2---\left(1\right)$

其中，B表示迭代过程中的PSF，式中右边第一项是线性最小方差的数据融合项，标量是某个图像块上清晰图像与模糊图像像素值的比值，表示清晰图像和模糊图像之间的差异，x和y表示二维图像的横纵坐标；第二项表示待估计的PSF梯度的全变分先验（Total Variation,TV）；第三项表示能量约束项，所估计的PSF必须满足∑_x,yB(x,y)=1；

再采用一阶原始对偶优化方法求解式（1）中的凸优化问题，通过不断迭代得到最优的PSF；最初级尺度空间中PSF的迭代初始值为高斯模糊核或delta函数，上一尺度空间的优化结果作为当前尺度空间迭代过程的初始值。

4.根据权利要求1所述基于单透镜成像的PSF快速标定方法，其特征在于，所述步骤三中的同类型单透镜是指制作单透镜时，镜面大小、曲率的基本参数都相同的单透镜。

5.根据权利要求1所述基于单透镜成像的PSF快速标定方法，其特征在于，所述步骤四中求取PSF模板的公式为：

$P_m=\frac{1}{N}\underset{i}{\overset{N}{\mathrm{\Σ}}}{P}_i$

其中，P_i表示步骤三中所得到的N个PSF值，P_m表示所得到的PSF模板；个数N可取为20-100。

6.根据权利要求5所述基于单透镜成像的PSF快速标定方法，其特征在于，所述步骤五中将步骤四中得到的PSF模板作为PSF校正过程的迭代初始值，即

$\left\{\begin{array}{c}{B}_{\mathrm{opt}}=\underset{B}{\min }{\left|\right|\mathrm{IB}-\mathrm{sj}\left|\right|}_2^2+\mathrm{\λ}{\left|\right|\▿B\left|\right|}_1+\mathrm{\μ}{\left|\right|1^{T}B-1\left|\right|}_2^2\\ \mathrm{with}{B}_0=P_m\end{array}\right.---\left(3\right)$

其中，B表示迭代过程中的PSF，式中右边第一项是线性最小方差的数据融合项，标量是某个图像块上清晰图像与模糊图像像素值的比值，表示清晰图像和模糊图像之间的差异，x和y表示二维图像的横纵坐标；第二项表示待估计的PSF梯度的全变分先验（Total Variation, TV）；第三项表示能量约束项，所估计的PSF必须满足∑_x,yB(x,y)=1。

Images