CN104574423B - 基于球面像差标定的单透镜成像psf估计方法 - Google Patents

Abstract

本发明公开了一种基于球面像差标定的单透镜成像PSF估计方法，首先根据所采用单透镜的相关参数，通过光线光路计算求出单透镜的球面像差值；根据垂轴球差与轴向球差的关系求出高斯像面上的圆形弥散斑，并将此弥散斑作为PSF估计迭代优化过程的初始值，以减少PSF估计过程所需的时间，增加PSF估计精度。本方法在现有的单透镜计算成像算法的基础上，提高了PSF标定的速度，方便用户使用，实际操作性强，而且增加了所估计PSF的精度，在保证图像质量同时大大降低镜头成本，减小镜头体积与重量，在图像处理和相机设计领域具有非常重要的意义。

Description

基于球面像差标定的单透镜成像PSF估计方法

技术领域

本发明主要涉及到数字图像处理领域，特指一种基于球面像差标定的单透镜成像PSF估计方法。

背景技术

目前，单反相机以其高清的成像质量、丰富的镜头选择、迅捷的响应速度、卓越的手控能力等优势在人们的日常生活中发挥着越来越重要的作用。然而，为弥补单反镜头中镜片的几何畸变和像差，进一步提高成像质量，单反镜头的设计日益复杂，甚至包含数十个独立的光学器件。复杂的镜头在提高成像质量的同时，无疑也会增加镜头的体积和重量，也导致镜头的成本大大提高。镜头体积和重量的增加给用户的日常使用带来了不便，成本的提高也不便单反相机向大面积用户推广使用。因此，在尽量消除镜片像差，增加成像质量的同时，如何降低镜头成本，使其更为轻便，也成为目前单反相机设计的重要需求之一。近年来，随着图像复原技术的快速发展，图像去模糊等方法越来越成熟，镜头中某些消除像差和修正几何畸变的镜片可由去模糊等计算摄影技术代替，因此，单透镜计算成像(如图3所示)与图像复原技术的结合也逐渐成为单反相机设计的一个新的研究方向。

单透镜计算成像的关键在于利用盲卷积图像复原算法准确估计出单透镜成像系统的模糊核，即点扩散函数(Point Spread Function，PSF)。目前常用的盲卷积图像复原算法是基于最大后验概率MAP的盲卷积图像复原算法[1]：在最大后验概率的框架下，盲卷积图像复原问题的统计学模型可以表述为：

arg max P(K,I|B)＝arg max P(B|I,K)P(I)P(K) (1)

其中，K表示单透镜的模糊核，又称点扩散函数PSF；I表示清晰图像；B表示由单透镜成像系统直接得到的模糊图像；P(K,I|B)表示在模糊图像B已知条件下，与模糊图像B对应的模糊核和清晰图像分别为K和I的概率；P(B|I,K)表示如果已知模糊核K和清晰图像I，对应的模糊图像为B的概率；P(I)表示对原始清晰图像已知的先验概率；P(K)表示模糊核的先验概率。

为计算方便，考虑到对数与乘积的转换关系以及对数函数的单调性，对式(1)左右两端分别去负对数：

-log P(K,I|B)＝-log P(B|K,I)-log P(I)-log P(K) (2)则上述问题转化为能量最小化问题，左边的目标函数可以定义为：

其中，表示数据拟合项；λ₁||▽(I)||_p1表示图像先验；λ₂||K||_p2表示模糊核先验。

求解式(3)一般采用迭代优化算法，以简单的delta函数或高斯函数作为模糊核初始值，结合模糊图像求出潜在清晰图像，然后再将模糊图像和清晰图像作为已知变量，求出下一层次的模糊核，具体迭代过程如图4所示。因为delta函数或高斯函数与单透镜真实PSF有较大差距，所以该迭代优化过程一般耗费时间较长，而且影响最终PSF的准确度。

目前针对单透镜PSF估计问题，有的方法提出将一批单透镜PSF的平均值作为PSF估计过程的初始值，虽然在一定程度上可以得到更加接近真实PSF值的初始值，但是这种方法也存在一定不足，制作一批同种类型的单透镜并估计其PSF在实际生活中不易实现，而且不同单透镜之间存在误差较大。因此，提出一个更加合理并且容易实现的单透镜PSF估计过程初始值是单透镜计算成像急需解决的问题。

发明内容

针对目前的单透镜计算成像问题中PSF估计迭代过程的初始值与真实单透镜的PSF有较大差距，估计过程耗费时间过长，精度不高等问题，本发明提出一种基于球面像差标定的单透镜成像PSF估计方法。单透镜的PSF成因包括球面像差、慧差、场曲和畸变等等，其中球面像差是导致单透镜模糊核的主要原因，由光学光路的计算可知，如果单透镜的相关结构参数已知，则可以计算球面像差的具体数值，而球面像差与单透镜的PSF存在一定关系。如果把球面像差所引起的PSF作为整个单透镜PSF估计迭代过程的初始值，则可以减少优化过程的迭代次数，同时所求出的PSF也更加接近真实单透镜的PSF，从而最终提高图像复原质量。

为解决上述技术问题，本发明提出的技术方案是：

一种基于球面像差标定的单透镜成像PSF估计方法，包括以下步骤：

S1：利用单透镜相机获取模糊图像；

其中：模糊图像是在正常光圈大小下，由单透镜相机得到的模糊图像。

S2：将单透镜计算成像中的PSF标定问题转换为盲卷积图像复原问题，即通过盲卷积图像复原算法求出单透镜的PSF，具体包括下面两个步骤：

S21：根据所采用单透镜的相关参数，通过光线光路计算求出单透镜的球面像差值；

S22：根据垂轴球差与轴向球差的关系求出高斯像面上的圆形弥散斑，以此弥散斑作为PSF校正过程的迭代初始值，则能够快速地求出单透镜的PSF。

在步骤S2中，所采用的盲卷积图像复原算法为基于最大后验概率MAP的盲卷积图像复原算法，在最大后验概率模型下，盲卷积图像复原问题的统计学模型可以表述为：

arg max P(K,I|B)＝arg max P(B|I,K)P(I)P(K) (1)

其中，K表示单透镜的模糊核，又称点扩散函数PSF；I表示清晰图像；B表示由单透镜成像系统直接得到的模糊图像；P(K,I|B)表示在模糊图像B已知条件下，与模糊图像B对应的模糊核和清晰图像分别为K和I的概率；P(B|I,K)表示如果已知模糊核K和清晰图像I，对应的模糊图像为B的概率；P(I)表示对原始清晰图像已知的先验概率；P(K)表示模糊核的先验概率；

考虑到对数与乘积的转换关系以及对数函数的单调性，对式(1)左右两端分别去负对数：

-log P(K,I|B)＝-log P(B|K,I)-log P(I)-log P(K) (2)

则上述问题转化为能量最小化问题，左边的目标函数可以定义为：

其中，表示数据拟合项；λ₁||▽(I)||_p1表示图像先验；λ₂||K||_p2表示模糊核先验。

在步骤S21中所述的光线光路计算是指子午面内的光线光路计算，包括近轴光线光路计算和远轴光线光路计算；单透镜的相关参数包括镜片的曲率半径r，相邻折射面的间隔d和镜片折射率n；

球面像差是宽光束像差，仅是透镜口径的函数，由子午面内光线的光路计算可知，对于轴上物点，近轴光线的光路计算结果l'和u'与光线的入射高度h₁或孔径角u₁无关，而远轴光线的光路计算结果L'和U'随入射高度h₁或孔径角U₁的不同而不同。因此，轴上点发出的同心光束经光学系统后不再是同心光束，不同入射高度h(U)的光线经过光学系统后交光轴于不同位置，相对近轴点有不同程度的偏离，这种水平偏离的球面像差又称为轴向球差，用δL'表示：

δL'＝L'-l' (4)

其中L'为远轴光线穿过镜片后与光轴的交点和镜片右侧中心位置的距离，l'为近轴光线穿过镜片后与光轴的交点和镜片右侧中心位置的距离。

近轴光线的光路计算公式如下所示：

i＝(l-r)u/r (5)

i'＝ni/n' (6)

u'＝u+i-i' (7)

l'＝(i'r/u')+r (8)

对于有k个面组成的光学系统，由前一个面到下一个面的过渡公式如下所示：

l_i＝l′_i-1-d_i-1 (9)

u_i＝u′_i-1 (10)

n_i＝n′_i-1 (11)

其中，l和u表示物方光线坐标；l'和u'表示像方光线坐标，r为镜片的曲率半径，n为镜片折射率，d表示不同折射面间的距离，i表示光线与法线的夹角，其余变量为中间计算变量。

远轴光线的光路计算公式如下所示：

sin I＝(L-r)sin U/r (12)

sin I'＝n sin I/n' (13)

U'＝U+I-I' (14)

L'＝r+r sin I'/sin U' (15)

相应的转面公式为：

L_i＝L′_i-1-d_i-1 (16)

U_i＝U′_i-1 (17)

n_i＝n′_i-1 (18)

其中，L和U表示物方光线坐标；L'和U'表示像方光线坐标，I表示光线与法线的夹角，其余变量与近轴光线的光路计算公式中的含义相同。

在步骤S22中，垂轴球差与轴向球差的关系如下式所示：

δT'＝δL'tanU'＝(L'-l') (19)

垂轴球差δT'理解为弥散斑的半径，由球面像差所引起的弥散斑与圆环磁盘状分布的理想单透镜PSF较为接近，将此弥散斑作为PSF估计迭代过程的初始值，求出单透镜的PSF。因为PSF初始值中已经包含了球面像差的误差，所以估计的PSF也更加接近真实的单透镜PSF。

如上所述，本发明基于单透镜计算成像系统，将单透镜PSF的估计转化为盲卷积图像复原算法，针对迭代优化算法的初始值与单透镜实际PSF存在较大差距，迭代次数较多，耗费时间长，而且影响PSF精度的问题，提出基于球面像差标定的单透镜成像PSF估计方法，根据单透镜的结构参数求出单透镜的球面像差值，并将其转化为弥散斑状的PSF，以此作为迭代优化过程的初始值，这种初始值更能体现单透镜PSF的真实情况，从而PSF估计过程的速度和最终PSF的精度，这种方法在图像处理和相机设计领域都具有非常重要的意义。

附图说明

图1为轴上点球差示意图；

图2为近似磁盘状的理想单透镜PSF；

图3为单透镜计算成像示意图；

图4为单透镜PSF估计的迭代过程；

图5为基于球面像差标定的单透镜成像PSF估计方法流程图；

具体实施方式

下面结合附图，对本发明进行详细描述：

如图5所示，本实施例提供的一种基于球面像差标定的单透镜成像PSF估计方法，包括如下步骤：

S1：在正常光圈大小下，利用单透镜相机获取模糊图像；

S2：将单透镜计算成像中的PSF标定问题转换为盲卷积图像复原问题，即将S1中所获得模糊图像作为已知条件，通过盲卷积图像复原算法求出潜在的清晰图像和对应的单透镜成像系统PSF。具体包括S21和S22两个步骤。

在S2中，在最大后验概率模型下，盲卷积图像复原问题的统计学模型可以表述为：

arg max P(K,I|B)＝arg max P(B|I,K)P(I)P(K) (1)

其中，K表示单透镜的模糊核，又称点扩散函数PSF；I表示清晰图像；B表示由单透镜成像系统直接得到的模糊图像；P(K,I|B)表示在模糊图像B已知条件下，与模糊图像B对应的模糊核和清晰图像分别为K和I的概率；P(B|I,K)表示如果已知模糊核K和清晰图像I，对应的模糊图像为B的概率；P(I)表示对原始清晰图像已知的先验概率；P(K)表示模糊核的先验概率。

为计算方便，考虑到对数与乘积的转换关系以及对数函数的单调性，对式(1)左右两端分别去负对数：

-log P(K,I|B)＝-log P(B|K,I)-log P(I)-log P(K) (2)

则上述问题转化为能量最小化问题，左边的目标函数可以定义为：

其中，表示数据拟合项；λ₁||▽(I)||_p1表示图像先验；λ₂||K||_p2表示模糊核先验。

S21：根据所采用单透镜的相关参数，通过光线光路计算求出单透镜的球面像差值。

球面像差简称球差，球面像差一般用轴向球差表示，代表水平方向的误差。也可用垂轴球差表示，代表垂轴方向的误差。轴向球差和垂轴球差所代表的实际球面像差大小是一样的，只是两个不同方向的表示。

球面像差通常指轴向球差，即附图1中的δL'_m。对于轴上物点，近轴光线的光路计算结果l'和u'与光线的入射高度h₁或孔径角u₁无关，而远轴光线的光路计算结果L'和U'随入射高度h₁或孔径角U₁的不同而不同。因此，轴上点发出的同心光束经光学系统后不再是同心光束，不同入射高度h(U)的光线经过光学系统后交光轴于不同位置，相对近轴点有不同程度的偏离，偏离称为轴向球差，即球差，用δL'表示：

δL'＝L'-l' (4)

其中L'为远轴光线穿过镜片后与光轴的交点和镜片右侧中心位置的距离，l'为近轴光线穿过镜片后与光轴的交点和镜片右侧中心位置的距离。

近轴光线的光路计算公式如下所示：

i＝(l-r)u/r (5)

i'＝ni/n' (6)

u'＝u+i-i' (7)

l'＝(i'r/u')+r (8)

对于有k个面组成的光学系统，还要解决由前一个面到下一个面的过渡问题。过渡公式如下所示：

l_i＝l′_i-1-d_i-1 (9)

u_i＝u′_i-1 (10)

n_i＝n′_i-1 (11)

其中，l和u表示物方光线坐标；l'和u'表示像方光线坐标，r为镜片的曲率半径，n为镜片折射率，d表示不同折射面间的距离，i表示光线与法线的夹角，其余变量为中间计算变量。

远轴光线的光路计算公式如下所示：

sin I＝(L-r)sin U/r (12)

sin I'＝n sin I/n' (13)

U'＝U+I-I' (14)

L'＝r+r sin I'/sin U' (15)

相应的转面公式为：

L_i＝L'_i-1-d_i-1 (16)

U_i＝U′_i-1 (17)

n_i＝n′_i-1 (18)

其中，L和U表示物方光线坐标；L'和U'表示像方光线坐标，I表示光线与法线的夹角，其余变量与近轴光线的光路计算公式中的含义相同。

S22、球面像差除了用轴向球差表示，也可以用垂轴球差表示，即附图1中的δT'。轴向球差与垂轴球差两者存在一定的对应关系，如下式所示：

δT'＝δL'tan U'＝(L'-l') (19)

垂轴球差δT'可理解为弥散斑的半径，由球面像差所引起的弥散斑与圆环磁盘状分布的理想单透镜PSF(附图2)较为接近，这种形状的弥散斑近似服从高斯分布，因此可以用二维空间中的高斯模糊核来模拟弥散斑。高斯分布的公式如下所示：

式(20)中，x和y表示二维高斯模糊核中像素的坐标，σ表示高斯分布的标准差，此时σ＝δT'。

由此得到的模糊核基本包含了单透镜成像系统的球面像差，相对于一般的高斯模糊核或者delta函数，更加接近单透镜成像系统的真实PSF，所以这个模糊核是一个更佳的PSF迭代过程初始值。

因为这个模糊核更加接近最终所求的真实模糊核，所以在盲卷积图像复原算法的迭代优化过程中，所需的迭代次数也会大大减少，从而缩短迭代优化所需的时间。常用的迭代优化算法为EM(Expectation-Maximization)优化算法，EM优化算法主要分为两个步骤，在E-step中，根据给定的当前模糊核求解非盲卷积图像复原，求出潜在的平均图像，并估计该平均图像周围的方差；在M-step中，根据E-step中求出的潜在平均图像求出最佳的模糊核。

EM算法的具体步骤可定义如下：

(1)E-step：令Q(I)＝P(I|B,K)，并计算出Q(I)的均值u和方差C，其中均值u就代表给定当前模糊核时潜在的清晰图像，C代表清晰图像周围的方差；

(2)M-step：找到使K*I-B达到最小值的K值

E_Q[||K*I-B||²] (21)

式(21)包含一个二次项，而在E-step中所求出的均值和方差足以满足式(21)的求解条件。用EM优化算法只需知道Q(I)的均值和方差，而无需知道图像的整体分布。

Claims (3)

1.一种基于球面像差标定的单透镜成像PSF估计方法，其特征在于包括以下步骤：

S1：利用单透镜相机获取模糊图像，模糊图像是在正常光圈大小下，由单透镜相机得到的模糊图像；

S2：将单透镜计算成像中的模糊核标定问题转换为盲卷积图像复原问题，所采用的盲卷积图像复原算法为基于最大后验概率MAP的盲卷积图像复原算法，在最大后验概率模型下，盲卷积图像复原问题的统计学模型可以表述为：

arg max P(K,I|B)＝arg max P(B|I,K)P(I)P(K) (1)

其中，K表示单透镜的模糊核；I表示清晰图像；B表示由单透镜成像系统直接得到的模糊图像；P(K,I|B)表示在模糊图像B已知条件下，与模糊图像B对应的模糊核和清晰图像分别为K和I的概率；P(B|I,K)表示如果已知模糊核K和清晰图像I，对应的模糊图像为B的概率；P(I)表示对原始清晰图像已知的先验概率；P(K)表示模糊核的先验概率；

考虑到对数与乘积的转换关系以及对数函数的单调性，对式(1)左右两端分别去负对数：

-log P(K,I|B)＝-log P(B|K,I)-log P(I)-log P(K) (2)

则上述问题转化为能量最小化问题，左边的目标函数可以定义为：

$E(K,I)=\underset{K,I}{min}\left|\right|K*I-B|{|}^2+{\mathrm{\λ}}_1||\▿\left(I\right)|{|}_{p1}+{\mathrm{\λ}}_2\left|\right|K|{|}_{p2}---\left(3\right)$

其中，表示数据拟合项；表示图像先验；λ₂||K||_p2表示模糊核先验；

通过基于最大后验概率MAP的盲卷积图像复原算法求出单透镜的模糊核，具体包括下面两个步骤：

S21：根据所采用单透镜的相关参数，其中单透镜的相关参数包括镜片的曲率半径r，相邻折射面的间隔d和镜片折射率n，通过光线光路计算求出单透镜的球面像差值；

S22：根据垂轴球差与轴向球差的关系求出高斯像面上的圆形弥散斑，以此弥散斑作为模糊核校正过程的迭代初始值，则能够快速地求出单透镜的模糊核。

2.根据权利要求1所述的基于球面像差标定的单透镜成像PSF估计方法，其特征在于，所述步骤S21中所述的光线光路计算是指子午面内的光线光路计算，包括近轴光线光路计算和远轴光线光路计算；

球面像差是宽光束像差，仅是透镜口径的函数，由子午面内光线的光路计算可知，对于轴上物点，近轴光线的光路计算结果l'和u'与光线的入射高度h₁或孔径角u₁无关，而远轴光线的光路计算结果L'和U'随入射高度h₁或孔径角U₁的不同而不同；因此，轴上点发出的同心光束经光学系统后不再是同心光束，不同入射高度h(U)的光线经过光学系统后交光轴于不同位置，相对近轴点有不同程度的偏离，这种水平偏离的球面像差又称为轴向球差，用δL'表示：

δL'＝L'-l' (4)

其中L'为远轴光线穿过镜片后与光轴的交点和镜片右侧中心位置的距离，l'为近轴光线穿过镜片后与光轴的交点和镜片右侧中心位置的距离；

近轴光线的光路计算公式如下所示：

i＝(l-r)u/r (5)

i'＝ni/n' (6)

u'＝u+i-i' (7)

l'＝(i'r/u')+r (8)

对于有k个面组成的光学系统，由前一个面到下一个面的过渡公式如下所示：

l_i＝l′_i-1-d_i-1 (9)

u_i＝u′_i-1 (10)

n_i＝n′_i-1 (11)

其中，l和u表示物方光线坐标；l'和u'表示像方光线坐标，r为镜片的曲率半径，n为镜片折射率，d表示不同折射面间的距离，i表示光线与法线的夹角，其余变量为中间计算变量；

远轴光线的光路计算公式如下所示：

sin I＝(L-r)sin U/r (12)

sin I'＝n sinI/n' (13)

U'＝U+I-I' (14)

L'＝r+r sin I'/sin U' (15)

相应的转面公式为：

L_i＝L'_i-1-d_i-1 (16)

U_i＝U′_i-1 (17)

n_i＝n′_i-1 (18)

其中，L和U表示物方光线坐标；L'和U'表示像方光线坐标，I表示光线与法线的夹角，其余变量与近轴光线的光路计算公式中的含义相同。

3.根据权利要求1所述的基于球面像差标定的单透镜成像PSF估计方法，其特征在于，

所述步骤S22中垂轴球差与轴向球差的关系如下式所示：

δT'＝δL'tan U'＝(L'-l') (19)

垂轴球差δT'理解为弥散斑的半径，由球面像差所引起的弥散斑与圆环磁盘状分布的理想单透镜模糊核较为接近，将此弥散斑作为模糊核估计迭代过程的初始值，求出单透镜的模糊核。