CN107277327A - 一种估计全光圈下单透镜光场相机的点扩散函数的方法 - Google Patents

Abstract

本发明公开了一种估计全光圈下单透镜光场相机的点扩散函数的方法，包括：采用单透镜光场相机分别拍摄同一场景的全光圈下的光场图像和小光圈下的光场图像；估计得到小光圈下的光场图像上的物体所在平面到主镜头之间的绝对距离；获取单透镜光场相机的参数，模拟得到估计的绝对距离下小光圈下单透镜光场相机的点扩散函数；建立成像模型，并使用全光圈下的光场图像、小光圈下的光场图像以及模拟的小光圈下单透镜光场相机的点扩散函数建立优化模型，估计得到全光圈下单透镜光场相机的点扩散函数。本发明提出的方法，不仅降低算法复杂度，而且可以省掉复杂的测量步骤从而节省时间和成本。

Description

一种估计全光圈下单透镜光场相机的点扩散函数的方法

技术领域

本发明涉及计算机视觉与数字图像处理领域，尤其涉及一种估计全光圈下单透镜光场相机的点扩散函数的方法。

背景技术

光场相机因其能够获取场景的多维信息，在计算机视觉、机器人等领域得到广泛应用。不同于传统相机，光场相机在镜头组与传感器之间插入了一块微透镜阵列，微透镜阵列取代传统相机的传感器所在的位置——镜头组的焦平面处。微透镜阵列接收到来自镜头组的光线后，将光线信息进一步传送至传感器，以数码的方式记录下场景的位置与方向信息。光场相机通过使用镜头组来减小像差，但镜头组的使用无疑会增加光场相机的成本、体积以及重量。而现今相机的发展趋势是小型化，轻量化。因此，研究者们考虑使用单透镜光场相机进行成像。但是单透镜的像差相比镜头组要严重很多，使用单透镜光场相机成像，势必会得到低质量的光场图像。随着图像复原技术的不断发展，图像去模糊的方法日趋成熟。传统的使用镜头组来减小像差方法可由去模糊等计算成像技术替代。因此，结合去模糊技术，可以使用单透镜光场相机进行成像，达到降低相机成本、体积和重量的目的。

其中单透镜的像差在成像过程中造成的模糊可以用点扩散函数来表示，点扩散函数描述了一个成像系统对一个点光源的响应，它能够反映成像系统对点光源的解析能力。传统的使用盲卷积的方法去获取单透镜光场相机的点扩散函数的算法复杂度高，而传统的使用物理装置进行测量获取单透镜光场相机的点扩散函数的方法，测量步骤非常复杂，耗时，而且成本较高。

以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

为了解决上述技术问题，本发明提出一种估计全光圈下单透镜光场相机的点扩散函数的方法，不仅可以降低算法复杂度，而且可以省掉复杂的测量步骤从而节省时间和成本。

为了达到上述目的，本发明采用以下技术方案：

本发明公开了一种估计全光圈下单透镜光场相机的点扩散函数的方法，包括以下步骤：

S1：采用所述单透镜光场相机分别拍摄同一场景的全光圈下的光场图像和小光圈下的光场图像，其中全光圈表示所述单透镜光场相机的主镜头的光瞳直径与主镜头的整体直径一致，小光圈表示所述单透镜光场相机的主镜头的光瞳直径与主镜头的整体直径的比值小于0.1；

S2：估计得到小光圈下的光场图像上的物体所在平面到所述主镜头之间的绝对距离；

S3：获取所述单透镜光场相机的参数，模拟得到估计的所述绝对距离下小光圈下单透镜光场相机的点扩散函数；

S4：建立成像模型，并使用全光圈下的光场图像、小光圈下的光场图像以及模拟的小光圈下单透镜光场相机的点扩散函数建立优化模型，估计得到全光圈下单透镜光场相机的点扩散函数。

优选地，步骤S1还包括在拍摄光场图像之前对所述单透镜光场相机进行标定校正。

优选地，步骤S2具体包括：采用距离估计模型估计得到小光圈下的光场图像上的物体所在平面到所述主镜头之间的绝对距离。

优选地，步骤S3获取的所述单透镜光场相机的参数包括：小光圈下所述主镜头的光瞳直径D、焦距F_main，单个微透镜的直径d、焦距f_micro，主镜头与微透镜阵列之间的距离l₂，微透镜阵列与传感器之间的距离l₃，传感器的分辨率w×h、像素大小pitch。

优选地，步骤S3具体包括采用波动光学模拟得到估计的所述绝对距离下小光圈下单透镜光场相机在红光、绿光和蓝光三种波长下的点扩散函数。

优选地，其中波动光学的传播方法可为菲涅尔衍射、角谱定理或带限角谱定理。

优选地，步骤S4中建立的成像模型为：

I_b＝I₀H_b+N_b

I_s＝I₀H_s+N_s

其中，I_b是步骤S1中拍摄得到的全光圈下的光场图像展成的矩阵，I_s是步骤S1中拍摄得到的小光圈下的光场图像展成的矩阵，I₀表示理想的清晰光场图像展成的矩阵，H_b为全光圈下单透镜光场相机的点扩散函数展成的矩阵，H_s为步骤S3中模拟得到的小光圈下单透镜光场相机的点扩散函数展成的矩阵，N_b是全光圈下单透镜光场相机的噪声，N_s是小光圈下单透镜光场相机的噪声。

优选地，步骤S4中步骤具体包括：

设定I_b和I_s满足关系式I_b＝I_sH+N，其中H和N是反映I_b和I_s之间的关系的系数矩阵；结合步骤S3所建立的成像模型，则有：

I_b＝I₀H_b+N_b＝I_sH+N

＝(I₀H_s+N_s)H+N

＝I₀H_sH+N_sH+N

通过对比，得到H_b＝H_sH和N_b＝N_sH+N，通过该关系式估计得到全光圈下单透镜光场相机的点扩散函数。

优选地，步骤S4中建立的优化模型为：通过该优化模型得到优化解H_c，再根据H_bc＝H_scH_c估计得到全光圈下单透镜光场相机的点扩散函数；其中：c＝1,2,3分别表示红、绿、蓝三通道，I_bc为对应通道的全光圈下的光场图像展成的矩阵，I_sc为对应通道的小光圈下的光场图像展成的矩阵，H_sc为步骤S3中模拟得到的小光圈下对应通道的单透镜光场相机的点扩散函数展成的矩阵。

优选地，所述单透镜光场相机为光场1.0架构或者光场2.0架构。

与现有技术相比，本发明的有益效果在于：本发明提出的估计全光圈下单透镜光场相机的点扩散函数的方法，首先通过小光圈的光场图像，估计出物体所在的平面的绝对距离，然后模拟得到小光圈下单透镜光场相机的点扩散函数，最后通过使用全光圈下光场图像、小光圈下光场图像以及小光圈下单透镜光场相机的点扩散函数建立优化模型，从而估计得到全光圈下单透镜光场相机的点扩散函数；由于小光圈下主镜头的光瞳直径小于主镜头的整体直径的0.1倍，因此在模拟点扩散函数时可不考虑单透镜的像差，复杂度降低；也即本发明中使用间接的方法去估计得到全光圈下单透镜光场相机的点扩散函数，相对于使用盲卷积的方法去得到全光圈下单透镜光场相机的点扩散函数而言，能够降低算法复杂度，相对于传统的使用物理装置去测量得到全光圈下单透镜光场相机的点扩散函数而言，可以省掉复杂的测量步骤从而节省时间和成本。

附图说明

图1是本发明优选实施例的估计全光圈下单透镜光场相机的点扩散函数的方法的流程示意图；

图2是1.0架构的单透镜光场相机的结构示意图；

图3是2.0架构的单透镜光场相机的结构示意图。

具体实施方式

下面对照附图并结合优选的实施方式对本发明作进一步说明。

如图1所示，本发明优选实施例的估计全光圈下单透镜光场相机的点扩散函数的方法，包括以下步骤：

S1：采用单透镜光场相机分别拍摄同一场景的全光圈下的光场图像和小光圈下的光场图像，其中全光圈表示单透镜光场相机的主镜头的光瞳直径与主镜头的整体直径一致，小光圈表示单透镜光场相机的主镜头的光瞳直径与主镜头的整体直径的比值小于0.1；

其中，结合图2和图3，单透镜光场相机包括主镜头10、光阑20、微透镜阵列30和传感器40，其中主镜头10为一个单透镜，光阑20设置在主镜头10的前方，用来调节主镜头10光瞳直径的大小；微透镜30和传感器40依次设置在主镜头10的后方，主镜头10与微透镜阵列30之间的距离固定。

优选实施例中，在拍摄光场图像之前先对单透镜光场相机进行标定校正，对单透镜光场相机进行标定校正的主要目的在于补偿单透镜光场相机中存在的配准误差，如微透镜阵列30相对传感器40发生了倾斜等。对单透镜光场相机进行标定后，拍摄全光圈下的光场图像，再调节光阑20，缩小光阑20的通光直径以缩小主镜头10的光瞳直径，在小光圈下拍摄同一场景相对清晰的光场图像。

S2：估计得到小光圈下的光场图像上的物体所在平面到主镜头之间的绝对距离；

在本实施例中，采用距离估计模型估计得到小光圈下的光场图像上的物体所在平面(即物平面50)到主镜头10之间的绝对距离；其中，对于1.0架构的单透镜光场相机，该距离估计模型为已公开的现有技术中所采用的光场距离估计方法模型，例如申请号为201610828558.8的专利文献所公开的距离估计方法，可以用该文献中的距离估计方法来获取小光圈下的光场图像上的物体所在平面(即物平面50)到主镜头10之间的绝对距离的估计值l₁。对于2.0架构的单透镜光场相机，可使用现有的深度估计算法得到小光圈下的光场图像的深度图，该深度图能够反映物体所在平面的相对距离；采用光场图像上任一平面作为已知绝对距离的参考面，即可估计出其余物体所在平面(即物平面50)到主镜头10之间的绝对距离的估计值l₁。

S3：获取单透镜光场相机的参数，模拟得到估计的绝对距离下小光圈下单透镜光场相机的点扩散函数；

获取的参数包括：小光圈下主镜头10的光瞳直径D、焦距F_main，单个微透镜的直径d、焦距f_micro，主镜头10与微透镜阵列30之间的距离l₂，微透镜阵列30与传感器40之间的距离l₃，传感器40的分辨率w×h、像素大小pitch。

如图2所示的1.0架构的单透镜光场相机，则有：

f_micro＝l₃(1)

建立物体所在平面(物平面50)、主镜头10、微透镜阵列30和传感器40的坐标系，分别为(ξ,η)、(u,v)、(x,y)和(s,t)；利用波动光学模拟得到估计的绝对距离下小光圈下单透镜光场相机的点扩散函数；传播方法可以采用但不局限于菲涅尔衍射、角谱定理或带限角谱定理。通过后述的式(2)至(9)推到可得到分别对应于红、绿、蓝三通道的点扩散函数(如式(10))。

传播方法以使用菲涅尔衍射为例，假设点光源位于(ξ₀,η₀)处，则点光源在物体所在平面的复振幅为：

U₁(ξ,η)＝δ(ξ-ξ₀,η-η₀) (2)

点光源发出的光经过菲涅尔衍射后，到达主镜头所在的平面，则点光源在主镜头前的复振幅为：

其中，表示一次傅里叶变换，其中的f_ξ和f_η为此处傅里叶变换的采样频率，λ_c表示光波的波长(c＝1,2,3时分别表示红光、绿光、蓝光的波长)，i为虚数，k表示波长数，且有l₁为步骤S2估计得到的小光圈下的光场图像上的物体所在平面(即物平面50)到主镜头10之间的绝对距离。

设定主镜头的光瞳函数为P(u,v)，则主镜头的透过率函数为：

由于主镜头的光瞳直径很小，故不考虑其波像差。因此，点光源发出的光波在主镜头所在的平面后的复振幅为：

U₃(u,v)＝U₂(u,v)P_t(u,v) (5)

光波继续经过菲涅尔衍射传播至微透镜阵列平面，则光波在微透镜阵列前的复振幅为：

其中，此处傅里叶变换的采样频率为f_u和f_v；

设定微透镜阵列由M×N个微透镜组成，每个微透镜的光瞳函数为P(x,y)，则光波经过单个微透镜后的复振幅为：

此处，由于单个微透镜很小，故也不考虑其波像差。光波经过微透镜阵列后，其复振幅是所有单个微透镜后复振幅的叠加，因此微透镜阵列后的复振幅为：

最后，光波再经过菲涅尔衍射到达传感器所在的平面，则在传感器所在的平面上的复振幅为：

其中，此处傅里叶变换的采样频率为f_x和f_y；

光波在传感器上的光强为：

h(s,t)＝|U₁(s,t)|² (10)

式(10)即为模拟得到的小光圈下1.0架构的单透镜光场相机在估计的绝对距离下的点扩散函数。其中，式(3)中λ_c为λ₁时，对应推到得到的式(10)即为红光通道下的点扩散函数；λ_c为λ₂时，对应推到得到的式(10)即为绿光通道下的点扩散函数；λ_c为λ₃时，对应推到得到的式(10)即为蓝光通道下的点扩散函数。

依次模拟物平面上其他位置处的点光源的响应，将传感器上得到的点光源的响应图像展成列向量，构成矩阵H_s。

如图3所示的2.0架构的单透镜光场相机，则有：

l₂＝l₂₁+l₂₂ (11)

类似地，建立物体所在平面(物平面50)、主镜头10、微透镜阵列30和传感器40的坐标系，分别为(ξ,η)、(u,v)、(x,y)和(s,t)；利用波动光学模拟得到估计的绝对距离下小光圈下单透镜光场相机的点扩散函数。同样，传播方法以使用菲涅尔衍射为例，则物平面50上位于处的点光源(ξ₀,η₀)从物平面至中继成像面60的传播与1.0架构的单透镜光场相机下的点光源从物平面到微透镜阵列前的传播一致(式(2)至式(6))。因此，光波在中继成像面60的复振幅为：

其中，此处傅里叶变换的采样频率为f_u和f_v；

光波继续经过菲涅尔衍射传播至微透镜阵列平面，则光波在微透镜阵列前的复振幅为：

其中，此处傅里叶变换的采样频率为f_p和f_q；

同样地，光波从微透镜阵列30前至传感器40的传播与1.0架构下的传播一致(式(7)至式(10))，最终得到2.0架构的单透镜光场相机的矩阵H_s。

S4：建立成像模型，并使用全光圈下的光场图像、小光圈下的光场图像以及模拟的小光圈下单透镜光场相机的点扩散函数建立优化模型，估计得到全光圈下单透镜光场相机的点扩散函数。

其中建立的成像模型为：

I_b＝I₀H_b+N_b (16)

I_s＝I₀H_s+N_s (17)

其中，I_b是步骤S1中拍摄得到的全光圈下的光场图像展成的矩阵，I_s是步骤S1中拍摄得到的小光圈下的光场图像展成的矩阵，I₀表示理想的清晰光场图像展成的矩阵，它反映的是场景的真实信息，H_b为所需估计的全光圈下单透镜光场相机的点扩散函数展成的矩阵，H_s为步骤S3中模拟得到的小光圈下单透镜光场相机的点扩散函数展成的矩阵，N_b是全光圈下单透镜光场相机的噪声，N_s是小光圈下单透镜光场相机的噪声。

在估计H_b时，设定I_b和I_s满足关系式：

I_b＝I_sH+N (18)

其中H和N是反映I_b和I_s之间的关系的系数矩阵；

结合式(16)和式(17)，则有：

对比式(16)，式(19)表明：

H_b＝H_sH (20)

N_b＝N_sH+N (21)

建立优化模型：

得到优化解H_c，其中：c＝1,2,3分别表示红、绿、蓝三通道，I_bc为对应通道的全光圈下的光场图像展成的矩阵，I_sc为对应通道的小光圈下的光场图像展成的矩阵，H_sc为步骤S3中模拟得到的小光圈下对应通道的单透镜光场相机的点扩散函数展成的矩阵。得到优化解后，进一步使用：

H_bc＝H_scH_c，c＝1,2,3 (23)

来估计得到全光圈下对应通道的单透镜光场相机的点扩散函数展成的矩阵。

通过上述步骤方法估计得到全光圈下单透镜光场相机的点扩散函数，通过估计出来的点扩散函数可用于图像去模糊，提高单透镜光场相机拍摄的光场图像的质量。本发明的估计方法的具体思想为：使用单透镜光场相机拍摄全光圈图像，缩小镜头光圈，拍摄小光圈图像；然后使用距离估计模型估计出小光圈光场图像上物体所在平面的绝对距离，使用波动光学模拟出该估计距离下相机在小光圈下的点扩散函数；由于光圈小，模拟点扩散函数时可不考虑单透镜的像差，复杂度降低；最后使用拍摄的两幅不同光圈下的光场图像和模拟的小光圈下的单透镜光场相机的点扩散函数建立优化模型，间接得到单透镜光场相机在全光圈下的点扩散函数。本发明的方法不同于传统的盲卷积的方法去估计系统的点扩散函数，也不同于传统的使用使用物理装置去测量系统的点扩散函数的方法，而是通过借助模拟小光圈下单透镜光场相机的点扩散函数来间接得到全光圈下单透镜光场相机的点扩散函数，不仅可以降低算法复杂度，而且可以省掉复杂的测量步骤从而节省时间和成本。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (10)

1.一种估计全光圈下单透镜光场相机的点扩散函数的方法，其特征在于，包括以下步骤：

S1：采用所述单透镜光场相机分别拍摄同一场景的全光圈下的光场图像和小光圈下的光场图像，其中全光圈表示所述单透镜光场相机的主镜头的光瞳直径与主镜头的整体直径一致，小光圈表示所述单透镜光场相机的主镜头的光瞳直径与主镜头的整体直径的比值小于0.1；

S2：估计得到小光圈下的光场图像上的物体所在平面到所述主镜头之间的绝对距离；

S3：获取所述单透镜光场相机的参数，模拟得到估计的所述绝对距离下小光圈下单透镜光场相机的点扩散函数；

S4：建立成像模型，并使用全光圈下的光场图像、小光圈下的光场图像以及模拟的小光圈下单透镜光场相机的点扩散函数建立优化模型，估计得到全光圈下单透镜光场相机的点扩散函数。

2.根据权利要求1所述的方法，其特征在于，步骤S1还包括在拍摄光场图像之前对所述单透镜光场相机进行标定校正。

3.根据权利要求1所述的方法，其特征在于，步骤S2具体包括：采用距离估计模型估计得到小光圈下的光场图像上的物体所在平面到所述主镜头之间的绝对距离。

4.根据权利要求1所述的方法，其特征在于，步骤S3获取的所述单透镜光场相机的参数包括：小光圈下所述主镜头的光瞳直径D、焦距F_main，单个微透镜的直径d、焦距f_micro，主镜头与微透镜阵列之间的距离l₂，微透镜阵列与传感器之间的距离l₃，传感器的分辨率w×h、像素大小pitch。

5.根据权利要求1所述的方法，其特征在于，步骤S3具体包括采用波动光学模拟得到估计的所述绝对距离下小光圈下单透镜光场相机在红光、绿光和蓝光三种波长下的点扩散函数。

6.根据权利要求5所述的方法，其特征在于，其中波动光学的传播方法可为菲涅尔衍射、角谱定理或带限角谱定理。

7.根据权利要求1所述的方法，其特征在于，步骤S4中建立的成像模型为：

I_b＝I₀H_b+N_b

I_s＝I₀H_s+N_s

其中，I_b是步骤S1中拍摄得到的全光圈下的光场图像展成的矩阵，I_s是步骤S1中拍摄得到的小光圈下的光场图像展成的矩阵，I₀表示理想的清晰光场图像展成的矩阵，H_b为全光圈下单透镜光场相机的点扩散函数展成的矩阵，H_s为步骤S3中模拟得到的小光圈下单透镜光场相机的点扩散函数展成的矩阵，N_b是全光圈下单透镜光场相机的噪声，N_s是小光圈下单透镜光场相机的噪声。

8.根据权利要求7所述的方法，其特征在于，步骤S4中步骤具体包括：

设定I_b和I_s满足关系式I_b＝I_sH+N，其中H和N是反映I_b和I_s之间的关系的系数矩阵；结合步骤S3所建立的成像模型，则有：

I_b＝I₀H_b+N_b＝I_sH+N

＝(I₀H_s+N_s)H+N

＝I₀H_sH+N_sH+N

通过对比，得到H_b＝H_sH和N_b＝N_sH+N，通过该关系式估计得到全光圈下单透镜光场相机的点扩散函数。

9.根据权利要求8所述的方法，其特征在于，步骤S4中建立的优化模型为：通过该优化模型得到优化解H_c，再根据H_bc＝H_scH_c估计得到全光圈下单透镜光场相机的点扩散函数；其中：c＝1,2,3分别表示红、绿、蓝三通道，I_bc为对应通道的全光圈下的光场图像展成的矩阵，I_sc为对应通道的小光圈下的光场图像展成的矩阵，H_sc为步骤S3中模拟得到的小光圈下对应通道的单透镜光场相机的点扩散函数展成的矩阵。

10.根据权利要求1所述的方法，其特征在于，所述单透镜光场相机为光场1.0架构或者光场2.0架构。