CN111080774A

CN111080774A - 一种应用深度采样进行光场重构的方法及系统

Info

Publication number: CN111080774A
Application number: CN201911292417.9A
Authority: CN
Inventors: 段福洲; 郭甜; 关鸿亮; 苏文博; 徐翎丰; 孟祥慈; 杨帆
Original assignee: Capital Normal University
Current assignee: Capital Normal University
Priority date: 2019-12-16
Filing date: 2019-12-16
Publication date: 2020-04-28
Anticipated expiration: 2039-12-16
Also published as: WO2021121037A1; AU2020408599B2; CN111080774B; AU2020408599A1

Abstract

本发明涉及一种应用深度采样进行光场重构的方法及系统。该方法包括：获取目标图像在不同场景下的深度采样像素值；根据所述深度采样像素值，得到多个同一根光线在不同平面同一位置的投影像素值；根据所述投影像素值通过投影重建图像定理，重构四维光场。采用本发明的方法或系统能够迅速的进行光场重构，并且能够提高成像的空间分辨率。

Description

一种应用深度采样进行光场重构的方法及系统

技术领域

本发明涉及光场重构领域，特别是涉及一种应用深度采样进行光场重构的方法及系统。

背景技术

采集光场的过程就是获取光线与两个参考平面的交点的过程，参考平面的位置决定了光场采集设备的类型。一种是通过在物方设置参考平面来记录光线，如相机阵列，一种是通过在像方设置参考平面来记录光线，如全光相机。相机阵列由多个传统相机组成，相机阵列形成了由多个镜头投影中心组成虚拟投影参考平面和多个CCD(CMOS)组成的虚拟成像平面。相机阵列获取目标场景同一点处不同视角的光线辐射强度，每个相机拍摄的图像可以看做是光场的某个角度的采样图像。全光相机主要是将微透镜阵列放置在传感器前面，形成了透镜阵列和CCD(CMOS)两个参考平面，每个微透镜捕获光线在主透镜处的角度分布，是对像方光场进行角度采样。显然，这两种光场采集设备主要是通过对光线进行角度采样来进行的。除了这两种直接采集光场的方式外，学者也在探讨利用各种不同的采集方式来合成光场，C.K.Liang等人通过多次曝光对主镜头的子孔径进行采样来记录光场，其方式和全光相机类似。LiuK等人通过结构光来重建物方光场，该方法通过结构光来获取像方的深度分布，结合普通影像和深度分布来重建光场，这种方法不是一种光场的直接采集方式。

无论是相机阵列还是全光相机，都需要专用的设备来采集光场，如相机阵列要求几十上百台传统相机，要求的设备较多，造价昂贵，且难以控制各个相机的时间同步精度和相对位置精度。全光相机相对于相机阵列的方式操作简单，能够通过一次曝光来直接采集光场，但是通过这种方式采集的光场其角度分辨率和空间分辨率相互制约，这种相互制约导致其空间分辨率远远低于传统相机。

发明内容

本发明的目的是提供一种应用深度采样进行光场重构的方法及系统，能够迅速的进行光场重构，并且能够提高成像的空间分辨率。

为实现上述目的，本发明提供了如下方案：

一种应用深度采样进行光场重构的方法，包括：

获取目标图像在不同场景下的深度采样像素值；

根据所述深度采样像素值，得到多个同一根光线在不同平面同一位置的投影像素值；

根据所述投影像素值通过投影重建图像定理，重构四维光场。

可选的，所述获取目标图像在不同场景下的深度采样像素值，具体包括：

通过普通相机获取目标图像在不同场景下的深度采样像素值。

可选的，所述根据所述深度采样像素值，得到多个同一根光线在不同平面同一位置的投影像素值，具体包括：

根据所述深度采样像素值采用公式

得到多个同一根光线在不同平面同一位置的投影像素值

其中，I(x_m,y_m,d_m)为深度采样图像像素值，

为同一根光线在不同平面同一位置的投影像素值，(u,v)为光线来源方向的参考平面坐标，(x_m,y_m)为光线成像方向的参考平面坐标，d_m为不同的像距，m＝1,2,...m的正整数。

可选的，所述根据所述投影像素值通过投影重建图像定理，重构四维光场，具体包括：

根据所述投影像素值通过投影重建图像定理采用公式

重构四维光场L_rec(x,y,u,v)；

其中，L_rec(x,y,u,v)为四维光场；

d为参考的像平面。

一种应用深度采样进行光场重构的系统，包括：

深度采样像素值获取模块，用于获取目标图像在不同场景下的深度采样像素值；

投影像素值确定模块，用于根据所述深度采样像素值，得到多个同一根光线在不同平面同一位置的投影像素值；

四维光场重构模块，用于根据所述投影像素值通过投影重建图像定理，重构四维光场。

可选的，所述深度采样像素值获取模块，具体包括：

深度采样像素值获取单元，用于通过普通相机获取目标图像在不同场景下的深度采样像素值。

可选的，所述投影像素值确定模块，具体包括：

投影像素值确定单元，用于根据所述深度采样像素值采用公式

得到多个同一根光线在不同平面同一位置的投影像素值

其中，I(x_m,y_m,d_m)为深度采样图像像素值，

可选的，所述四维光场重构模块，具体包括：

四维光场重构单元，用于根据所述投影像素值通过投影重建图像定理采用公式

重构四维光场L_rec(x,y,u,v)；

其中，L_rec(x,y,u,v)为四维光场；

d为参考的像平面。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明提供一种应用深度采样进行光场重构的方法及系统，通过对目标场景进行深度采样，获取目标场景不同深度面的图像，然后从深度采样数据中恢复四维光场。本发明能够迅速的进行光场重构，并且能够提高成像的空间分辨率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明应用深度采样进行光场重构的方法流程图；

图2为本发明深度采样示意图；

图3为本发明光场的双平面表示示意图；

图4为本发明不同的对焦平面成像示意图；

图5为本发明利用佳能相机获取的不同对焦距离下的深度采样数据；

图6为本发明子孔径图像和子孔径图像左边的局部放大图像；

图7为本发明不同张深度采样数据重建的子孔径图像；

图8为本发明深度采样与角度采样重建的子孔径图像对比示意图；

图9为本发明应用深度采样进行光场重构的系统结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明应用深度采样进行光场重构的方法流程图。如图1所示，一种应用深度采样进行光场重构的方法包括：

步骤101：获取目标图像在不同场景下的深度采样像素值，具体包括：通过普通相机获取目标图像在不同场景下的深度采样像素值。

在深度采样重建光场的理论模型中，引入两个相互平行的平面来参数化表征光场，其中主透镜平面(u,v)表示光线来源方向的参考平面，成像平面(x,y)表示光线成像方向的参考平面，图2为本发明深度采样示意图；图3为本发明光场的双平面表示示意图；图4为本发明不同的对焦平面成像示意图；图中x_m表示不同的像平面，d_m表示不同的像距。

在深度采样中，假设深度采样表示为

其中I(x,y,d)表示在像平面d处，(x,y)处的像素值。

由图3和图4可知，对于同一根光线，式1中等式两边是两种等价的表示方法：

由三角形相似定理可求得

同理

则：

步骤102：根据所述深度采样像素值，得到多个同一根光线在不同平面同一位置的投影像素值，具体包括：

根据所述深度采样像素值采用公式

得到多个同一根光线在不同平面同一位置的投影像素值

其中，I(x_m,y_m,d_m)为深度采样图像像素值，

通过式2可将深度采样表示为：

将等式两边做变换可得

其中∫∫L_d(x_m,y_m,u,v)dudv表示同一根光线在每个像平面同一位置的投影像素值。

步骤103：根据所述投影像素值通过投影重建图像定理，重构四维光场，具体包括：

根据所述投影像素值通过投影重建图像定理采用公式

重构四维光场L_rec(x,y,u,v)。

其中，L_rec(x,y,u,v)为四维光场；

d为参考的像平面。

根据投影重建图像的定理，任意一点的成像都可以看做是以不同角度通过该像点的所有光线的积分，其算法描述如下

其中i即为该点的像素值，P_θ是指在某个角度θ下经过该点的射线的投影值，T为投影角度的个数。深度采样中的每张图像也可以看做是四维光场的二维投影，在每个像平面上的投影为∫∫L_d(x_m,y_m,u,v)dudv，而深度采样数量相当于投影角度的个数T，则利用公式(5)从深度采样中恢复的四维光场可表示为：

上式中，α_m＝d_m/d，表征像距比，L_rec(x,y,u,v)即为重建的四维光场，对于确定的(u,v)，就确定了光线的一个传输方向，相当于确定了一个虚拟普通相机，拍摄光线该方向下的图像(x,y)，给定不同的(u,v)，就可以得到不同视角的图像，其中M表示深度采样的数量，其中d代表参考的像平面，可以是d_m中的任意一个。

对深度和角度采样这两种重建光场方法，深入分析基于深度采样重建光场的效果。深度采样可以理解为一组对焦在目标场景不同对焦深度的图像I(x,y,d)，它是光场的不同深度的切片式采样，其显然有别于常见的通过透镜阵列或者相机阵列进行光场角度采样的方法或设备。如果将深度采样视为不同对焦距离的图像，那么深度采样就可以通过较为简单的设备实现，例如普通商业相机，将焦距固定，通过获取不同对焦深度的影像来获取不同深度切片的采样数据。本发明实验设备为canon 5d mark III，实验中将设备固定在一个位置，获取目标场景的不同深度的切片采样，即不同对焦深度的影像。

在目标场景的选择上，实验中应用四张扑克牌作为场景，把每一张扑克牌当作一个对焦平面，原因是易于对焦，且重建光场后能够明显观察到视角的移动。利用佳能5Dmark III获取的深度采样数据如下{(x₁,y₁,d₁),…,(x₄,y₄,d₄)}，一共四张不同对焦平面的图像，刚好完整的覆盖了整个实验场景，其中(x,y)大小为1920×1280，为了达到比较好的拍摄效果，本发明使用了控制相机拍照软件digicamControl，在电脑上控制相机对场景进行自动拍摄，对焦深度分别为0.75m、0.84m、0.96m、1.03m，对于实验中使用的设备来说，为了尽量降低景深对数据采集的影响，将设备的焦距调为105mm，光圈调为4.0，当对焦深度为1m时，景深为10cm左右，上面设计的对焦距离能够获取到较为理想的不同对焦距离的影像。获取的不同对焦深度的影像如图5所示，图5为本发明利用佳能相机获取的不同对焦距离下的深度采样数据；其中，(a)为本发明利用佳能相机获取的对焦距离0.75m下的深度采样数据，(b)为本发明利用佳能相机获取的对焦距离0.84m下的深度采样数据，(c)为本发明利用佳能相机获取的对焦距离0.96m下的深度采样数据，(d)为本发明利用佳能相机获取的对焦距离1.03m下的深度采样数据。

利用公式(6)来从深度采样中恢复光场，利用子孔径图像来可视化光场，由公式(6)可知，给定不同的(u,v)，就可以得到不同视角的图像(x,y)，其中v表示垂直方向的视角，u表示水平方向的视角，给定u和v不同的值表示获得的不同视角的图像(x,y)，给定(u,v)的值分别为(20,0)，(0,0)，(-20,0)，其中垂直方向v的值为0保持不变，水平方向u设置不同的值以观察视角的移动，其中(0,0)表示中心视角，得到的(x,y)，也就是不同视角的图像如图6所示，图6为本发明子孔径图像和子孔径图像左边的局部放大图像，其中，(a)为(20,0)的子孔径图像和子孔径图像左边的局部放大图像，(b)为(0,0)的子孔径图像和子孔径图像左边的局部放大图像，(c)为(-20,0)的子孔径图像和子孔径图像左边的局部放大图像；由图6可知，共包含abc三组图像，上面表示获取的子孔径图像，下面是子孔径图像左边的局部放大图，通过图6能够清楚的看见视角的移动。abc三组图像的(u，v)分别为(20,0)(0,0)(-20,0)，通过上述数值可知垂直方向的视角不变，水平方向的视角从左向右移动。

由实验结果可以看出，给定不同的(u,v)，就能得到不同视角的子孔径图像(x,y)。下面探讨有关深度采样数量的问题，在设置的实验场景中，选择每一张扑克牌作为一个对焦平面，四张刚好完全覆盖了整个实验场景，选择三张和两张没有完全覆盖实验场景的深度采样数据做对比。图7为本发明不同张深度采样数据重建的子孔径图像；其中，(a)为本发明2张深度采样数据重建的子孔径图像，(b)为本发明3张深度采样数据重建的子孔径图像，(c)为本发明4张深度采样数据重建的子孔径图像，图7的子孔径图像都为0。

由于没有参考的真值图像，因此选取Tenengrad函数，Laplacian和方差函数来对上面三组图像进行清晰度评价，Tenengrad和Laplacian函数是一种基于梯度的函数，可以用于检测图像是否具有清晰尖锐的边缘，图像越清晰其值越大。方差函数是概率论中用来考查离散数据和期望之间离散程度的度量方法，由于清晰图像相比模糊图像其像素之间有更大的灰度差异，利用方差评价图像清晰度，图像越清晰方差值越大。利用上述三个清晰度评价函数对上面三幅生成的子孔径图像进行定量评价，其结果如表1，其中M表示深度采样张数。

表1图像清晰度评价结果

从上面三个清晰度评价函数可以看出，当深度采样覆盖整个实验场景时，其重建的光场比没有完全覆盖整个实验场景要清晰，这主要是由于当深度采样没有完全覆盖实验场景时，总会有一部分场景没有清晰对焦，导致图像变模糊，利用公式(6)重建光场子孔径图像时肯定不如完全覆盖实验场景的深度采样清晰。

深度采样重建光场方法仅需采用普通相机自动对不同对焦平面的影像进行采集就能够实现光场计算成像，和角度采样在模型和方法上都有较大的不同。因为这个方法需要对目标场景进行连续的拍照，显然比较有利于静止或者缓慢移动的场景进行光场采集。是通过多次拍摄来重建光场的方式，其显然和一次拍摄的全光相机的采集光场具有较大的区别。

实验中采用的lytro illum2的Senser一共有4000万个像素左右，得到的传感器图像(光场图像)尺寸为7728*5368，lytro illum2的微透镜阵列个数为541*434个，其角度分辨率为15*15，每一个微透镜后面对应的像素个数为225个。分别利用lytro illum2和canon5D mark III，对同一场景进行角度采样和深度采样，两个设备的焦距都设为105mm。

图8为本发明深度采样与角度采样重建的子孔径图像对比示意图。从重建的子孔径图像可以看出，深度采样的角度分辨率能够达到角度采样角度分辨率的程度，在空间分辨方面，深度采样获取的不同视角的图像的空间分辨率为1920×1280，和原始传感器一样大；而角度采样获取的不同视角的图像的空间分辨率为625×433，原始传感器空间分辨率大小为7728×5368，远小于传感器的大小。即本发明提供的一种应用深度采样进行光场重构的方法相较于现有的角度采样重建光场的方法优点在于其空间分辨率能够达到传感器的程度，且不需要任何特殊的硬件。

图9为本发明应用深度采样进行光场重构的系统结构图。如图9所示，一种应用深度采样进行光场重构的系统包括：

深度采样像素值获取模块201，用于获取目标图像在不同场景下的深度采样像素值。

投影像素值确定模块202，用于根据所述深度采样像素值，得到多个同一根光线在不同平面同一位置的投影像素值。

四维光场重构模块203，用于根据所述投影像素值通过投影重建图像定理，重构四维光场。

所述深度采样像素值获取模块201，具体包括：

所述投影像素值确定模块202，具体包括：

得到多个同一根光线在不同平面同一位置的投影像素值

其中，I(x_m,y_m,d_m)为深度采样图像像素值，

所述四维光场重构模块203，具体包括：

重构四维光场L_rec(x,y,u,v)。

其中，L_rec(x,y,u,v)为四维光场；

d为参考的像平面。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。