CN106937044A - 不完备数据下由聚焦堆栈重建光场的代数迭代方法和装置 - Google Patents

Abstract

本发明公开了一种不完备数据下由聚焦堆栈重建光场的代数迭代方法和装置，所述方法包括：给出四维光场与聚焦堆栈的几何关系，建立由光场形成聚焦堆栈的投影模型，形成投影算子；以投影模型为基础，建立由聚焦堆栈重建光场的反投影模型：即建立聚焦堆栈中的光线轨迹追踪模型，形成反投影算子；建立由聚焦堆栈重建光场的反投影代数迭代重建方法：采集到的聚焦堆栈数据通常在场景的一定深度范围，对应投影的不完备数据，投影模型离散为线性方程组，建立由聚焦堆栈重建光场的代数迭代方法。本发明的聚焦堆栈是探测器和镜头相对移动采集得到的图像序列，利用投影算子和反投影算子进行代数迭代可重建出高精度的四维光场。

Description

不完备数据下由聚焦堆栈重建光场的代数迭代方法和装置

技术领域

本发明涉及涉及计算机视觉与数字图像处理领域，尤其涉及一种不完备数据下由聚焦堆栈重建光场的代数迭代方法和装置。

背景技术

光场成像已成为计算成像和计算机视觉的重要手段。光场采集与获取已成为一个重要的研究领域。近年来，对光场数据获取手段地不断涌现：一类是直接获取手段，即通过设计光学器件，如基于微透镜阵列的光场相机、相机阵列和镜头阵列等，直接获取光场；另一类是间接获取手段，即用普通相机采集图像数据，再对图像数据进行后处理，以重建光场。但是，现有的间接获取手段需要采集稠密的聚焦堆栈，才能够重建出光场。

发明内容

本发明的目的在于提供一种不完备数据情形下由聚焦堆栈重建光场的代数迭代方法和装置，由聚焦堆栈重建四维光场的滤波反投影和卷积反投影方法。

为实现上述目的，本发明提供一种不完备数据下由聚焦堆栈重建光场的代数迭代方法，所述方法包括：建立四维光场形成聚焦堆栈的投影模型，所述聚焦堆栈是所述四维光场的二维投影，形成投影算子，采集到的聚焦堆栈数据通常在场景的一定深度范围，对应投影的不完备数据；建立聚焦堆栈中的光线轨迹追踪模型，形成反投影算子；将四维光场形成聚焦堆栈的投影模型离散为线性方程组，根据所述投影算子和所述反投影算子进行代数迭代重建光场。

进一步地，所述投影算子通过下述关系式获得：

其中，E(D_x,x′,y′)为聚焦堆栈平面图像，为四维光场，(u,v)为光轴移动透镜坐标，(x,y)为探测器坐标，(u,v)平面移动到(u′,v′)平面，(x,y)平面移动到(x′,y′)平面，D₀为(u,v)平面和(x,y)平面的距离，D_x为(u,v)平面和(x’,y’)平面的距离，D_u为(u‘,v’)平面和(x,y)平面的距离，

进一步地，所述建立聚焦堆栈中的光线轨迹追踪模型，具体根据追踪光线在聚焦堆栈的轨迹建立所述光线轨迹追踪模型，其中，所述光线L(u,v,x,y)在聚焦堆栈的轨迹为：

进一步地，所述代数迭代过程具体为：光场生成聚焦堆栈的正过程建立由聚焦堆栈重建四维光场的代数迭代方法：

其中，L⁽ⁿ⁾(u,v,x,y)是光场第n次迭代的结果。

本发明还提供一种不完备数据下由聚焦堆栈重建光场的代数迭代装置，所述装置包括：第一构建模块，用于建立四维光场形成聚焦堆栈的投影模型，所述聚焦堆栈是所述四维光场的二维投影，形成投影算子；第二构建模块，用于建立聚焦堆栈中的光线轨迹追踪模型，形成反投影算子；重建模块，用于将四维光场形成聚焦堆栈的投影模型离散为线性方程组，根据所述第一构建模块得到的所述投影算子和所述第二构建模块得到的所述反投影算子进行代数迭代重建光场。

进一步地，所述第一构建模块形成的投影算子通过下述关系式获得：

其中，E(D_x,x′,y′)为聚焦堆栈平面图像，为四维光场，(u,v)为光轴移动透镜坐标，(x,y)为探测器坐标，(u,v)平面移动到(u′,v′)平面，(x,y)平面移动到(x′,y′)平面，D₀为(u,v)平面和(x,y)平面的距离，D_x为(u,v)平面和(x’,y’)平面的距离，D_u为(u‘,v’)平面和(x,y)平面的距离，

进一步地，所述第二构建模块构建的光线轨迹追踪模型具体为跟踪光线L(u,v,x,y)在聚焦堆栈的轨迹，包括：

进一步地，所述重建模块的代数迭代过程具体为：光场生成聚焦堆栈的正过程建立由聚焦堆栈重建四维光场的代数迭代方法：

其中，L⁽ⁿ⁾(u,v,x,y)是光场第n次迭代的结果。

本发明提供的方案，依据光场重聚焦原理，在不同的聚焦平面下的重聚焦形成了聚焦堆栈，物方光场没变化，因而可以将像方聚焦堆栈转换成物方的聚焦堆栈，利用同步迭代算法进行迭代，再根据放大比对物方成像平面进行调整，因此，本发明对图像数据的采集更加灵活，可不同场景设计采集方式，即使采集到的是不完备数据，也能够重建任意角度分辨率的光场，满足了现有技术中对现有光场成像技术中对光场的需求。

附图说明

图1是根据本发明第一实施例提供的由聚焦堆栈重建光场的代数迭代方法的流程示意图。

图2是根据本发明第一实施例提供的相机拍摄形成聚焦堆栈的示意图。

图3是根据本发明第一实施例提供的光场形成聚焦堆栈的原理图。

图4是根据本发明第一实施例提供的光线L(u,v,x,y)在聚焦堆栈的轨迹。

图5是根据本发明第二实施例提供的由聚焦堆栈重建光场的滤波反投影装置的结构示意图。

具体实施方式

在附图中，使用相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面结合附图对本发明的实施例进行详细说明。

在本发明的描述中，术语“中心”、“纵向”、“横向”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明保护范围的限制。

如图1所示，本发明实施方式所提供的不完备数据情形下由聚焦堆栈重建光场的代数迭代方法包括：

步骤101，由四维光场形成聚焦堆栈的投影模型，形成投影算子，采集到的聚焦堆栈数据通常在场景的一定深度范围，对应投影的不完备数据。

该步骤中，聚焦堆栈是一组聚焦在不同成像平面或采用不同参数拍摄的成像序列，本实施方式中的聚焦堆栈为一组聚焦在不同成像平面的成像序列。具体地，本实施方式以沿光轴同步移动透镜和/或探测器完成聚焦堆栈采集为例，说明重建光场的具体实施方法。

如图2所示，图2的左侧包括Focus Plane1和Focus Plane2，示出的是场景中的两个物面位置，Focus Plane1对应的物面位置是(x,y)平面，Focus Plane2对应的物面位置是(x′,y′)平面。右侧包括S1和S2，示出的是像方的两个平面。中间包括Lens1和Lens2，示出的是透镜所在的两个平面位置，Lens1对应的物面是(u,v)平面，Lens2对应的物面是(u‘,v’)平面。

如图2所示，采集聚焦堆栈的过程为：通过沿着光轴移动透镜或探测器，即如图2中示出地，透镜从(u,v)平面移动到(u′,v′)平面，探测器对应的物面从(x,y)平面移动到(x′,y′)平面，(u,v)平面经由(u,v)平面在S1平面上成像，(u′,v′)平面经由(u′,v′)平面在S2平面上成像。当然，本实施例提供的方法同样可以应用于其他类似方式聚焦堆栈采集的场景。

如图3所示，(u,v)平面和(x,y)平面的距离为D₀，(u,v)平面和(x’,y’)平面的距离为D_x，(u‘,v’)平面和(x,y)平面的距离为D_u。例如，聚焦堆栈E(D_x,x′,y′)是四维光场在(x′,y′)平面的二维投影。是光线的辐亮度。

不同的双平面参数化可以表示同一光场，(u,v)平面上的一点和(x,y)平面上的一点确定光场中的一条光线，因此与表示同一条光线，并且可通过公式表示为：

鉴于聚焦堆栈E(D_x,x′,y′)是四维光场的二维投影，则有：

(u,v,x,y)到(u′,v′,x′,y′)的仿射变换为：

四维光场形成聚焦堆栈E(D_x,x′,y′)的过程对应的投影算子的表达式为：

上述的表达式为下述步骤中需要用到的四维光场形成聚焦堆栈的投影模型，由此，可得聚焦堆栈与四维光场的几何关系：聚焦堆栈E(D_x,x′,y′)是四维光场的二维投影。通常情形下，采集到的聚焦堆栈的图像数据为稠密度不够，且在场景的一定深度范围内的不完备数据。根据不完备数据，无法利用现有方法重建光场。

需要说明的是，本发明下述实施方式提供的方法是以将沿光轴同步移动透镜和探测器完成聚焦堆栈采集的场景为例进行的介绍，容易理解，本发明实施例提供的方法同样可以应用于其它类似方式聚焦堆栈采集的场景。

步骤102：建立聚焦堆栈中的光线轨迹追踪模型，形成反投影算子反投影算子对应聚焦堆栈对四维光场L(u,v,x,y)的反投影。

其中，首先，根据步骤101中得到的四维光场形成聚焦堆栈的投影模型，形成反投影算子建立由聚焦堆栈重建光场的反投影模型，即：

然后，建立聚焦堆栈中的光线轨迹追踪：追踪任一光线L(u,v,x,y)在聚焦堆栈中的轨迹，该轨迹的表达式为：

本发明实施例中，光线L(u,v,x,y)在聚焦堆栈中的轨迹追踪如图4所示，在视点(u,v)下的光场图像是由视点(u,v)发出的全部光线，每条光线的值是聚焦堆栈沿直线的线性积分，也就是说，视点(u,v)下的光场图像等价于聚焦堆栈沿直线的线性积分。

步骤103：将四维光场形成聚焦堆栈的投影模型离散为线性方程组，基于步骤101获得的投影算子和步骤102获得的反投影算子进行代数迭代重建光场。

其中，建立由聚焦堆栈重建光场的反投影迭代重建方法：投影模型离散为线性方程组，基于投影算子和反投影算子通过代数迭代建立由聚焦堆栈重建光场。

在光场形成聚焦堆栈的投影模型中，聚焦堆栈是四维光场的二维投影，投影角度θ∈(-90°,45°)，属于不完备投影数据，可采用代数迭代方法重建光场，具体方法如下：

根据：对于由f(x,y)得到积分数据g(s,t)的积分方程，可表示为：

g(s,t)＝∫∫f(x,y)·k(x,y,s,t)dxdy

Landwebber迭代方法是由积分g(s,t)求解f(x,y)的迭代方法，表示为：

f⁽ⁿ⁺¹⁾(x,y)＝f⁽ⁿ⁾(x,y)+∫∫k(x,y,s,t)(g(s,t)-∫∫f⁽ⁿ⁾(x,y)·k(x,y,s,t)dxdy)dsdt

而本实施例方式的四维光场生成聚焦堆栈的正过程是 利用上面的Landwebber迭代方法，建立由聚焦堆栈重建四维光场的代数迭代方法，例如SART算法，也叫同步迭代算法：

上述公式中，L⁽ⁿ⁾(u,v,x,y)是光场第n次迭代的结果。

其中，根据投影算子和所述反投影算子，利用上述同步迭代算法进行代数迭代重建光场，具体为：

首先，迭代过程L⁽ⁿ⁾(u,v,x,y)的初值选取为0，第n轮迭代计算出的光场L⁽ⁿ⁾(u,v,x,y)作为第n+1轮迭代的初值。

然后，利用投影算子将L⁽ⁿ⁾(u,v,x,y)投影为计算与实测值(E(D_x,x′,y′))的误差

最后，利用反投影算子将误差反投影累加给光场L⁽ⁿ⁾(u,v,x,y)，其对应的表达式为：

对光场的双平面参数化表示，一般是利用探测器平面与透镜平面进行刻画。依据光场重聚焦原理，在不同聚焦平面下的重聚焦形成了聚焦堆栈，像方光场没变化，可以直接重建像方的光场。

在本发明中，采用透镜平面与探测器平面同步移动的方式对聚焦堆栈进行采集，使像方光场发生了变化，因而将像方聚焦堆栈转换成物方的聚焦堆栈，利用同步迭代算法进行迭代，再根据放大比对物方成像平面进行调整，进而重建光场。

参见图5，本发明还提供一种不完备数据情形下由聚焦堆栈重建光场的代数迭代装置，所述装置包括：

第一构建模块201，用于建立四维光场形成聚焦堆栈的投影模型，所述聚焦堆栈是所述四维光场的二维投影，形成投影算子；

第二构建模块202，用于建立聚焦堆栈中的光线轨迹追踪模型，形成反投影算子；

重建模块203，用于将四维光场形成聚焦堆栈的投影模型离散为线性方程组，根据第一构建模块201得到的所述投影算子和第二构建模块202得到的所述反投影算子进行代数迭代重建光场。

其中，第一构建模块201中形成的投影算子通过下述关系式获得：

其中，E(D_x,x′,y′)为聚焦堆栈平面图像，为四维光场，(u,v)为光轴移动透镜坐标，(x,y)为探测器坐标，(u,v)平面移动到(u′,v′)平面，(x,y)平面移动到(x′,y′)平面，D₀为(u,v)平面和(x,y)平面的距离，D_x为(u,v)平面和(x’,y’)平面的距离，D_u为(u‘,v’)平面和(x,y)平面的距离，.

其中，第二构建模块202构建的光线轨迹追踪模型具体为跟踪光线L(u,v,x,y)在聚焦堆栈的轨迹，包括：

其中，重建模块203的代数迭代过程具体为：

光场生成聚焦堆栈的正过程建立由聚焦堆栈重建四维光场的代数迭代方法：

其中，L⁽ⁿ⁾(u,v,x,y)是光场第n次迭代的结果。

本发明提供的一种不完备数据情形下由聚焦堆栈重建光场的代数迭代装置，采用透镜平面与探测器平面同步移动的方式对聚焦堆栈进行采集，使像方光场发生了变化，因而将像方聚焦堆栈转换成物方的聚焦堆栈，利用同步迭代算法进行迭代，再根据放大比对物方成像平面进行调整，进而重建光场。

最后需要指出的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。本领域的普通技术人员应当理解：可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种不完备数据下由聚焦堆栈重建光场的代数迭代方法，其特征在于，所述方法包括：

建立四维光场形成聚焦堆栈的投影模型，所述聚焦堆栈是所述四维光场的二维投影，形成投影算子，采集到的聚焦堆栈数据通常在场景的一定深度范围，对应投影的不完备数据；

建立聚焦堆栈中的光线轨迹追踪模型，形成反投影算子；

将四维光场形成聚焦堆栈的投影模型离散为线性方程组，根据所述投影算子和所述反投影算子进行代数迭代重建光场。

2.如权利要求1所述的方法，其特征在于，所述投影算子通过下述关系式获得：

$\begin{array}{c}E(D_x,x^{\′},y^{\′})=P_{D_x}\[L_{(D_0,D_0)}(u,v,x,y)\]=\∫\∫L_{(D_u,D_x)}(u^{\′},v^{\′},x^{\′},y^{\′}){\mathrm{du}}^{\′}{\mathrm{dv}}^{\′}\\ =\∫\∫\∫\∫L_{(D_0,D_0)}(u,v,x,y)\mathrm{\δ}(\frac{D_x}{D_0}x+(1-\frac{D_x}{D_0})u-x^{\′},\frac{D_x}{D_0}y+(1-\frac{D_x}{D_0})v-y^{\′})dudvdxdy\end{array}$

其中，E(D_x,x′,y′)为聚焦堆栈平面图像，为四维光场，(u,v)为光轴移动透镜坐标，(x,y)为探测器坐标，(u,v)平面移动到(u′,v′)平面，(x,y)平面移动到(x′,y′)平面，D₀为(u,v)平面和(x,y)平面的距离，D_x为(u,v)平面和(x’,y’)平面的距离，D_u为(u‘,v’)平面和(x,y)平面的距离，

3.如权利要求2所述的方法，其特征在于，所述建立聚焦堆栈中的光线轨迹追踪模型，具体根据追踪光线在聚焦堆栈的轨迹建立所述光线轨迹追踪模型，其中，所述光线L(u,v,x,y)在聚焦堆栈的轨迹为：

$x^{\′}=\frac{D_x}{D_0}x+(1-\frac{D_x}{D_0})u,y^{\′}=\frac{D_x}{D_0}y+(1-\frac{D_x}{D_0})v.$

4.如权利要求2所述的方法，其特征在于，所述代数迭代过程具体为：

光场生成聚焦堆栈的正过程建立由聚焦堆栈重建四维光场的代数迭代方法：

$L^{(n+1)}(u,v,x,y)=L^{\left(n\right)}(u,v,x,y)+\∫P_{D_x}^{*}\left(E\right(D_x,x^{\′},y^{\′})-P_{D_x}\[L^{\left(n\right)}(u,v,x,y)\]){\mathrm{dD}}_x$

其中，L⁽ⁿ⁾(u,v,x,y)是光场第n次迭代的结果。

5.一种不完备数据下由聚焦堆栈重建光场的代数迭代装置，其特征在于，所述装置包括：

第一构建模块，用于建立四维光场形成聚焦堆栈的投影模型，所述聚焦堆栈是所述四维光场的二维投影，形成投影算子；

第二构建模块，用于建立聚焦堆栈中的光线轨迹追踪模型，形成反投影算子；

重建模块，用于将四维光场形成聚焦堆栈的投影模型离散为线性方程组，根据所述第一构建模块得到的所述投影算子和所述第二构建模块得到的所述反投影算子进行代数迭代重建光场。

6.如权利要求5所述的装置，其特征在于，所述第一构建模块形成的投影算子通过下述关系式获得：

$\begin{array}{c}E(D_x,x^{\′},y^{\′})=P_{D_x}\[L_{(D_0,D_0)}(u,v,x,y)\]=\∫\∫L_{(D_u,D_x)}(u^{\′},v^{\′},x^{\′},y^{\′}){\mathrm{du}}^{\′}{\mathrm{dv}}^{\′}\\ =\∫\∫\∫\∫L_{(D_0,D_0)}(u,v,x,y)\mathrm{\δ}(\frac{D_x}{D_0}x+(1-\frac{D_x}{D_0})u-x^{\′},\frac{D_x}{D_0}y+(1-\frac{D_x}{D_0})v-y^{\′})dudvdxdy\end{array}$

其中，E(D_x,x′,y′)为聚焦堆栈平面图像，为四维光场，(u,v)为光轴移动透镜坐标，(x,y)为探测器坐标，(u,v)平面移动到(u′,v′)平面，(x,y)平面移动到(x′,y′)平面，D₀为(u,v)平面和(x,y)平面的距离，D_x为(u,v)平面和(x’,y’)平面的距离，D_u为(u‘,v’)平面和(x,y)平面的距离，

7.如权利要求5所述的装置，其特征在于，所述第二构建模块构建的光线轨迹追踪模型具体为跟踪光线L(u,v,x,y)在聚焦堆栈的轨迹，包括：

$x^{\′}=\frac{D_x}{D_0}x+(1-\frac{D_x}{D_0})u,y^{\′}=\frac{D_x}{D_0}y+(1-\frac{D_x}{D_0})v.$

8.如权利要求5所述的装置，其特征在于，所述重建模块的代数迭代过程具体为：

光场生成聚焦堆栈的正过程建立由聚焦堆栈重建四维光场的代数迭代方法：

$L^{(n+1)}(u,v,x,y)=L^{\left(n\right)}(u,v,x,y)+\∫P_{D_x}^{*}\left(E\right(D_x,x^{\′},y^{\′})-P_{D_x}\[L^{\left(n\right)}(u,v,x,y)\]){\mathrm{dD}}_x$

其中，L⁽ⁿ⁾(u,v,x,y)是光场第n次迭代的结果。