CN110462685B - 三维模型重建方法和系统 - Google Patents

Abstract

公开了一种生成物体三维模型的方法。该方法可利用光场相机在多个视角下拍摄多幅光场图像。该方法可包括：在第一视角下拍摄第一光场图像；在第二视角下拍摄第二光场图像；估算从所述第一视角至第二视角的光场旋转量和平移量；获得所述多幅光场图像中每一幅的视差图；以及通过优化所述光场旋转量和平移量，并优化所述视差图，计算三维点云。所述第一光场图像可包括多幅第一子孔径图像，所述第二光场图像可包括多幅第二子孔径图像。

Description

三维模型重建方法和系统

技术领域

本发明总体涉及用于拍摄和处理光场图像的系统，尤其涉及一种利用光场图像生成物体三维模型的方法和系统。

背景技术

光场(LF)相机也称全光相机，其可在四个维度上捕获场景内所有方向上的光。也就是说，与仅记录光强的传统相机相比，光场相机同时捕获光线的强度和方向，从而即使在图像数据捕获之后，也允许进行复杂的数据处理。举例而言，可以通过虚拟方式改变焦点或视角，或者从单次曝光中估算出景深图。

利用光场图像的丰富信息以及光场特征(如惯常采样模式、子像素视差等)，光场相机可用于生成物体的三维模型。对于高精度三维模型重建而言，运动断构(Structurefrom Motion，从运动中推断结构，一种求解光场姿态的方法)是一个必不可少的步骤。传统运动断构法一般不使用光场中内含的几何约束条件，因此往往无法获得良好的结果。

本发明提供一种采用新运动断构法的三维模型重建方法。该新运动断构法利用了光线几何形状在光场姿态变化下的转换方式，从而使得本发明三维模型重建方法更加稳健，更加精确，而且甚至能够应用于花朵等在拓扑结构上较为复杂的物体。此外，由本发明方法生成的三维模型可用于虚拟现实(VR)设备和增强现实(AR)设备，并且能够在任何视角供人观视。

发明内容

本发明的一个方面涉及一种生成物体三维模型的方法。该方法可利用光场相机在多个视角下拍摄多幅光场图像。该方法可包括：在第一视角下拍摄第一光场图像；在第二视角下拍摄第二光场图像；估算从所述第一视角至第二视角的光场旋转量和平移量；获得所述多幅光场图像当中每一幅的视差图；以及通过优化所述光场旋转量和平移量，并优化所述视差图，计算三维点云。所述第一光场图像可包括多幅第一子孔径图像，而所述第二光场图像可包括多幅第二子孔径图像。

本发明的另一方面涉及一种生成物体三维模型的系统。该系统可包括光场相机和数据处理单元。该相机可用于在多个视角下拍摄多幅光场图像。其中，可在第一视角下拍摄第一光场图像，并可在第二视角下拍摄第二光场图像。所述第一光场图像可包括多幅第一子孔径图像，而所述第二光场图像可包括多幅第二子孔径图像。所述数据处理单元可用于：估算从所述第一视角至第二视角的光场旋转量和平移量；获得所述多幅光场图像当中每一幅的视差图；以及通过优化所述光场旋转量和平移量，并优化所述视差图，计算三维点云。

应该理解的是，以上概括描述和以下详细描述均仅在于例示和说明，并不对所要求保护的本发明构成限制。

附图说明

作为本发明的一部分，所附各图示出了若干非限制性实施方式，并与说明书一道阐明本发明中的原理。

图1为根据本发明例示实施方式的三维模型重建系统示意图。

图2为根据本发明实施方式估算从第一视角至第二视角的光场姿态的方法的例示流程图。

图3为根据本发明实施方式通过优化光场姿态和优化视差图而计算三维点云的方法流程图。

图4为根据本发明实施方式利用光场相机生成物体三维模型的方法流程图。

具体实施方式

以下将对例示实施方式进行详细描述，各实施方式的实施例示于附图中。以下描述通过参考附图做出，其中，除非另有说明，否则不同附图中的相同数字表示相同或类似的元件。在以下对本发明例示实施方式的描述中，所给出的具体实施方式并非本发明的所有实施方式。相反，这些具体实施方式仅为本发明所涉及的各个方面当中的系统和方法的具体示例。

在本说明书中，需要理解的是，文中的“第一”和“第二”等词用于描述目的，并不旨在表示或暗示所描述技术特征的相对重要性或显著性，也不旨在暗示所描述技术特征的数量。因此，以“第一”和“第二”描述的技术特征的数量皆可以为一个或多个。在本发明的描述中，除非另有说明，否则“多个”表示至少两个，如两个、三个等。

根据本发明的实施方式，提供一种三维模型重建系统，该系统包括数据捕获单元和数据处理单元。该数据捕获单元用于拍摄光场图像并将其发送给所述数据处理单元。该数据处理单元用于实施相机校准、运动断构、立体匹配及深度融合。其中，相机校准用于校正光场图像的视角失真；运动断构用于估算光场姿态；立体匹配用于获得光场图像的视差图；深度融合用于优化光场姿态。视差图用于获得三维点云，该三维点云为三维坐标系统内的一组数据点，用于表示物体的外表面，即物体的三维模型。

1、系统概述

图1所示为根据本发明实施方式的例示三维模型重建系统100。系统100可包括若干部件，而其中的某些部件可以为可选部件。在一些实施方式中，系统100可包括图1所示之外的部件。然而，由于所公开的实施方式出于说明目的，因此并无必要将这些组件全部示出。

如图1所示，系统100可包括数据捕获单元200和数据处理单元300。数据捕获单元200可包括光场相机210。数据处理单元300可包括相机校准单元310、运动断构单元320、立体匹配单元330以及深度融合单元340。

2、数据捕获单元

2.1光场相机

在一些实施方式中，数据捕获单元200包括光场相机210，该光场相机包括置于传统图像传感器前的微透镜阵列，因此其可感测光强、颜色和方向信息。光场相机拍摄的图像可称为光场图像，此类光场图像包括光强、颜色和方向信息，并且可用于三维模型重建。

在一些实施方式中，可将Lytro Illum光场相机用作光场相机210。Lytro Illum光场相机可在一次曝光中拍摄一幅15×15的光场图像，即每幅光场图像包括15×15幅子孔径图像。光场相机210的各参数列于下表1。

表1

2.2数据捕获方法

光场相机210可用作虚拟扫描仪，用于在目标物体周围移动，并同时在多个视角当中的每一视角下以单次曝光拍摄光场图像。其中，任意两个相邻视角下相继拍摄的两幅光场图像之间的视场重叠率可不超过50％。而且，为了最终实现完整三维模型的重建，所述多个视角涵盖目标物体的所有视角。光场相机210获得的光场图像数据可例如通过USB 3.0发送给数据处理单元300。

3、数据处理单元

如图1所示，数据处理单元300包括相机校准单元310、运动断构单元320、立体匹配单元330以及深度融合单元340。

2.1相机校准

相机校准单元310用于对所拍摄的光场图像进行校准。在利用光场相机构建三维模型时，需要同时获得该光场相机的内部和外部参数。其中，内部参数是指将图像中各点的像素坐标与相机参考系中的相应坐标相关联的参数，而外部参数可以为限定相机参考系相对于已知世界参考系的位置和朝向的参数。在一些实施方式中，可利用Yunsu Bok(YunsuBok,et al,《基于线特征的微透镜光场相机的几何校准》(“Geometric Calibration ofMicro-Lens-Based Light Field Cameras Using Line Features,”)IEEE Trans.PatternAnal.Mach.Intell.,vol.39,no.2,pp.287–300,2017)对基于微透镜的光场相机的几何校准方法，校准光场图像内每一子孔径图像的内部和外部参数。校准后，每一视角下的光场图像均可获得15×15幅已校准子孔径图像。上述Lytro Illum光场相机拍摄的子孔径图像分辨率为552×383。在一些实施方式中，在每一视角下的15×15幅子孔径图像当中，均选择中央的7×7幅子孔径图像进行进一步的数据处理。

2.2运动断构

校准后的光场图像发送给运动断构单元320，以获得光场姿态，即各视角之间光场图像的旋转量和平移量。传统运动断构法因未利用光场图像内含的丰富几何约束条件而无法通过光场图像获得良好结果。本发明提出一种对光线几何形状在光场姿态变化下的转换方式加以利用的稳健而精确的光场运动断构法。

该光场姿态估算方法可以以光线空间进行描述。其中，为了简单起见，采用双平面参数化法(2PP)表示光场。在双平面参数化法中，每条光线均以其与Π_uv和Π_st这两个平行平面的交点进行参数化。假设Π_uv为z＝0处的相机平面，而Π_st为z＝1处的图像平面，则每条光线均可表示为其与Π_uv和Π_st的交点的分量。为了进一步简化推导过程，通过定义σ＝s-u及τ＝t-v，将光线方向参数化为[σ,τ,1]。如此，所有光线便可参数化为[σ,τ,u,v]四元组。

举例而言，光场相机在第一视角k下拍摄第一光场F，并在第二视角k+1下拍摄第二光场F′，而且F′已调整至世界坐标。对于F内的光线r＝[σ,τ,u,v]，如果F和F′之间的转换关系已知，则可利用R和T并按照r^*＝[σ^*,τ^*,u^*,v^*]，将r转换至F′：

其中，w和q为两个比例因子，R为3×3的旋转矩阵，T为3×1的平移向量。式(1)为光场下的光线转换式。该光场姿态估算方法的下一步为求解R和T。

一般而言，可通过如下方式实现光场姿态的估算：提取每幅光场图像内的特征点和特征线；对各幅子孔径图像进行特征匹配，以找出匹配特征；在两幅不同光场图像之间匹配此类匹配特征；根据此类匹配特征估算光场姿态。图2为根据本发明实施方式估算从第一视角至第二视角的光场姿态的方法的例示流程图。

如图2所示，在步骤201中，将多幅光场图像输入运动断构单元320。该多幅光场图像当中的每一幅均摄于不同视角，而且包括7×7幅子孔径图像。

在步骤202中，提取每幅光场图像中的特征点。在步骤203中，将每幅光场图像的特征点在相应子孔径图像之间进行匹配，以获得每幅光场图像的匹配特征点。在仅考虑特征点的情况下，在步骤206中，将一幅光场图像的匹配特征与另一幅光场图像的匹配特征相匹配，以获得这两幅光场图像之间的匹配特征。所获得的该两幅光场图像之间的匹配特征可用于在步骤207中估算相应两个光场之间的R和T。

以视角k下拍摄的一幅光场图像k为例，在步骤202中，从光场图像k中提取x个第一特征点。在步骤203中，将这些第一特征点在光场图像k的7×7幅子孔径图像之间进行匹配，以找出光场图像k的y个第一匹配特征点。也就是说，对于具有7×7幅子孔径图像的光场图像k，先将所述x个第一特征点在第一子孔径图像和第二子孔径图像之间进行匹配，然后再在第一子孔径图像和第三子孔径图像之间进行匹配，依此类推。通过在光场图像k的所述7×7幅子孔径图像之间重复进行该项处理，获得图像k的y个第一匹配特征点。类似地，对于视角k+1下拍摄的另一光场图像k+1，可提取x'个第二特征点，并可找出y'个第二匹配特征点。在仅考虑特征点的情形中，在步骤206中，将所述y个第一匹配特征点与所述y'个第二匹配特征点相匹配，以获得光场图像k和光场图像k+1之间的m个匹配特征点。然后，在步骤207中，可根据该m个匹配特征点，估算从视角k转换至视角k+1的过程中光场的旋转量R和平移量T。在下文中，以双平面参数化法，对其过程进行详细描述。

当考虑在同一光场F′内通过同一三维点的任意两条光线r₀＝[σ₀,τ₀,u₀,v₀]和r^*＝[σ^*,τ^*,u^*,v^*]时，那么此两光线应满足如下边长算式：

(σ₀-σ^*)(v₀-v^*)＝(τ₀-τ^*)(u₀-u^*) (2)

其中，σ^*，τ^*，u^*,v^*为R和T中的函数。因此，通过将式(1)和式(2)组合，可推出用于求解R和T的带特征点能量函数：

其中，[σ_i,τ_i,u_i,v_i]和[σ_j,τ_j,u_j,v_j]为通过F和F′中相同三维点的相应光线，

为从F转换至F′后的转换光线。为了获得最优的R和T，可使用基于梯度的优化方法对式(3)进行求解，并利用随机抽样一致性法(RANSAC)去除异常值。

除此之外，还可利用特征线估算不同光场之间的光线对应关系。通过以各光场之间的特征线匹配计算R和T，可以提高该光场姿态估算方法的稳健性。

在考虑特征线的情况下，在步骤204中，通过对每幅光场图像的相应子孔径图像实施线段检测(LSD)算法，提取光场图像特征线。从光场的惯常采样特性可知，任何两个相邻相机或子孔径之间始终具有相同的基线。该基线是指相邻相机或子孔径之间的像素距离，单位为毫米。利用这一特性，在步骤205中，将每幅光场图像的特征线在相应子孔径图像之间进行匹配，以获得每幅光场图像的匹配特征线。相应地，在步骤206中，将一幅光场图像的匹配特征点和特征线组合后与另一幅光场图像的匹配特征点和特征线相匹配，以获得这两幅光场图像之间的匹配特征。随后，所获得的该两幅光场图像之间的匹配特征可用于在步骤207中估算该两图像之间的R和T。

同样以视角k下拍摄的一幅光场图像k为例，在步骤202中，提取光场图像k的x个第一特征点。在步骤203中，将这些第一特征点在光场图像k的7×7幅子孔径图像之间进行匹配，以找出光场图像k的y个第一匹配特征点。

与此同时，在步骤204中，提取光场图像k的p条第一特征线。在步骤205中，将这些第一特征线在光场图像k的7×7幅子孔径图像之间进行匹配，以找出光场图像k的q条第一匹配特征线。也就是说，对于具有7×7幅子孔径图像的光场图像k，在仅考虑特征线时，先将所述p条第一特征线在第一子孔径图像和第二子孔径图像之间进行匹配，然后再在第一子孔径图像和第三子孔径图像之间进行匹配，依此类推。通过在光场图像k的所述7×7幅子孔径图像之间重复进行该项处理，获得图像k的q条第一匹配特征线。类似地，对于视角k+1下拍摄的另一光场图像k+1：可提取x'个第二特征点，并可找出光场图像k+1的y'个第二匹配特征点；并且还可提取p'条第二特征线，并可找出光场图像k+1的q'条第二匹配特征线。

在步骤206中，将上述匹配特征点和特征线相组合，并将光场图像k的y+q个第一匹配特征与光场图像k+1的y'+q'个第二匹配特征相匹配，以找出光场图像k和光场图像k+1之间的n个匹配特征。该n个匹配特征可同时包括特征点和特征线。

在一些实施方式中，步骤206中仅使用特征线，也就是说，将光场图像k的q条第一匹配特征线与光场图像k+1的q'条第二匹配特征线相匹配，以获得光场图像k和光场图像k+1之间的匹配特征线。

随后，在步骤207中，可根据所述n个匹配特征，估算出从视角k转换至视角k+1的过程中光场的旋转量R和平移量T。在下文中，以双平面参数化法，对其过程进行详细描述。

为了在双平面参数化法中表示上述光场运动断构法，可将三维线l表示为[σ₀,τ₀,u₀,v₀]。假设三维线l不与Π_st和Π_uv平行，则通过l的任何光线[σ,τ,u,v]应满足如下双线性约束条件：

二维空间内的每一组匹配线对应于三维空间内的一条线。如果与三维线相对应的二维线组内存在足够量的匹配二维线，则可利用上述双线性特性复原出三维线的参数化形式，如[σ₀,τ₀,u₀,v₀]。通过以线匹配算法对两个不同光场中的线进行匹配，可以找出匹配的三维线，即可以获得同一条线在两个不同光场中的相应参数化形式。

例如三维线在F和F′中的两个相应参数化形式分别为[σ₀,τ₀,u₀,v₀]和[σ₁,τ₁,u₁,v₁]。如式(1)所示，[σ₀,τ₀,u₀,v₀]可转换至F′中的

对于一对匹配线，可获得如下偏差函数：

对于所有匹配线，相应的线匹配算法能量函数为：

其中，[σ_i,τ_i,u_i,v_i]和[σ_j,τ_j,u_j,v_j]为同一三维线分别在光场F和F′中的参数化形式，

为从F转换至F′的转换光线。通过将E_P和E_L合并，可获得最终能量函数：

E_Final＝E_P+E_L

该最终能量函数将特征点和特征线融合在一起，通过以基于梯度的优化方法求解E_Final，可以估算出光场姿态(旋转量和平移量)。

本发明中提出的光场运动断构法具有如下优点：一、稳健性：优化步骤中使用了RANSAC，从而能有效去除异常匹配值；二、精确性：两光场之间的匹配特征数量足以使得式(3)始终能找出最优的R和T。此外，该方法还利用了光场中的光线特性，该特性极为有益，并可提高效率。

2.3立体匹配

所述已校准光场图像还进一步发送给立体匹配单元330，以获得每幅光场图像的视差图。由于光场的采样特性等特殊性质，可以通过单幅光场图像生成视差图。在本发明中，提出一种用于获取光场图像视差图的新立体匹配方法。其中，假设视差可表示为图像的三个颜色通道的线性组合，并通过求解立体匹配代价函数，生成视差图。代价函数为一种用于获得最优解的数学优化方法，其中，最优解是指代价最低的解。传统的常数假设仅对前向平行平面有效，而对于曲面或斜面，无法获得准确结果。本发明发明能够对曲面和斜面进行建模，并将深度边界考虑在内，因此能够生成更加精确的视差图。

视差可按照下式表示为图像的三个颜色通道的线性组合：

其中，(a_k,b_k)为假定在滑动窗口ω_k内保持恒定的特定线性系数。滑动窗口是指从图像上“滑过”的具有固定宽高的矩形区域。因此，通过式(4)可求得能够使视差图能量函数最小化的结果：

其中，c表示颜色通道，含a_k的第二项用于提高数值稳定性，而且在权重值∈较小时，对视差恒定性具有微小的促进作用。通过在式(5)中消除(a_k,b_k)而使得J(q,a,b)最小化后，可将q完全正则化为：

J(q)＝q^TLq (6)

其中，L为N×N矩阵，其第(i,j)个元素为：

其中，∑_k为3×3协方差矩阵，μ_k为窗口ω_k中颜色的3×1平均向量，I_k为3×3单位矩阵。

式(4)可整合至用于通过光场进行深度估算的全局计算式中。假设I_r为中心参考光场视角，I_o为二维位置(o-r)处的第二子孔径图像，则可通过使以下能量函数最小化而计算视差图：

其中，第一项对应于数据保真度，λ为平衡权重。由于光场各视角之间的基线通常非常小，因此可将I_o扩展为

其中，

为(o-r)方向上的梯度。如此，以上能量方程可缩减为

该方程仅涉及二次方，因此可有效求解。如此，即可获得视差图。

在一些实施方式中，通过多尺度法提高所述立体匹配方法的效率和稳健性。首先，通过低采样率下获得的粗略输入，恢复出低分辨率的相应视差图。然后，通过线性内插法提高采样率和分辨率，并以低分辨率下的视差为初始值，进一步估算视差，直至达到原始分辨率。

2.4深度融合

在此之后，将不同视角下拍摄的每幅光场图像的估算光场姿态及视差图输入深度融合单元340，以通过最终优化函数对所述光场姿态和视差图同时进行优化。在光场姿态和相应视差图优化后，可将这些数据一并进行处理，以生成在每一光场中均连贯一致的最优三维点云，从而实现所述物体的三维模型重建。

图3为根据本发明实施方式通过优化光场姿态和视差图而计算三维点云的方法流程图。其中，可根据视差图计算深度z，并通过下述最终优化函数对每对r和r^*进行处理：

如图3所示，对于每一对在视角k下拍摄的光场图像k和在视角k+1下拍摄的光场图像k+1，该深度融合步骤用于对其相应视差图k和k+1进行优化，并对视角k和视角k+1之间的旋转量和平移量进行优化。该深度融合步骤可通过基于梯度的优化方法获得优化，从而获得更优的光场姿态和视差图，并使得最终三维点云在每一光场中均保持连贯一致。该最终三维点云涵盖所述物体的所有视角，也即是针对该物体重建的三维模型。

图4以流程图的形式总结了根据本发明例示实施方式利用光场相机生成物体三维模型的方法。在步骤401中，光场相机在第一视角下拍摄物体的第一光场图像。在步骤402中，该光场相机在第二视角下拍摄所述物体的第二光场图像。在步骤403中，将所拍摄的光场图像发送给数据处理单元，估算从所述第一视角至第二视角的光场姿态。在步骤404中，可针对摄于所述第一视角的第一光场图像和摄于所述第二视角的第二光场图像，获得光场视差图。在步骤405中，通过深度融合步骤对所估算的光场姿态和所获得的视差图进行优化，以计算三维点云。通过在不同视角下重复步骤401～404，以涵盖所述物体的所有视角。如此，可计算完整的三维点云，从而完成以所述光场相机构建所述物体的三维模型。

上述各种模块、单元及部件可实施为：专用集成电路(ASIC)；电子电路；组合逻辑电路；现场可编程门阵列(FPGA)；可执行代码的处理器(共享、专用或成组)；或者能够提供上述功能的其他合适的硬件部件。所述处理器可以为Intel微处理器，或IBM大型计算机。

需要注意的是，上述功能当中的一者或多者可由存储于存储器内的软件或固件实施并由处理器执行，或者可存储于程序存储器中并由处理器执行。所述软件或固件还可置于任何计算机可读介质内，以实现存储和/或移动。该计算机可读介质由指令执行系统、装置或器件使用或与其结合使用，该指令执行系统、装置或器件例如为基于计算机的系统、含处理器系统或其他能够从该指令执行系统、装置或器件获取指令并执行这些指令的系统。在本文语境中，“计算机可读介质”可以为任何可包含或存储用于由所述指令执行系统、装置或器件使用或用于与其结合使用的介质。该计算机可读介质可包括，但不限于：电、磁、光、电磁、红外或半导体系统、装置或器件；便携式计算机盘片(磁性)；随机存取存储器(RAM)(磁性)；只读存储器(ROM)(磁性)；可擦除可编程只读存储器(EPROM)(磁性)；便携式光盘，如CD、CD-R、CD-RW、DVD、DVD-R或DVD-RW；或闪存，如紧凑型闪存卡、安全数字卡、USB存储装置、记忆棒等。

本文所描述和要求保护的发明在范围上并不限于以上公开的优选具体实施方式，这些实施方式旨在用于说明本发明的若干方面。事实上，对于本领域技术人员而言，根据上文描述，本文所述和附图所示之外的本发明各种修改方式也将变得容易理解。此类修改也旨在落入所附权利要求的范围之内。

Claims (14)

1.一种利用光场相机生成物体的三维模型的方法，所述光场相机用于在多个视角下拍摄多幅光场图像，其特征在于，所述方法包括：

在第一视角下拍摄第一光场图像，其中，所述第一光场图像包括多幅第一子孔径图像；

在第二视角下拍摄第二光场图像，其中，所述第二光场图像包括多幅第二子孔径图像；

估算光场从所述第一视角至所述第二视角的旋转量和平移量；

获得所述多幅光场图像中每一幅的视差图；以及

通过优化所述光场的所述旋转量和所述平移量，并优化所述视差图，计算三维点云，

其中，所述多个视角涵盖所述物体的所有视角。

2.如权利要求1所述的方法，其特征在于，还包括：

识别所述第一光场图像的多个第一特征以及所述第二光场图像的多个第二特征；

通过将所述第一特征在所述多幅第一子孔径图像之间进行匹配而获得第一匹配特征，以及通过将所述第二特征在所述多幅第二子孔径图像之间进行匹配而获得第二匹配特征；

在所述第一光场图像的所述第一匹配特征和所述第二光场图像的所述第二匹配特征之间进行匹配，以获得所述光场在所述第一视角和所述第二视角之间的匹配特征；以及

根据所述光场在所述第一视角和所述第二视角之间的所述匹配特征，估算所述光场的旋转量和平移量。

3.如权利要求2所述的方法，其特征在于，所述第一特征和所述第二特征包括特征线。

4.如权利要求2所述的方法，其特征在于，所述第一特征和所述第二特征包括特征点和特征线。

5.如权利要求1所述的方法，其特征在于，所述视差图通过将视差表示为三个颜色通道的线性组合而获得。

6.如权利要求1所述的方法，其特征在于，还包括对所述多幅光场图像中每一幅的多个子孔径图像进行校准。

7.如权利要求1所述的方法，其特征在于，所述第一视角和所述第二视角之间的视场重叠率不低于50％。

8.一种生成物体的三维模型的系统，其特征在于，包括：

光场相机，用于在多个视角下拍摄多幅光场图像；以及

数据处理单元，用于生成所述三维模型，

其中，在第一视角下拍摄包括多幅第一子孔径图像的第一光场图像，在第二视角下拍摄包括多幅第二子孔径图像的第二光场图像，所述数据处理单元用于：估算光场从所述第一视角至所述第二视角的旋转量和平移量；获得所述多幅光场图像中每一幅的视差图；以及通过优化所述光场的所述旋转量和所述平移量，并优化所述视差图，计算三维点云，

其中，所述多个视角涵盖所述物体的所有视角。

9.如权利要求8所述的系统，其特征在于，所述数据处理单元用于：

识别所述第一光场图像的多个第一特征以及所述第二光场图像的多个第二特征；

通过将所述第一特征在所述多幅第一子孔径图像之间进行匹配而获得第一匹配特征，以及通过将所述第二特征在所述多幅第二子孔径图像之间进行匹配而获得第二匹配特征；

在所述第一光场图像的所述第一匹配特征和所述第二光场图像的所述第二匹配特征之间进行匹配，以获得所述光场在所述第一视角和所述第二视角之间的匹配特征；以及

根据所述光场在所述第一视角和所述第二视角之间的所述匹配特征，估算所述光场的旋转量和平移量。

10.如权利要求9所述的系统，其特征在于，所述第一特征和所述第二特征包括特征线。

11.如权利要求9所述的系统，其特征在于，所述第一特征和所述第二特征包括特征点和特征线。

12.如权利要求8所述的系统，其特征在于，所述视差图通过将视差表示为三个颜色通道的线性组合而获得。

13.如权利要求8所述的系统，其特征在于，所述数据处理单元用于对所述多幅光场图像中每一幅的多个子孔径图像进行校准。

14.如权利要求8所述的系统，其特征在于，所述第一视角和所述第二视角之间的视场重叠率不低于50％。

Images