CN111739068B - 一种光场相机相对位姿估计方法 - Google Patents

Abstract

本发明公开了一种光场相机相对位姿估计方法，包括：获得同一场景在第一光场下的第一原始图像和在第二光场下的第二原始图像；获取第一原始图像任一角度的子孔径图像的第一特征点坐标数据和第二原始图像同一角度的子孔径图像的第二特征点坐标数据；根据第一特征点数据和第一光场深度参数获得第一原始图像的第一光场点数据，根据第二特征点数据和第二光场深度参数获得第二原始图像的第二光场点数据；建立第一光场点数据和第二光场点数据中对应光场点的线性约束公式；根据线性约束公式获取光场相机相对位姿。该方法根据光场相机的特性建立光场间的约束模型，以估计光场相机的相对位姿，具有更高的鲁棒性和准确性。

Description

一种光场相机相对位姿估计方法

技术领域

本发明属于计算机视觉技术领域，具体涉及一种光场相机相对位姿估计方法。

背景技术

运动恢复结构(Structure from Motion，SfM)是现阶段三维重建的一种常见方法，其通过相机的运动来确定目标的空间结构和几何关系。基于普通相机的传统SfM方法逐渐趋于完善，目前已经能够实现从大量无序的图像集中精确地恢复相机位姿并为真实场景建模，同时能对有序的图像集进行实时操作。然而，在普通相机中，单目相机的尺度不确定性，双目相机的配置与标定较为复杂、视差计算复杂度极高，RGB-D相机的测量范围窄、噪声大、易受日光影响，使用场景受限等问题都影响了场景三维重建的性能。

随着光场相机的问世以及近年来光场技术的快速发展，光场相机开始被应用在SfM技术中，即基于光场的运动恢复结构(Light Field-Structure from Motion，LF-SfM)技术。作为在计算机视觉和计算成像领域实现光场技术的主要设备，光场相机可以仅仅通过拍摄一帧图像记录整个四维光场，既包含普通相机拍摄的二维图像的空间信息，又包含光线的方向信息，可以仅使用单帧图像完成深度计算，推动了包括重聚焦，深度估计，合成孔径成像以及视觉同时定位和构图(Visual Simultaneous Localization and Mapping,VSLAM)在内的多项技术的发展。

请参见图1，图1是现有LF-SfM方法的流程图，作为LF-SfM技术中的关键方法，光场相机相对位姿估计的准确性对重建结果有着至关重要的影响。请参见图2，图2是一种现有光场相机相对位姿估计方法的流程图，如图所示，在进行光场相机相对位姿估计时，首先在两幅图像中分别提取特征点，经过特征匹配方法，建立起特征点之间的对应约束模型，然后通过模型求解计算相对位姿。目前求解光场相机相对位姿的常用方法包括基于广义对极约束(Generalized Epipolar Constraint，GEC)的方法、三维点云(Three-DimensionalPoint Cloud，3DPC)方法、n点透视法(Perspective-n-Point，PnP)和基于光线-空间投影模型的光场相机相对位姿估计方法等，然而现有的这些方法在提取特征点时不可避免地会引入较大误差，造成鲁棒性和精确度不高。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种光场相机相对位姿估计方法。本发明要解决的技术问题通过以下技术方案实现：

本发明提供了一种光场相机相对位姿估计方法，所述方法包括：

S1：获得同一场景在第一光场下的第一原始图像和在第二光场下的第二原始图像；

S2：获取所述第一原始图像任一角度的子孔径图像的第一特征点坐标数据和所述第二原始图像同一角度的子孔径图像的第二特征点坐标数据；

S3：根据所述第一特征点数据和第一光场深度参数获得所述第一原始图像的第一光场点数据，根据所述第二特征点数据和第二光场深度参数获得所述第二原始图像的第二光场点数据；

S4：建立所述第一光场点数据和所述第二光场点数据中对应光场点的线性约束公式；

S5：根据所述线性约束公式获取光场相机相对位姿。

在本发明的一个实施例中，所述S2包括：

S21：在所述第一原始图像的任一角度的子孔径图像中提取第一特征点分布，其中，第一特征点为：[xⁱ,yⁱ]^T,i＝1,2,...,n，n表示特征点数目；

S22：在所述第二原始图像的同一角度的子孔径图像中提取第二特征点分布，其中，第二特征点为：[x^'i,y^'i]^T,i＝1,2,...,n，n表示特征点数目。

在本发明的一个实施例中，所述S3包括：

S31：利用深度估计方法，获得所述第一特征点坐标数据中各特征点对应的第一光场深度参数；

S32：根据所述第一特征点坐标数据和所述第一光场深度参数获取所述第一原始图像的第一光场点数据：

[xⁱ,yⁱ,λⁱ]^T，

其中，λⁱ为所述第一特征点坐标数据中第i个特征点对应的场景点的深度参数；

S33：利用深度估计方法，获得所述第二特征点坐标数据中各特征点对应的第二光场深度参数；

S34：根据所述第二特征点坐标数据和所述第二光场深度参数获取所述第二原始图像的第二光场点数据：

[x^'i,y^'i,λ^'i]^T，

其中，λ^'i为所述第二特征点分布中第i个特征点对应的场景点的深度参数。

在本发明的一个实施例中，所述深度参数包括深度和视差。

在本发明的一个实施例中，所述S4包括：

S41：获取所述第一光场点数据和所述第二光场点数据中对应光场点的匹配对；

S42：建立每个匹配对的齐次坐标间的线性约束公式：

其中，T_m表示光场相机相对位姿变换矩阵，W表示由相机内部参数组成的已知矩阵，l表示所述匹配对的数目。

在本发明的一个实施例中，所述S5包括：

S51：根据所述线性约束公式求解光场相机相对位姿的初始解；

S52：根据所述初始解，利用非线性优化方法获得光场相机相对位姿的最优解。

在本发明的一个实施例中，所述S51包括：

S511：分离所述线性约束公式中所有未知变量和已知系数，简化为一般线性方程组的基本形式，其中，所述未知变量包括与旋转有关的变量和与平移有关的变量；

S512：根据所述线性方程求解所述与旋转有关的变量并投影到三维特殊正交群中，得到旋转矩阵；

S513：根据所述旋转矩阵求解所述与平移相关的变量，获得所述未知变量；

S514：根据所述未知变量获得光场相机相对位姿变换矩阵T_m的初始解T_{m_est}。

在本发明的一个实施例中，所述S52包括：

S521：将所述相对位姿的初始解T_{m_est}代入所述线性约束公式，获得所述第二光场点数据中第i个光场点坐标的估计值：

其中，表示所述第二光场点数据中第i个光场点坐标的估计值；

S522：获取非线性优化的目标代价函数：

其中，表示所述第一光场点数据中所有光场点和其估计值之间的距离之和；

S523：根据所述估计值进行多次迭代，以获得所述光场相机相对位姿的最优解，其中，迭代公式为：

其中，exp()表示指数映射，ln()表示对数映射，ξ_j表示第j次迭代时的优化变量，表示第j次迭代时的相对位姿变换矩阵。

与现有技术相比，本发明的有益效果在于：

1、本发明的光场相机相对位姿估计方法在特征点提取时仅需要在任一子孔径图像中进行特征点提取，和现有技术需要在全部子孔径图像上独立提取特征点相比，本发明节省了图像处理时间；

2、本发明的方法利用深度参数建立了所有视角子孔径图像的内在联系，和现有技术独立处理所有子孔径图像相比，本发明真正地考虑了光场相机的本质特性；

3、本发明的方法直接在原始图像上获取“光场点”，并利用线性模型建立“光场点”匹配对齐次坐标间的约束，而现有技术普遍将图像上的像点转化成相机外部的光线，建立光线匹配对间的约束模型，本发明有效地避免了将像点转化成光线这一过程引入的误差；

4、本发明的方法将流形上的非线性优化方法用于优化光场相机的相对位姿，具有更高的鲁棒性和准确性，且收敛速度快。

以下将结合附图及实施例对本发明做进一步详细说明。

附图说明

图1是一种现有LF-SfM方法的流程图；

图2是一种现有光场相机相对位姿估计方法的流程图。

图3是本发明实施例提供的一种光场相机相对位姿估计方法的流程图；

图4是本发明实施例提供的一种双目光场相机的结构示意图；

图5是本发明实施例提供的一种光场相机相对位姿估计方法的示例性原理图。

具体实施方式

为了进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及具体实施方式，对依据本发明提出的一种光场相机相对位姿估计方法进行详细说明。

有关本发明的前述及其他技术内容、特点及功效，在以下配合附图的具体实施方式详细说明中即可清楚地呈现。通过具体实施方式的说明，可对本发明为达成预定目的所采取的技术手段及功效进行更加深入且具体地了解，然而所附附图仅是提供参考与说明之用，并非用来对本发明的技术方案加以限制。

应当说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。

请参见图3，图3是本发明实施例提供的一种光场相机相对位姿估计方法的流程图。光场相机是指在一次曝光中同时记录光线的空间信息和角度信息的设备。光场相机的相对位姿是指光场相机间的相对位置和姿态。

本实施例的光场相机相对位姿估计方法包括：

S1：获得同一场景在第一光场下的第一原始图像和在第二光场下的第二原始图像；

具体地，请参见图4，图4是本发明实施例提供的一种双目光场相机的结构示意图。本实施例可以利用如图4所示的双目光场相机获得同一场景的第一原始图像和第二原始图像。在其他实施例中，也可以通过一台运动中的光场相机在不同时刻进行拍照，从而获得同一场景不同时刻的第一原始图像和第二原始图像。

S2：获取所述第一原始图像任一角度的子孔径图像的第一特征点坐标数据和所述第二原始图像同一角度的子孔径图像的第二特征点坐标数据；

请参见图5，图5是本发明实施例提供的一种光场相机相对位姿估计方法的示例性原理图。

具体地，所述S2包括：

S21：在所述第一原始图像的任一角度的子孔径图像中提取第一特征点分布，其中，第一特征点为：[xⁱ,yⁱ]^T,i＝1,2,...,n，n表示特征点数目；

在第一原始图像的任一角度的子孔径图像中提取第一特征点坐标数据。在此处，子孔径图像表示光场的原始图像按某个角度提取出的子图像。实际中，光场原始图像的子孔径图像通常可以被认为是一幅分辨率极低的普通图像。通过传统图像特征提取方法，可以在任意视角的子孔径图像中识别出大量图像特征点。此处以中心视角子孔径图像为例，记其特征点坐标为n表示特征点数目，x表示横坐标，y表示纵坐标。实际上，本实施例可以在来自第一光场任一角度的子孔径图像中提取特征点坐标，该特征点坐标记为：[xⁱ,yⁱ]^T,i＝1,2,...,n，n表示特征点数目，这里，第一光场是指第一光场相机产生的光场或者同一光场相机在第一时刻产生的光场。

S22：在所述第二原始图像的同一角度的子孔径图像中提取第二特征点分布，其中，第二特征点为：[x^'i,y^'i]^T,i＝1,2,...,n，n表示特征点数目；

在第二原始图像的同一角度的子孔径图像中提取第二特征点坐标数据。此处以第二原始图像的中心视角子孔径图像为例，记其特征点坐标为n表示特征点数目。实际上，本实施例可以在来自第二光场任一角度的子孔径图像种提取特征点坐标，记为：[x^'i,y^'i]^T,i＝1,2,...,n，n表示特征点数目。这里，第二光场是指第二光场相机产生的光场或者同一光场相机在第二时刻产生的光场。需要说明的是，本实施例的第一原始图像中的子孔径图像和第二原始图像中的子孔径图像选取相同的角度。

S3：根据所述第一特征点数据和第一光场深度参数获得所述第一原始图像的第一光场点数据，根据所述第二特征点数据和第二光场深度参数获得所述第二原始图像的第二光场点数据；

具体地，S31：利用深度估计方法，获得所述第一特征点坐标数据中各特征点对应的第一光场深度参数；

S32：根据所述第一特征点坐标数据和所述第一光场深度参数获取所述第一原始图像的第一光场点数据：

[xⁱ,yⁱ,λⁱ]^T，

其中，λⁱ为所述第一特征点坐标数据中第i个特征点对应的场景点的深度参数；

所述深度参数包含但不仅限于深度和视差，在本实施例中，所述深度参数以视差为例。由特征点坐标[xⁱ,yⁱ]^T和每个特征点对应的深度参数λⁱ可以计算出当前视角子孔径图像上的光场点数据。所以“光场点”可以认为是所有视角子孔径图像上的特征点的一种完备表示，但实际操作中，仅需要在任一视角子孔径图像上提取特征点即可。在本实施例中，记[xⁱ,yⁱ,λⁱ]^T为第一光场点数据。光场点是指场景点在光场中的投影，即同一场景点投影在不同子孔径图像上的所有像素点的一种完备表示。

S33：利用深度估计方法，获得所述第二特征点坐标数据中各特征点对应的第二光场深度参数；

S34：根据所述第二特征点坐标数据和所述第二光场深度参数获取所述第二原始图像的第二光场点数据：

[x^'i,y^'i,λ^'i]^T，

其中，λ^'i为所述第二特征点分布中第i个特征点对应的场景点的深度参数。

类似地，由特征点坐标[x^'i,y^'i]^T和每个特征点对应的深度参数λ'i可以计算出当前原始图像的光场点数据。在本实施例中，记[x^'i,y^'i,λ^'i]^T为第二光场点数据。

本发明实施例的光场相机相对位姿估计方法在特征点提取时仅需要在任一子孔径图像中进行特征点提取，和现有技术需要在全部子孔径图像上独立提取特征点相比，本发明节省了图像处理时间；并且本发明实施例的方法利用深度参数建立了所有视角子孔径图像的内在联系，和现有技术独立处理所有子孔径图像相比，本发明真正地考虑了光场相机的本质特性；

S4：建立所述第一光场点数据和所述第二光场点数据中对应光场点的线性约束公式；

具体地，所述S4包括：

S41：获取所述第一光场点数据和所述第二光场点数据中对应光场点的匹配对；

寻找同一场景点在两个光场相机内部的光场点的匹配关系。场景点是指三维拍摄场景中的某一点。也就是说，将同一场景点在两个光场相机内部的光场点一一配对。

S42：建立每个匹配对的齐次坐标间的线性约束公式：

其中，T_m表示光场相机相对位姿变换矩阵，R表示相对位姿中的旋转矩阵，T表示相对位姿中的平移向量，W表示由相机内部参数组成的已知矩阵，l表示所述匹配对的数目。

S5：根据所述线性约束公式获取光场相机相对位姿。

累积所有匹配的线性约束公式，建立线性约束方程，联合求解光场相机的相对位姿。

所述S5包括：

S51：根据所述线性约束公式求解光场相机相对位姿的初始解；

具体地，S511：分离所述线性约束公式中所有未知变量和已知系数，简化为一般线性方程组的基本形式：

AX＝b，

其中，A和b是已知系数矩阵，X是光场相机相对位姿的未知变量组成的列向量，由与旋转有关的变量和与平移相关的变量组成。

S512：根据所述线性方程求解所述与旋转有关的变量并投影到三维特殊正交群中，得到旋转矩阵；

实际中，在求解X时，需先求解与旋转有关的变量，再将以获得的与旋转有关的变量投影到SO(3)(三维特殊正交群)后，得到准确的旋转矩阵。其中，特殊正交群是由行列式为1的全体正交变换组成一个子群。

S513：根据所述旋转矩阵求解所述与平移相关的变量，获得所述未知变量X；

将得到的旋转矩阵代入公式AX＝b中，求解与平移有关的变量，从而获得所述未知变量X的值。

S514：根据所述未知变量X获得光场相机相对位姿变换矩阵T_m的初始解T_{m_est}。

需要说明的是，参数X是一个列向量，而T_m是一个4x4的矩阵，共有12个未知变量，把T_m的12个未知变量排成一列就是X，而将计算得出的X重新排成4x4的矩阵，即可获得光场相机相对位姿变换矩阵T_m的初始解T_{m_est}。

S52：根据所述初始解，利用非线性优化方法获得光场相机相对位姿的最优解。

具体地，所述S52包括：

S521：将所述相对位姿的初始解T_{m_est}代入所述线性约束公式，获得所述第二光场点数据中第i个光场点坐标的估计值：

其中，表示所述第二光场点数据中第i个光场点坐标的估计值；也就是说，/>表示与第一光场点数据中的第i个光场点对应的在第二光场点数据中第i个光场点坐标的估计值。本步骤的目的是通过第一光场点数据中的第i个光场点坐标和光场相机相对位姿变换矩阵T_m的初始解T_{m_est}获得第二光场点数据中对应光场点坐标的估计值。

S522：获取非线性优化的目标代价函数：

其中，表示所述第一光场点数据中所有光场点和其估计值之间的距离之和；

本实施例的非线性优化方法包括但不限于列文伯格-马夸尔特方法、最速下降法、牛顿法和高斯牛顿法。运用于流形上，以最小化所述目标代价函数为目的，迭代得到令人满意的最优解。流形上的非线性优化方法精度高，收敛快。

S523：根据所述估计值进行多次迭代，以获得所述光场相机相对位姿的最优解，其中，迭代公式为：

其中，exp()表示指数映射，ln()表示对数映射，ξ_j表示第j次迭代时的优化变量，表示第j次迭代时的相对位姿变换矩阵。

需要说明的是，本实施例设非线性优化变量为ξ，是相对位姿在SE(3)(三维特殊欧式群)流形的切空间se(3)上的表示。

通过多次迭代，当所述目标代价函数获得最小值时，提取当前的相对位姿变换矩阵T_m ^j即为相对位姿的最优解。

本方法致力于根据光场相机的特性建立光场间的约束模型，从而准确地估计光场相机的相对位姿。本发明实施例的方法直接在原始图像上获取“光场点”，并利用线性模型建立“光场点”匹配对齐次坐标间的约束，而现有技术普遍将图像上的像点转化成相机外部的光线，建立光线匹配对间的约束模型，本发明有效地避免了将像点转化成光线这一过程引入的误差；此外，本发明实施例的方法将流形上的非线性优化方法用于优化光场相机的相对位姿，具有更高的鲁棒性和准确性，且收敛速度快。

以下通过matlab模拟实验测试了本实施例的光场相机相对位姿估计方法的准确定。实验分别测试了光场相机相对位姿的相对误差与噪声水平、匹配特征点数目和实际相对位姿的大小之间的关系，并与现有技3DPC方法(三维点云法)和PnP方法(n点透视法)进行对比，其中，PnP_I和PnP_R分别表示PnP方法的光场相机相对位姿的初始解和最优解，Proposed_I和Proposed_R分别表示本发明方法的光场相机相对位姿的初始解和最优解。实验表明，本发明方法始终可以取得更鲁棒且准确的估计结果，和现有技术方法相比，有很大的提升。

表1本发明方法与现有技术方法的相对误差与噪声水平的关系

表2本发明方法与现有技术方法的相对误差与匹配特征点数目的关系

表3本发明方法与现有技术方法的相对误差与实际相对位姿的大小的关系

可以看出，通过对比光场相机位姿的相对误差与噪声水平、匹配特征点数目和实际相对位姿的大小之间的关系，并与现有技术对比，可以验证本发明实施例方法能获得更鲁棒且准确的结果。

综上，本发明实施例的光场相机相对位姿估计方法根据光场相机的特性建立光场间的约束模型，用线性约束模型对“光场点”齐次坐标间的关系进行描述，并将流形上的非线性优化方法用于优化光场相机的相对位姿，以估计光场相机的相对位姿，具有更高的鲁棒性和准确性，且收敛速度快。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (4)

1.一种光场相机相对位姿估计方法，其特征在于，所述方法包括：

S1：获得同一场景在第一光场下的第一原始图像和在第二光场下的第二原始图像；

S2：获取所述第一原始图像任一角度的子孔径图像的第一特征点坐标数据和所述第二原始图像同一角度的子孔径图像的第二特征点坐标数据；

S3：根据所述第一特征点数据和第一光场深度参数获得所述第一原始图像的第一光场点数据，根据所述第二特征点数据和第二光场深度参数获得所述第二原始图像的第二光场点数据；

S4：建立所述第一光场点数据和所述第二光场点数据中对应光场点的线性约束公式；

S5：根据所述线性约束公式获取光场相机相对位姿，

所述S2包括：

S21：在所述第一原始图像的任一角度的子孔径图像中提取第一特征点分布，其中，第一特征点为：[xⁱ,yⁱ]^T,i＝1,2,...,n，n表示特征点数目；

S22：在所述第二原始图像的同一角度的子孔径图像中提取第二特征点分布，其中，第二特征点为：[x'ⁱ,y'ⁱ]^T,i＝1,2,...,n，n表示特征点数目；

所述S3包括：

S31：利用深度估计方法，获得所述第一特征点坐标数据中各特征点对应的第一光场深度参数；

S32：根据所述第一特征点坐标数据和所述第一光场深度参数获取所述第一原始图像的第一光场点数据：

[xⁱ,yⁱ,λⁱ]^T，

其中，λⁱ为所述第一特征点坐标数据中第i个特征点对应的场景点的深度参数；

S33：利用深度估计方法，获得所述第二特征点坐标数据中各特征点对应的第二光场深度参数；

S34：根据所述第二特征点坐标数据和所述第二光场深度参数获取所述第二原始图像的第二光场点数据：

[x'ⁱ,y'ⁱ,λ'ⁱ]^T，

其中，λ'ⁱ为所述第二特征点分布中第i个特征点对应的场景点的深度参数，

所述S4包括：

S41：获取所述第一光场点数据和所述第二光场点数据中对应光场点的匹配对；

S42：建立每个匹配对的齐次坐标间的线性约束公式：

其中，T_m表示光场相机相对位姿变换矩阵，W表示由相机内部参数组成的已知矩阵，l表示所述匹配对的数目，

所述S5包括：

S51：根据所述线性约束公式求解光场相机相对位姿的初始解；

S52：根据所述初始解，利用非线性优化方法获得光场相机相对位姿的最优解。

2.根据权利要求1所述的光场相机相对位姿估计方法，其特征在于，所述深度参数包括深度和视差。

3.根据权利要求2所述的光场相机相对位姿估计方法，其特征在于，所述S51包括：

S511：分离所述线性约束公式中所有未知变量和已知系数，简化为一般线性方程组的基本形式，其中，所述未知变量包括与旋转有关的变量和与平移有关的变量；

S512：根据所述线性方程求解所述与旋转有关的变量并投影到三维特殊正交群中，得到旋转矩阵；

S513：根据所述旋转矩阵求解所述与平移相关的变量，获得所述未知变量；

S514：根据所述未知变量获得光场相机相对位姿变换矩阵T_m的初始解T_{m_est}。

4.根据权利要求3所述的光场相机相对位姿估计方法，其特征在于，所述S52包括：

S521：将所述相对位姿的初始解T_{m_est}代入所述线性约束公式，获得所述第二光场点数据中第i个光场点坐标的估计值：

其中，表示所述第二光场点数据中第i个光场点坐标的估计值；

S522：获取非线性优化的目标代价函数：

其中，表示所述第一光场点数据中所有光场点和其估计值之间的距离之和；

S523：根据所述估计值进行多次迭代，以获得所述光场相机相对位姿的最优解，其中，迭代公式为：

其中，exp()表示指数映射，ln()表示对数映射，ξ_j表示第j次迭代时的优化变量，表示第j次迭代时的相对位姿变换矩阵。