CN110298890A - 一种基于普朗克参数化的光场相机标定方法 - Google Patents

Abstract

本发明提供了一种基于普朗克参数化的光场相机标定方法，通过移动标定板或光场相机拍摄不同姿态下的标定板，获取光场数据，并确定多组标定板上角点与对应的光线集，确定光场相机记录的光线集与三维场景点的线性关系，通过线性初始化计算光场相机内参数与相应姿态下的外参数，构建视点相关的光场相机径向畸变模型，最后建立线线几何距离的代价函数，迭代求得待标定光场相机内参数、外参数及径向畸变参数的最优解。本发明解决了光场相机内参数冗余的问题，更加符合光场相机主透镜的成像原理，能够精确且鲁棒的标定光场相机内参数及外参数。

Description

一种基于普朗克参数化的光场相机标定方法

技术领域

本发明涉及计算机视觉、计算摄像学和光学工程领域，具体涉及一种光场相机的光线投影模型和标定方法。

背景技术

光场成像理论的兴起是计算机摄影学领域的一大重要革新，它突破了传统成像技术的种种局限。光场相机通过记录空间中光线的位置和角度信息，减少了拍摄信息的流失，取得了可变视点、数字重聚焦、景深扩展及可调等新颖的成像效果。然而，相机参数标定的精确性一定程度上制约着光场相机性能的发展。精确的标定结果对光场图像畸变的矫正和成像质量的提升意义重大，进而促进光场相机在深度估计、三维重建、光场重建、即时定位及地图构建(SLAM)等领域的广泛应用。

2013年，Dansereau等人阐述了由光场相机初始采样到光场数据的解码方法，提出了包含12个内参数的光场相机成像模型，并利用三维点到光线的距离设计代价函数，从而完成光场相机内参数的标定。然而，该方法依赖传统相机阵列内参标定方法估计光场相机初值，复杂度较高。另一方面，该方法的成像模型的参数冗余且在视点坐标与图像坐标存在依赖关系，导致光场数据在解码过程中的非均匀采样问题。2017年，Bok等人从光场相机的物理结构出发，提出了六参数的光场相机的投影模型，并利用线特征作为测量值估计光场相机内参数。但是，微透镜图像的低分辨率限制了线特征的精度，从而影响标定的精度。

发明内容

为了克服现有技术的不足，本发明提供一种基于普朗克参数化的光线对光场相机进行标定的方法，利用光场相机的光线采样，建立光场相机的投影模型、畸变模型以及代价函数进而求解相机内参和外参，能够提高内参标定精度。

本发明解决其技术问题所采用的技术方案包括以下步骤：

S1、建立由平行的视点平面和图像平面构成的光场相机双平行平面相对坐标参数化，构建投影中心随视点变化的光场相机多中心投影模型；利用普朗克坐标描述光线，构建光场相机的6×6光线内参矩阵K，将光场相机的光场坐标系下光线的普朗克坐标转换为相机坐标系下物理尺度归一化光线r的普朗克坐标

其中，是光场相机的内参数，(k_i,k_j)是视点平面上s-轴与t-轴方向的缩放，(k_u,k_v)是图像平面上x-轴y-轴方向的缩放；(u₀/k_u,v₀/k_v)表征子孔径图像的主点偏移，m和n表示普朗克参数化下光线的力矩，q和p表示普朗克参数化下光线的方向；根据普朗克坐标下线的变换关系构建光场相机光线投影矩阵P，

其中，为世界坐标系下光线的普朗克坐标，R是世界坐标系到光场相机的相机坐标系的旋转矩阵，t是世界坐标系到光场相机的相机坐标系的平移向量；

S2、通过移动标定板或待标定光场相机得到若干不同姿态的标定板；根据角点提取算法提取光场子孔径图像上角点图像坐标；子孔径图像的视点坐标及角点的图像坐标通过普朗克参数化方法得到标定板角点的光线的普朗克坐标，建立世界坐标系下角点与待标定光场相机的光场坐标系下光线的匹配关系；通过光场相机光线投影矩阵构建世界坐标系下角点与待标定光场相机的光场坐标系下光线的线性约束，

其中，r_i表示旋转矩阵R的第i列向量，为待标定的光场相机提取的角点光线特征，K为待标定的光场相机光线内参矩阵，是角点的世界坐标；根据线性约束求解光线简化投影矩阵P_s，进而根据旋转矩阵R的正交性和一致性及Cholesky分解计算光场相机光线内参矩阵K，根据线性求解的光线变换矩阵P_s和和光场相机光线内参矩阵K计算光场相机的外参数(R,t)；

S3、处理镜头的一阶和二阶径向畸变，

其中，为图像平面的畸变相对于视点平面的偏移量，是畸变点，是非畸变点，畸变系数包含了k^d＝(k₁,k₂,k₃,k₄,x_c,y_c)；

通过最小化过标定板角点的线与光场下的标定板角点光线间在相同坐标系下的几何距离对光场相机的内参数不同姿态下光场相机的外参数(R_p,t_p)及光场相机径向畸变参数k^d＝(k₁,k₂,k₃,k₄,x_c,y_c)进行非线性优化，构建代价函数通过最小化世界坐标系下标定板上过角点X_w的线与待标定的光场相机提取的角点光线经过光场相机光线投影矩阵及光场相机径向畸变模型变换而来的世界坐标系下的估计值之间的几何距离得到待标定光场相机内参数、外参数及径向畸变参数的最优解。

所述的非线性优化方法选用Levenberg-Marquardt算法。

本发明的有益效果是：通过移动标定板或光场相机拍摄不同姿态下的标定板，获取光场数据，并确定多组标定板上角点与对应的光线集，确定光场相机记录的光线集与三维场景点的线性关系，通过线性初始化计算光场相机内参数与相应姿态下的外参数，构建视点相关的光场相机径向畸变模型，最后建立线线几何距离的代价函数，迭代求得待标定光场相机内参数、外参数及径向畸变参数的最优解。光场相机本质上记录的是空间中的光线集合，相比之前的光场相机的成像模型及内参数标定方法，本发明分析了光场相机的光线采样过程，并在普朗克坐标系下，将该过程简化为具有6个参数的光场相机投影模型，通过实验证明该模型在提高内参数标定精确度的基础上，解决了光场相机内参数冗余的问题。同时，本发明考虑到视点变化对于畸变的影响，更加符合光场相机主透镜的成像原理。因此，本发明可精确且鲁棒的标定光场相机内参数及外参数。

附图说明

图1(a)是光场相机的相机坐标系及世界坐标系示意图，其中光场相机的相机坐标系示出了双平行平面及光线的双平行平面相对坐标参数化方式；图1(b)是在双平行平面相对坐标参数化坐标下由传统相机投影模型推导而来的光场相机随视点变化的多中心投影模型示意图；

图2(a)是可应用于本发明实施例的光场相机的光路示意图；图2(b)是可应用于图2(a)所示光路设计的光场相机的解码方式示意图；图2(c)是本发明实施例中应用于图2(b)解码方式所对应的光场相机光场坐标系定义示意图；

图3是光场相机的光场坐标系下双平行平面与光场相机的相机坐标系下双平行平面的变换示意图，其中图3(a)是光场相机的光场坐标系与相机坐标系的视点平面的变换及相关内参数定义示意图，其中图3(b)是光场相机的光场坐标系与相机坐标系的图像平面的变换及相关内参数定义示意图；

图4是本发明实施例所述的光场相机标定流程图。

具体实施方式

下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。

本发明提出了基于普朗克参数化的光线对光场相机进行标定的方法，该方法规避了传统外参数无法描述光线在不同坐标系变换的问题，同时克服了现有技术对于光场相机的光线采样过程建模不完备及内参数标定方法不精确的问题。

本发明提出了光场相机光线投影模型，旨在更加完备的描述光线采样，并基于此设计了一套光场相机标定方法，能够更加灵活、精确地标定光场相机内参数。

本发明提出的基于普朗克参数化的光场相机标定方法，计算光场相机的内参数和外参数。主要环节包括：基于普朗克参数化建立的光场相机投影模型、线性初始化中光场相机内参数以及外参数的线性求解、非线性优化中畸变模型和代价函数的建立以及最优解的求解方法。所述方法包含以下步骤：

S1、基于普朗克坐标系建立的光场相机投影矩阵。

建立由平行的视点平面(s-t平面)和图像平面(x-y平面)构成的光场相机双平行平面相对坐标参数化，根据普通相机投影模型构建投影中心随视点变化的光场相机多中心投影模型。继而利用普朗克坐标描述光线，构建光场相机的6×6光线内参矩阵K，将光场相机的光场坐标系下光线的普朗克坐标转换为相机坐标系下物理尺度归一化光线r的普朗克坐标

其中，是光场相机的内参数，(k_i,k_j)是视点平面上s-轴与t-轴方向的缩放，(k_u,k_v)是图像平面上x-轴y-轴方向的缩放。除此之外，(u₀/k_u,v₀/k_v)表征子孔径图像的主点偏移，m和n表示普朗克参数化下光线的力矩，q和p表示普朗克参数化下光线的方向。继而根据普朗克坐标下线的变换关系构建光场相机光线投影矩阵P，

其中，为世界坐标系下光线的普朗克坐标，R是世界坐标系到光场相机的相机坐标系的旋转矩阵，t是世界坐标系到光场相机的相机坐标系的平移向量。

S2、线性初始化

通过移动标定板或待标定光场相机得到若干不同姿态的标定板；根据角点提取算法提取光场子孔径图像上角点图像坐标，进而子孔径图像的视点坐标及角点的图像坐标通过普朗克参数化方法得到标定板角点的光线的普朗克坐标，建立世界坐标系下角点与待标定光场相机的光场坐标系下光线的匹配关系；通过光场相机光线投影矩阵构建世界坐标系下角点与待标定光场相机的光场坐标系下光线的线性约束，

其中，r_i表示旋转矩阵R的第i列向量，为待标定的光场相机提取的角点光线特征，K为待标定的光场相机光线内参矩阵，是角点的世界坐标。根据线性约束求解光线简化投影矩阵P_s，进而根据旋转矩阵R的正交性和一致性及Cholesky分解计算光场相机光线内参矩阵K，根据线性求解的光线变换矩阵P_s和和光场相机光线内参矩阵K计算光场相机的外参数(R,t)。

S3、对所有参数进行非线性优化，具体如下：

S3.1、处理镜头的一阶和二阶径向畸变，由于光场相机的独特构造，本发明在设计镜头的一阶和二阶径向畸变模型过程中引入了视点的变化，同时加入了双平行平面间的偏移对畸变的影响。

其中，为图像平面的畸变相对于视点平面的偏移量，是畸变点，是非畸变点，畸变系数包含了k^d＝(k₁,k₂,k₃,k₄,x_c,y_c)。

S3.2、S2中介绍了通过所述的世界坐标系下角点与待标定光场相机的光场坐标系下光线的线性约束线性计算光场相机内外参数的方法。为了进一步引入光场相机镜像畸变模型并得到光场相机的内外参数的精确解，通过最小化过标定板角点的线与光场下的标定板角点光线间在相同坐标系下的几何距离对光场相机的内参数不同姿态下光场相机的外参数(R_p,t_p)及光场相机径向畸变参数k^d＝(k₁,k₂,k₃,k₄,x_c,y_c)进行非线性优化，构建代价函数，

通过最小化世界坐标系下标定板上过角点X_w的线与待标定的光场相机提取的角点光线经过光场相机光线投影矩阵及光场相机径向畸变模型变换而来的世界坐标系下的估计值之间的几何距离得到待标定光场相机内参数、外参数及径向畸变参数的最优解。非线性优化方法有Levenberg-Marquardt算法、Gauss-Newton算法等。由于Levenberg-Marquardt算法是一种基于梯度域的最优化算法，结合了梯度法和牛顿法的优点，且收敛性强，能够通过优化得到有效的结果，优选方案推荐使用Levenberg-Marquardt算法，本发明包括但不限于这些非线性优化方法。

本发明实施例提出的光场相机内参数标定方法，包括以下步骤

S1、基于普朗克坐标系建立的光场相机投影模型

S1.1、建立光场相机光线的TPP相对坐标参数化

本发明采用TPP对光场相机采集到的光线进行参数化表示，具体方法如下：定义光场相机的101视点s-t平面与102图像x-y平面，如图1a所示，其中101视点平面在光场相机的相机坐标系Z＝0平面，102图像平面在Z＝f平面，通常将双平面间距归一化为1。则光场相机的光线用TPP可参数化为r＝(s,t,x,y)^T，可构建104相机坐标系下空间点(X,Y,Z)^T与102图像平面相对坐标(x,y)的映射关系，如图1b所示，

其中，λ＝Z为缩放因子。图2a示意性地示出了，应用于本实施例的光场相机的光路图。201表示光场相机的主透镜，202微透镜阵列放置在201光场相机主透镜的一倍焦距处，204光场相机传感器平面放置在203微透镜的一倍焦距处。图2b示意性地示出了可应用于图2a所示光路设计的光场相机的解码方式。另一方面，图2a所示的光路设计的光场相机所记录的光线即光场相机的光场坐标系下光线双平行平面参数化为l＝(i,j,u,v)^T，如图2c所示，该光线可通过一个齐次的解码矩阵转换为物理尺度下归一化的光线r，

其中，如图3所示，是光场相机的内参数，(k_i,k_j)是101视点平面上s-轴与t-轴方向的缩放，(k_u,k_v)是102图像平面上x-轴y-轴方向的缩放。除此之外，(u₀/k_u,v₀/k_v)表征子孔径图像的主点偏移。解码矩阵D表征了光场相机的光场坐标系下双平行平面参数化光线变换到光场相机的光场坐标系下双平行平面参数化光线。本发明可应用于包括但不仅限于该种光路设计的光场相机，仅需将光场相机所记录的数据通过特定方式解码为双平行平面参数化坐标即可。

S1.2、基于普朗克坐标的光场相机内参矩阵

为了更好的描述光场相机捕获光线的采样与变换，本发明采用普朗克参数化描述光线。给定任意光线r＝(s,t,x,y)^T，将光线由双平行平面参数化坐标转换为普朗克参数化坐标，

其中，q表示光线的方向，m表示光线上任意一点的力矩。本发明将光场相机的光场坐标系下光线l的普朗克参数化坐标转换为光场相机的相机坐标系下物理尺度归一化光线r的普朗克参数化坐标

其中，K为光场相机光线内参矩阵，K_ij表示普朗克参数化下光线力矩的内参矩阵，K_uv表示普朗克参数化下光线方向的内参矩阵，公式满足假设k_u/k_v＝k_i/k_j，

S1.3、基于普朗克坐标的光场相机光线投影矩阵

通常，给定世界坐标系下的一点X_w，如图1a所示，103世界坐标系与104相机坐标系间的变换关系根据旋转矩阵R∈SO(3)和平移向量可定义为X＝RX_w+t。光场相机的相机坐标系普朗克参数化的光线变换为世界坐标系普朗克参数化的光线可表示为，

其中，E＝[t]_×R是基本矩阵。利用公式4和公式5，可推导世界坐标系普朗克参数化的光线与光场相机的光场坐标系普朗克参数化的光线之间的投影变换关系，

其中，P为光场相机光线投影矩阵，由光场相机光线内参矩阵K与光场相机外参数R,t构成。

S2、线性初始化

S2.1、移动标定板或光场相机拍摄若干不同姿态的标定板光场数据。

S2.2、确定多组标定板上的角点和其对应的光线，并转换为普朗克参数化坐标。

S2.3、光场相机投影矩阵的线性约束，求解光场相机投影矩阵

给定世界坐标系下的任意空间点(X_w,Y_w,Z_w)^T，在普朗克参数化下，该空间点与其发出光线之间的线性约束为，

将公式6带入公式7中，世界点、光场相机光线投影矩阵P及光场相机记录光线(即光场相机光场坐标系普朗克参数化光线)之间可构建线性约束，

在不失一般性的情况下，假设标点板平面在世界坐标系Z_w＝0平面上，左上角点设为坐标系原点，在标定板平面上的角点和光场相机的光场坐标系下光线之间建立一个光场相机光线简化投影矩阵P_s，

其中，r_i表示旋转矩阵R的第i列向量，结合公式9及公式10计算光场相机投影矩阵P_s，

其中，是光线简化投影矩阵P_s按行拉直后的18×1列向量。为了求解光场相机的内参矩阵，如公式10所示，P_s的前三列表示为后三列表示为h_i表示行向量[h_i1 h_i2 h_i3]。

S2.4、求解光场相机内参矩阵

由旋转矩阵R的正交性和一致性，公式10可得，

其中

利用对称阵B表征可得，

用五维向量表示对称阵B的非零元素，则有Vb＝0，

其中，V是2n×5的矩阵，至少需要两个公式14这样的线性方程组即可计算包含缩放因子的向量b。这样可计算对称阵B，继而通过Cholesky分解，可得包含缩放因子的光线力矩内参矩阵根据旋转矩阵的正交性可求解内参矩阵的缩放因子，

根据公式15及内参矩阵光场相机的内参数可得，

其中，是光线力矩内参矩阵的m行n列元素。

S2.5、求解每个光场的外参数

根据已求解的光场相机的内参数，从公式10可计算表征光场相机姿态的旋转矩阵R，

根据公式10同理可得表征光场相机姿态的平移向量t，

S3、非线性优化

S3.1、处理径向畸变

由于光场相机的独特构造，本由于透镜的光学特性和微透镜的加工误差，光线不可避免会产生畸变。发明在设计镜头的一阶和二阶径向畸变模型过程中引入了视点的变化，同时加入了双平行平面间的偏移对畸变的影响，

其中，为图像平面的畸变相对于视点平面的偏移值，是畸变点，是非畸变点，畸变系数包含了k^d＝(k₁,k₂,k₃,k₄,x_c,y_c)。

S3.2、建立代价函数

S2中介绍了通过所述的世界坐标系下角点与待标定光场相机的光场坐标系下光线的线性约束线性计算光场相机内外参数的方法。为了进一步引入光场相机镜像畸变模型并得到光场相机的内外参数的精确解，通过最小化过标定板角点的线与光场下的标定板角点光线间的几何距离对光场相机的内参数不同姿态下光场相机的外参数(R_p,t_p)及光场相机镜像畸变参数k^d＝(k₁,k₂,k₃,k₄,x_c,y_c)进行非线性优化，构建代价函数。

其中，为标定板角点光线在光场相机的光场坐标系下的普朗克坐标，X_w是标定板角点在世界坐标系下的坐标。通过最小化世界坐标系下标定板上过角点X_w的线与待标定的光场相机提取的角点光线经过光场相机光线投影矩阵及光场相机径向畸变模型变换而来的世界坐标系下的估计值之间的几何距离得到待标定光场相机内参数、外参数及径向畸变参数的最优解。其中，d(·)定义为两根光线间的几何距离，

其中，和本发明包括但不仅限于线线间几何距离作为代价函数。在本实施例中，由于Levenberg-Marquardt算法是一种基于梯度域的最优化算法，结合了梯度法和牛顿法的优点，且收敛性强，能够通过优化得到有效的结果，推荐使用Levenberg-Marquardt算法，本发明包括但不限于这些非线性优化方法。

已经出于说明和描述的目的提供了对本发明的优选实施方式的前述描述。其并非旨在穷举或将本发明限制于所公开的精确形式。显然，许多修改和变化对于本领域技术人员来说是明显的。选择和描述实施方式是为了最好地解释本发明的原理及其实际应用，从而使得本领域其它技术人员能够理解本发明的各种实施方式并且具有适合于预期的特定用途的各种修改。

Claims (2)

1.一种基于普朗克参数化的光场相机标定方法，其特征在于包括以下步骤：

S1、建立由平行的视点平面和图像平面构成的光场相机双平行平面相对坐标参数化，构建投影中心随视点变化的光场相机多中心投影模型；利用普朗克坐标描述光线，构建光场相机的6×6光线内参矩阵K，将光场相机的光场坐标系下光线的普朗克坐标转换为相机坐标系下物理尺度归一化光线r的普朗克坐标

其中，是光场相机的内参数，(k_i,k_j)是视点平面上s-轴与t-轴方向的缩放，(k_u,k_v)是图像平面上x-轴y-轴方向的缩放；(u₀/k_u,v₀/k_v)表征子孔径图像的主点偏移，m和n表示普朗克参数化下光线的力矩，q和p表示普朗克参数化下光线的方向；根据普朗克坐标下线的变换关系构建光场相机光线投影矩阵P，

其中，为世界坐标系下光线的普朗克坐标，R是世界坐标系到光场相机的相机坐标系的旋转矩阵，t是世界坐标系到光场相机的相机坐标系的平移向量；

S2、通过移动标定板或待标定光场相机得到若干不同姿态的标定板；根据角点提取算法提取光场子孔径图像上角点图像坐标；子孔径图像的视点坐标及角点的图像坐标通过普朗克参数化方法得到标定板角点的光线的普朗克坐标，建立世界坐标系下角点与待标定光场相机的光场坐标系下光线的匹配关系；通过光场相机光线投影矩阵构建世界坐标系下角点与待标定光场相机的光场坐标系下光线的线性约束，

其中，r_i表示旋转矩阵R的第i列向量，为待标定的光场相机提取的角点光线特征，K为待标定的光场相机光线内参矩阵，(X_w,Y_w,0,1)^丅是角点的世界坐标；根据线性约束求解光线简化投影矩阵P_s，进而根据旋转矩阵R的正交性和一致性及Cholesky分解计算光场相机光线内参矩阵K，根据线性求解的光线变换矩阵P_s和和光场相机光线内参矩阵K计算光场相机的外参数(R,t)；

S3、处理镜头的一阶和二阶径向畸变，

其中，(x_c,y_c)^丅为图像平面的畸变相对于视点平面的偏移量，(x,y)^丅是畸变点，是非畸变点，畸变系数包含了k^d＝(k₁,k₂,k₃,k₄,x_c,y_c)；

通过最小化过标定板角点的线与光场下的标定板角点光线间在相同坐标系下的几何距离对光场相机的内参数不同姿态下光场相机的外参数(R_p,t_p)及光场相机径向畸变参数k^d＝(k₁,k₂,k₃,k₄,x_c,y_c)进行非线性优化，构建代价函数通过最小化世界坐标系下标定板上过角点X_w的线与待标定的光场相机提取的角点光线经过光场相机光线投影矩阵及光场相机径向畸变模型变换而来的世界坐标系下的估计值之间的几何距离得到待标定光场相机内参数、外参数及径向畸变参数的最优解。

2.根据权利要求1所述的基于普朗克参数化的光场相机标定方法，其特征在于：所述的非线性优化方法选用Levenberg-Marquardt算法。