CN107492127B - 光场相机参数标定方法、装置、存储介质和计算机设备 - Google Patents

Abstract

本发明涉及一种光场相机参数标定方法、装置、存储介质和计算机设备。获取第一组原始图像，第一原始图像为通过光场相机拍摄预设纯色背景所获得的原始图像。获取第二组原始图像，第二原始图像为通过光场相机拍摄预设标定板分别获得的原始图像。根据第一组原始图像确定光场相机中微透镜的投影中心。从预设标定板上获取角点，从第二组原始图像中获取角点对应的像点，基于角点的像点与角点的虚拟像点、微透镜投影中心之间的射影变换关系，通过预设成像模型进行光场相机标定，得到光场相机的参数初始值，角点的虚拟像点为角点通过主透镜成像得到的像点。对参数初始值进行非线性优化，得到优化后的相机参数。

Description

光场相机参数标定方法、装置、存储介质和计算机设备

技术领域

本发明涉及光学工程技术领域，特别是涉及一种光场相机参数标定方法、装置、存储介质和计算机设备。

背景技术

近些年，光场相机以其独特的光场采集方式和惊艳的应用效果而备受科研工作者和消费市场的关注。光场相机主要包括三个部分：主镜、微透镜阵列和感光芯片。

微透镜阵列是光场相机的核心部件，一般情况下，微透镜阵列上排布着上万个或者更多微透镜，微透镜的尺寸一般情况下为几十微米。在微透镜阵列的制作过程中，现有的工艺水平难以保证所有微透镜的光轴保持完全平行，同时微透镜与微透镜之间的间距也很难保证完全相等，所以微透镜阵列上的微透镜是存在不一致性的。另外，在光场相机的安装过程中，微透镜阵列与感光芯片之间也不可避免的存在匹配问题，即存在倾斜误差和旋转误差。在光场相机的使用过程中，微透镜的制作误差以及微透镜阵列与图像传感器的匹配误差会严重影响到光场相机各种应用的效果，幸运的是在使用光场相机前，可以相机进行标定，从而在一定程度上降低各种误差带来的影响。

传统的光场相机参数标定方法并不能够很好的描述三维物点的投影过程，因此，标定出的相机参数误差较大。

发明内容

基于此，有必要针对上述技术问题，提供一种光场相机参数标定方法、装置、存储介质和计算机设备。

一种光场相机参数标定方法，所述方法包括：

获取第一组原始图像，所述第一原始图像为通过光场相机拍摄预设纯色背景所获得的原始图像；

获取第二组原始图像，所述第二原始图像为通过光场相机拍摄预设标定板分别获得的原始图像；

根据所述第一组原始图像确定所述光场相机中微透镜的投影中心；

从所述预设标定板上获取角点，从所述第二组原始图像中获取所述角点对应的像点，基于所述角点的像点与所述角点的虚拟像点、微透镜投影中心之间的射影变换关系，通过预设成像模型进行光场相机标定，得到所述光场相机的参数初始值，所述角点的虚拟像点为角点通过主透镜成像得到的像点；

对所述参数初始值进行非线性优化，得到优化后的相机参数。

在其中一个实施例中，所述预设成像模型的建立过程，包括：

建立世界坐标系、主透镜坐标系及微透镜坐标系；

计算出主透镜坐标系到微透镜坐标系的坐标变换矩阵，计算出世界坐标系到主透镜坐标系的坐标转换矩阵；

计算出主透镜的折射变换矩阵、微透镜的投影矩阵；

根据世界坐标系到主透镜坐标系的坐标转换矩阵、主透镜的折射变换矩阵、主透镜坐标系到微透镜坐标系的变换矩阵和微透镜的投影矩阵得到预设成像模型。

在其中一个实施例中，所述射影变换关系对应的射影变换矩阵为：

其中，xv，yv，zv表示虚拟像点X_V的坐标，a表示微透镜阵列平面到图像传感器平面的距离，D表示主透镜平面到微透镜阵列平面的距离。

在其中一个实施例中，所述预设成像模型为：

其中，X表示世界坐标系下的点，x_i表示世界坐标系下的点X在微透镜阵列的第i个微透镜下的像点，s为尺度因子，K_i表示第i个微透镜的投影矩阵，T_LV表示主透镜坐标系到微透镜坐标系之间的坐标变换矩阵，A表示主透镜的折射变换矩阵，R、t为外参数。

在其中一个实施例中，所述对所述参数初始值进行非线性优化，得到相机参数，包括：

对所述参数初始值进行非线性优化；

将非线性优化后的参数初始值，根据成像模型计算预设标定板上的角点对应的像点，将所述计算得到的像点与所述角点在原始图像中成像之后的像点进行比较，计算出重投影误差；

迭代上述步骤，直到达到预设迭代次数，获取最小的重投影误差所对应的相机参数作为本次标定的相机参数。

一种光场相机参数标定装置，所述装置包括：

第一组原始图像获取模块，用于获取第一组原始图像，所述第一原始图像为通过光场相机拍摄预设纯色背景所获得的原始图像；

第二组原始图像获取模块，用于获取第二组原始图像，所述第二原始图像为通过光场相机采取至少三个不同姿势拍摄预设标定板分别获得的原始图像；

微透镜投影中心确定模块，用于根据所述第一组原始图像确定微透镜的投影中心；

参数初始值计算模块，用于从所述预设标定板上获取角点，从所述第二组原始图像中获取所述角点对应的像点，基于所述角点的像点与所述角点的虚拟像点、微透镜投影中心之间的射影变换关系，通过预设成像模型进行光场相机标定，得到所述光场相机的参数初始值，所述角点的虚拟像点为角点通过主透镜成像得到的像点；

相机参数优化模块，用于对所述参数初始值进行非线性优化，得到优化后的相机参数。

在其中一个实施例中，所述装置还包括：预设成像模型建立模块，所述预设成像模型建立模块包括:

坐标系建立模块，用于建立世界坐标系、主透镜坐标系及微透镜坐标系；

坐标转换矩阵计算模块，用于计算出主透镜坐标系到微透镜坐标系的坐标变换矩阵，计算出世界坐标系到主透镜坐标系的坐标转换矩阵；

折射变换矩阵及投影矩阵计算模块，用于计算出主透镜的折射变换矩阵、微透镜的投影矩阵；

预设成像模型计算模块，用于根据世界坐标系到主透镜坐标系的坐标转换矩阵、主透镜的折射变换矩阵、主透镜坐标系到微透镜坐标系的变换矩阵和微透镜的投影矩阵得到预设成像模型。

在其中一个实施例中，所述相机参数优化包括：

非线性优化模块，用于对所述参数初始值进行非线性优化；

重投影误差计算模块，用于将非线性优化后的参数初始值，根据成像模型计算预设标定板上的角点对应的像点，将所述计算得到的像点与所述角点在原始图像中成像之后的像点进行比较，计算出重投影误差；

迭代模块，用于迭代上述步骤，直到达到预设迭代次数，获取最小的重投影误差所对应的相机参数作为本次标定的相机参数。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以下步骤：

获取第一组原始图像，所述第一原始图像为通过光场相机拍摄预设纯色背景所获得的原始图像；

获取第二组原始图像，所述第二原始图像为通过光场相机拍摄预设标定板分别获得的原始图像；

根据所述第一组原始图像确定所述光场相机中微透镜的投影中心；

从所述预设标定板上获取角点，从所述第二组原始图像中获取所述角点对应的像点，基于所述角点的像点与所述角点的虚拟像点、微透镜投影中心之间的射影变换关系，通过预设成像模型进行光场相机标定，得到所述光场相机的参数初始值，所述角点的虚拟像点为角点通过主透镜成像得到的像点；

对所述参数初始值进行非线性优化，得到优化后的相机参数。

一种计算机设备，所述计算机设备包括存储器，处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取第一组原始图像，所述第一原始图像为通过光场相机拍摄预设纯色背景所获得的原始图像；

获取第二组原始图像，所述第二原始图像为通过光场相机拍摄预设标定板分别获得的原始图像；

根据所述第一组原始图像确定所述光场相机中微透镜的投影中心；

从所述预设标定板上获取角点，从所述第二组原始图像中获取所述角点对应的像点，基于所述角点的像点与所述角点的虚拟像点、微透镜投影中心之间的射影变换关系，通过预设成像模型进行光场相机标定，得到所述光场相机的参数初始值，所述角点的虚拟像点为角点通过主透镜成像得到的像点；

对所述参数初始值进行非线性优化，得到优化后的相机参数。

上述光场相机参数标定方法、装置、存储介质和计算机设备，首先通过光场相机拍摄预设纯色背景得到第一原始图像，再拍摄预设标定板得到第二原始数据。根据拍摄纯色背景得到的第一原始图像确定光场相机中微透镜的投影中心。第二原始图像是拍摄预设标定板获得的，从第二原始图像中获取标定板上的角点对应的像点。基于角点的像点与角点的虚拟像点、微透镜投影中心之间的射影变换关系，将主透镜、微透镜接力成像的过程拆开，得到角点的虚拟像点。再将一对一对的角点、像点及虚拟像点通过预设成像模型进行光场相机标定，得到光场相机的参数初始值。由于根据了这个射影变换关系，所以能够将主透镜，微透镜的接力成像过程拆开，直接得到虚拟像点。有了虚拟像点之后就可以根据成像模型进行相机标定及优化，这样就能够很好的还原三维物点的投影过程。因此计算出的相机参数也更加精确。

附图说明

图1为一个实施例中光场相机在实像配置和虚像配置下的应用环境图；

图2为一个实施例中计算机设备的内部结构图；

图3为一个实施例中光场相机参数标定方法的流程图；

图4为一个实施例中预设成像模型建立方法的流程图；

图5为一个实施例中建立的坐标系的示意图；

图6为一个实施例中对第一原始图像和第二原始图像进行投影分析的示意图；

图7为一个实施例中对参数初始值进行非线性优化方法的流程图；

图8为一个实施例中光场相机参数标定装置的结构示意图；

图9为另一个实施例中光场相机参数标定装置的结构示意图；

图10为图9中预设成像模型建立模块的结构示意图；

图11为图8中相机参数优化模块的结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

本发明实施例提供的光场相机参数标定方法可应用于如图1所示的光场相机2.0的理想化模型中，其中图1中上图为实像模式设计，下图为虚像模式设计。图中最右侧为主透镜，中间为微透镜阵列，最左侧为图像传感器。主透镜对外界点成像到X_V，微透镜对X_V成像到x(二次成像)。微透镜阵列可以对同一虚像点X_V进行多次成像是光场相机2.0的重要特征。

在一个实施例中，如图2所示，提供了一种计算机设备，该计算机设备包括通过系统总线连接的处理器、非易失性存储介质、内存储器、网络接口，非易失性存储介质中存储有操作系统和一种光场相机参数标定装置，该光场相机参数标定装置用于执行一种光场相机参数标定方法。该处理器用于提高计算和控制能力，支撑整个计算机设备的运行。内存储器用于为非易失性存储介质中的光场相机参数标定装置的运行提供环境，该内存储器中可储存有计算机可读指令，该计算机可读指令被处理器执行时，可使得该处理器执行一种光场相机参数标定方法。网络接口用于与终端进行网络通信，接收或发送数据。

在一个实施例中，如图3所示，提供了一种光场相机参数标定方法，以该方法应用于图1中的计算机设备为例进行说明，包括：

步骤302，获取第一组原始图像，第一原始图像为通过光场相机拍摄预设纯色背景所获得的原始图像。

本发明实施例所示的光场相机参数标定方法，需要涉及用待标定光场相机拍摄两种图像。第一种图像是使用光场相机拍摄均匀亮度的背景所得的图像(白墙或其他纯色背景)。例如，若选择对白墙进行拍摄，则经过拍摄过程得到一张白图像。第二种数据是使用光场相机采取若干个不同姿态拍摄棋盘格标定板。

步骤304，获取第二组原始图像，第二原始图像为通过光场相机采取至少三个不同姿势拍摄预设标定板分别获得的原始图像。

第二种图像就是使用光场相机采用不同姿势拍摄预设标定板所获得的原始图像。具体的，至少采取三组不同姿势进行拍摄，优选的，采取七组不同姿势进行拍摄。因为可以采用不同的姿势进行拍摄，就解决了传统光场相机参数标定方法必须采取特定的姿势进行拍摄的不便之处。预设标定板可以是棋盘格的标定板。标定板广泛应用在机器视觉、图像测量、摄影测量、三维重建等领域中。通过相机拍摄带有固定间距图案阵列平板、经过标定算法的计算，可以得出相机的几何模型，从而得到高精度的测量和重建结果。而带有固定间距图案阵列的平板就是标定板。

步骤306，根据第一组原始图像确定微透镜的投影中心。

对白图像进行处理，生成微透镜编号，并得到相应微透镜投影中心与相应对应区域。在成像模型中使用的微透镜中心参数是指微透镜延z轴的垂直投影坐标。而白图像处理过程中只能得到微透镜的投影坐标中心。

步骤308，从预设标定板上获取角点，从第二组原始图像中获取角点对应的像点，基于角点的像点与角点的虚拟像点、微透镜投影中心之间的射影变换关系，通过预设成像模型进行光场相机标定，得到光场相机的参数初始值，角点的虚拟像点为角点通过主透镜成像得到的像点。

从第二原始图像读取所有角点坐标，建立第二原始图像上角点坐标与标定板上的角点的对应关系。如图1中所示，X是标定板上的角点，x₁，x₂,x₃是图像上角点，X与x₁，x₂，x₃存在一一对应关系。在计算相机参数时，需要通过一一对应的关系建立方程。但是成像模型中的一一对应关系是世界三维点X与虚拟像点X_V之间的对应关系。但从第二原始图像中只能检测出图像上的角点x₁，x₂，x₃的坐标与标定板上世界三维点X之间的对应关系。，

从第二原始图像读取所有角点坐标，建立第二原始图像上角点坐标与标定板上的角点的对应关系。如图1中所示，X是标定板上的角点，x₁，x₂,x₃是角点X在第二原始图像上对应的像点，角点X与像点x₁，x₂，x₃存在一一对应关系。但是成像模型中的一一对应关系是世界三维点X与虚拟像点X_V之间的对应关系。可以视虚拟像点X_V诱导了从微透镜中心到相应像点的射影变换。因此可由该射影变换矩阵替代虚拟像点X_V，与世界三维点X形成一一对应关系。相应射影变换矩阵如下所示：

Hcs表示了由白图像检测得到的微透镜投影中心到相应微透镜的角点坐标的射影变换矩阵。射影变换矩阵中，x_v，y_v，z_v三个量是虚拟像点X_V的坐标。可由直接线性变换(DLT，Direct Linear Transformation)方法求得矩阵Hcs的参数。

虚拟像点Xv到Hcs矩阵参数的转换矩阵推导如下式：

s·h＝VX_V

V即为从虚拟像点到Hcs矩阵参数的转换矩阵，由相机参数组成。因此可以建立完整的一一对应表达式：

上述表达式中，h为所描述的转换矩阵参数，由微透镜投影中心us，vs与图像上的对应角点x联立方程由直接线性变换(DLT，Direct Linear Transform)算法求得。V矩阵与P矩阵是由相机参数表示的参数矩阵，其中P＝T_LVA。R,t是外参数矩阵。

由于采用了不同的姿态拍摄了若干张标定板图像，每一张图像外参数是不同的。因此需要利用外参数中的旋转矩阵的正交性消除矩阵影响。

上式中，将旋转矩阵以两两正交的单位向量r1,r2,r3表示，Q矩阵表示V、P矩阵的乘积。由于X世界点坐标即是标定板的角点，而标定板所有角点都处于统一平面。不失统一性的，将世界点X的z分量设为常数0。因此可去除上述公式的r₃列向量，得到下式：

相应的，可由X’处坐标联立h’参数，建立方程并由DLT算法求解得到矩阵G：

每个外参对应了一个不同的G矩阵，并且外参的旋转矩阵两个分向量r₁,r₂组成了g₁,g₂。表达式如下：

r₁₃＝g₁₄ r₂₃＝g₂₄

r₁₁·r₂₁+r₂₁·r₂₂+r₁₃·r₂₃＝0

依据旋转分量的正交性，可建立方程AX＝B：

AX＝B

X＝[cx cy -(a²+cx²+cy²)]^T

从而求得相关光场相机参数。

步骤310，对参数初始值进行非线性优化，得到优化后的相机参数。

对参数初始值进行非线性优化。具体的，本发明实施例中采用了LM方法，LM方法全称Levenberg—Marquardt方法，是一种典型且常用的，用于数值优化的方法。将非线性优化后的参数初始值，根据成像模型计算预设标定板上的角点对应的像点，将计算得到的像点与角点在原始图像中成像之后的像点进行比较，计算出重投影误差，迭代上述步骤，直到达到预设迭代次数，获取最小的重投影误差所对应的相机参数作为本次标定的相机参数。

本实施例中，首先通过光场相机拍摄预设纯色背景得到第一原始图像，再拍摄预设标定板得到第二原始数据。根据拍摄纯色背景得到的第一原始图像确定光场相机中微透镜的投影中心。第二原始图像是拍摄预设标定板获得的，从第二原始图像中获取标定板上的角点对应的像点。基于角点的像点与角点的虚拟像点、微透镜投影中心之间的射影变换关系，将主透镜、微透镜接力成像的过程拆开，得到角点的虚拟像点。再将一对一对的角点、像点及虚拟像点通过预设成像模型进行光场相机标定，得到光场相机的参数初始值。由于根据了这个射影变换关系，所以能够将主透镜，微透镜的接力成像过程拆开，直接得到虚拟像点。有了虚拟像点之后就可以根据成像模型进行相机标定及优化，这样就能够很好的还原三维物点的投影过程。因此计算出的相机参数也更加精确。在一个实施例中，如图4所示，预设成像模型的建立过程，包括：

步骤402，建立世界坐标系、主透镜坐标系及微透镜坐标系。

如图5所示，建立了三个坐标系，分别是世界坐标系C_W、主透镜坐标系C_L及微透镜坐标系C_I。具体的，C_W是世界坐标系，场景中三维点在世界坐标系下，用来方便描述世界坐标到相机坐标的变换。C_L是主透镜坐标系，用来方便描述主透镜的投影过程与微透镜的投影过程。C_I是图像传感器上坐标系，其坐标与最终拍摄获得的原始图像坐标一致。

正如图5中描述，C_I坐标系的xy平面与微透镜平面平行，x轴指向右，y轴指向下，z轴指向图像传感器，CI坐标系原点与图像传感器的左上角在z方向上垂直。C_L坐标系与C_I坐标系平行，原点在主透镜的光轴中心上。

步骤404，计算出主透镜坐标系到微透镜坐标系的坐标变换矩阵，计算出世界坐标系到主透镜坐标系的坐标转换矩阵。

用p指代像素尺寸(pixel/mm)，D指代主透镜平面到微透镜阵列平面的距离，a指代微透镜平面到传感器平面的距离，cx,cy指代光轴在图像传感器上的坐标。因此，从C_L到C_I的坐标变换公式为：

X_V＝T_LVX_LV

其中T_LV是坐标变换矩阵，X_LV是在C_L坐标系下齐次描述的虚拟像点，X_V是在C_I坐标系下的齐次描述的同一虚拟像点。

而从世界坐标系C_W到主透镜坐标系C_L的转换矩阵为：

其中R为自由度为3的旋转变换矩阵，t矩阵为3维平移向量。X与X_L分别是在世界坐标系C_W和主透镜坐标系C_L下齐次描述的点。

步骤406，计算出主透镜的折射变换矩阵，计算出微透镜的投影矩阵。

将主透镜视为理想薄透镜模型，则理想薄透镜模型的聚焦公式为：

依据聚焦公式与坐标点的齐次描述，主透镜的折射变换矩阵为：

s·X_LV＝AX_L

因为是齐次描述，所以带有尺度因子s。

将微透镜投影过程视为小孔成像模型，因此符合传统相机的内参投影矩阵：

上述内参矩阵K中，a表示小孔光心到成像平面距离，u、v分别表示小孔在成像平面坐标系下的偏移量。由于光场相机的微透镜阵列组件上有多个微透镜，按每个微透镜投影中心在图像上的坐标为uc_i，vc_i(i是编号)，得到微透镜投影矩阵：

s·x_i＝K_iX_V

x_i是像点X_V经过第i个微透镜投影得到的成像平面上的点。Ki即是第i个微透镜的投影矩阵。同样的s是任一尺度因子。因此，由理想薄透镜模型的成像公式可以推导出来主透镜的折射矩阵。由小孔成像模型可以推导出来微透镜的投影矩阵。步骤408，根据世界坐标系到主透镜坐标系的坐标转换矩阵、主透镜的折射变换矩阵、主透镜坐标系到微透镜坐标系的变换矩阵和微透镜的投影矩阵得到成像模型。

根据世界坐标系到主透镜坐标系的坐标转换矩阵、主透镜的折射变换矩阵、主透镜坐标系到微透镜坐标系的变换矩阵和微透镜的投影矩阵进行计算，最后得到光场相机的成像模型是：

即通过上述成像公式可以实现由一三维世界点X在第i个微透镜下成像到x_i。成像模型所包含的参数的含义是：a表示微透镜阵列到传感器的距离，D表示主透镜到微透镜阵列的距离，cx，cy表示主透镜光轴在图像传感器上的坐标，f表示主透镜的焦距，p表示像素尺寸，uc_i，vc_i表示第i个微透镜在图像传感器上的垂直投影坐标。R、t为外参数。

在本实施例中，建立预设成像模型，首先需要建立坐标系。光场相机包含主透镜、微透镜阵列及图像传感器，其中微透镜阵列中包含多个微透镜。所以分别建立世界坐标系、主透镜坐标系及微透镜坐标系，再根据三个坐标系计算坐标变换矩阵，便于在三个坐标系之间进行坐标转换。再计算出主透镜的折射变换矩阵，计算出微透镜的投影矩阵，用于计算相机成像模型，实现将一个三维世界的物点在微透镜下成像过程进行还原。有了这个很好的还原三维物点投影过程的成像模型之后，再加之角点的像点与角点的虚拟像点、微透镜投影中心之间的射影变换关系，计算出虚拟物点，就可以精确地计算出相机参数，实现对光场相机的标定。

在一个实施例中，射影变换关系对应的射影变换矩阵为：

其中，xv，yv，zv表示虚拟像点X_V的坐标，a表示微透镜阵列平面到图像传感器平面的距离，D表示主透镜平面到微透镜阵列平面的距离。

在成像模型中使用的微透镜中心参数是指微透镜延z轴的垂直投影坐标。而白图像处理过程中只能得到微透镜的投影坐标中心，如图6中右图所示。uc1、uc2、uc3指的是微透镜的垂直投影中心，也可直接称为微透镜中心。us1、us2、us3指的是微透镜投影中心，即由主透镜中心与微透镜中心的连线延长到图像传感器平面的交点。

在计算相机参数时，需要通过一一对应的关系建立方程。成像模型中的一一对应关系是世界三维点X与虚拟像点X_V的对应。但从标定板图像即第二原始图像中只能检测出图像上的角点x₁，x₂，x₃的坐标，如图6中左图所示。

可以视虚拟像点X_V诱导了从微透镜中心到相应图像点的射影变换。因此可由该射影变换矩阵替代虚拟像点X_V，与世界三维点X形成一一对应关系。相应射影变换矩阵如下所示：

s·x＝Hc·uc s·uc＝Hs·us

s·x＝Hcs·us

Hcs表示了由白图像检测得到的微透镜投影坐标到相应微透镜的角点坐标的射影变换矩阵。射影变换矩阵中，xv,yv,zv三个量是虚拟像点X_V的坐标。

在本实施例中，经过大量实验发现角点的像点与角点的虚拟像点、微透镜投影中心之间存在特定的射影变换关系。因此使用光场相机拍摄纯色背景获得的第一原始图像来确定微透镜的投影中心，再使用光场相机采取不同姿势拍摄标定板获得的第二原始图像来建立这个射影变换矩阵。建立了这个射影变换矩阵之后就实现了将主透镜，微透镜的接力成像过程拆开，直接得到虚拟像点。有了虚拟像点之后就可以根据成像模型进行相机标定及优化，这样就能够很好的还原三维物点的投影过程。因此计算出的相机参数也更加精确。

在一个实施例中，成像模型为：

其中，X表示世界坐标系下的点，x_i表示世界坐标系下的点X在微透镜阵列的第i个微透镜下的像点，s为尺度因子，K_i表示第i个微透镜的投影矩阵，T_LV表示主透镜坐标系到微透镜坐标系之间的坐标变换矩阵，A表示主透镜的折射变换矩阵，R、t为外参数。

在本实施例中，光场相机的成像模型实现了将一个世界坐标系中的三维坐标在微透镜阵列中投影到图像传感器上。例如，在第i个微透镜下成像到x_i。从而实现了图像传感器上的像点与实际世界坐标系中的物点坐标的一一对应，很好的还原三维物点的投影过程。

在一个实施例中，如图7所示，对参数初始值进行非线性优化，得到相机参数，包括：

步骤702，对参数初始值进行非线性优化。

对上述进行相机标定得到的相机参数初始值进行优化，可以选择进行非线性优化。具体的，可以采用了LM方法，LM方法全称Levenberg—Marquardt方法，是一种典型且常用的，用于数值优化的方法。步骤704，将非线性优化后的参数初始值，根据成像模型计算预设标定板上的角点对应的像点，将计算得到的像点与角点在原始图像中成像之后的像点进行比较，计算出重投影误差。

将非线性优化后的相机参数初始值带入成像模型中，然后通过这个成像模型计算标定板上的角点所对应的像点。然后将计算出的像点与该角点对应到第二原始图像中的像点进行比较，计算两者之间的差距，即为重投影误差。

步骤706，迭代上述步骤，直到达到预设迭代次数，获取最小的重投影误差所对应的相机参数作为本次标定的相机参数。

重复进行上述步骤，计算重投影误差，直到非线性优化达到了预设迭代次数，从这么多重投影误差中获取最小的重投影误差，获取这个最小的重投影误差所对应的相机参数作为本次标定最后得到相机参数。

在本实施例中，对相机标定得出的相机参数初始值进行非线性优化，例如使用LM方法能够使得相机参数初始值逐渐收敛。并且将优化后的相机参数带入成像模型中计算标定板上角点对应的像点，将计算出的像点与第二原始图像上的像点进行比较，计算出重投影误差。不停迭代上述步骤，直到达到预设迭代次数，从而获得到最小的重投影误差所对应的相机参数作为本次标定最后得到相机参数。将计算出的像点与实际拍照获得的像点进行比较，从而得出的结果更加准确。

在一个实施例中，如图8所示，提供了一种光场相机参数标定装置800，该装置包括第一组原始图像获取模块802、第二组原始图像获取模块804、微透镜投影中心确定模块806、参数初始值计算模块808及相机参数优化模块810。其中，

第一组原始图像获取模块802，用于获取第一组原始图像，第一原始图像为通过光场相机拍摄预设纯色背景所获得的原始图像。

第二组原始图像获取模块804，用于获取第二组原始图像，第二原始图像为通过光场相机采取至少三个不同姿势拍摄预设标定板分别获得的原始图像。

微透镜投影中心确定模块806，用于根据第一组原始图像确定微透镜的投影中心。

参数初始值计算模块808，用于从预设标定板上获取角点，从第二组原始图像中获取角点对应的像点，基于角点的像点与角点的虚拟像点、微透镜投影中心之间的射影变换关系，通过预设成像模型进行光场相机标定，得到光场相机的参数初始值，角点的虚拟像点为角点通过主透镜成像得到的像点。

相机参数优化模块810，用于对参数初始值进行非线性优化，得到优化后的相机参数。

在一个实施例中，如图9所示，还提供了一种光场相机参数标定装置800还包括：预设成像模型建立模块812。如图10所示，预设成像模型建立模块812包括:坐标系建立模块812a、坐标转换矩阵计算模块812b、折射变换矩阵及投影矩阵计算模块812c及预设成像模型计算模块812d。其中，

坐标系建立模块812a，用于建立世界坐标系、主透镜坐标系及微透镜坐标系。

坐标转换矩阵计算模块812b，用于计算出主透镜坐标系到微透镜坐标系的坐标变换矩阵，计算出世界坐标系到主透镜坐标系的坐标转换矩阵。

折射变换矩阵及投影矩阵计算模块812c，用于计算出主透镜的折射变换矩阵、微透镜的投影矩阵。

预设成像模型计算模块812d，用于根据世界坐标系到主透镜坐标系的坐标转换矩阵、主透镜的折射变换矩阵、主透镜坐标系到微透镜坐标系的变换矩阵和微透镜的投影矩阵得到预设成像模型。

在一个实施例中，如图11所示，相机参数优化模块810包括：非线性优化模块810a、重投影误差计算模块810b及迭代模块810c。

非线性优化模块810a，用于对参数初始值进行非线性优化。

重投影误差计算模块810b，用于将非线性优化后的参数初始值，根据成像模型计算预设标定板上的角点对应的像点，将计算得到的像点与角点在原始图像中成像之后的像点进行比较，计算出重投影误差。

迭代模块810c，用于迭代上述步骤，直到达到预设迭代次数，获取最小的重投影误差所对应的相机参数作为本次标定的相机参数。

在一个实施例中，还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以下步骤：

获取第一组原始图像，第一原始图像为通过光场相机拍摄预设纯色背景所获得的原始图像；获取第二组原始图像，第二原始图像为通过光场相机拍摄预设标定板分别获得的原始图像；根据第一组原始图像确定光场相机中微透镜的投影中心；从预设标定板上获取角点，从第二组原始图像中获取角点对应的像点，基于角点的像点与角点的虚拟像点、微透镜投影中心之间的射影变换关系，通过预设成像模型进行光场相机标定，得到光场相机的参数初始值，角点的虚拟像点为角点通过主透镜成像得到的像点；对参数初始值进行非线性优化，得到优化后的相机参数。

在一个实施例中，上述程序被处理器执行时还实现以下步骤：建立世界坐标系、主透镜坐标系及微透镜坐标系；计算出主透镜坐标系到微透镜坐标系的坐标变换矩阵，计算出世界坐标系到主透镜坐标系的坐标转换矩阵；计算出主透镜的折射变换矩阵、微透镜的投影矩阵；根据世界坐标系到主透镜坐标系的坐标转换矩阵、主透镜的折射变换矩阵、主透镜坐标系到微透镜坐标系的变换矩阵和微透镜的投影矩阵得到预设成像模型。

在一个实施例中，上述程序被处理器执行时还实现以下步骤：射影变换关系对应的射影变换矩阵为：

其中，xv，yv，zv表示虚拟像点X_V的坐标，a表示微透镜阵列平面到图像传感器平面的距离，D表示主透镜平面到微透镜阵列平面的距离。

在一个实施例中，上述程序被处理器执行时还实现以下步骤：成像模型为：

其中，X表示世界坐标系下的点，x_i表示世界坐标系下的点X在微透镜阵列的第i个微透镜下的像点，s为尺度因子，K_i表示第i个微透镜的投影矩阵，T_LV表示主透镜坐标系到微透镜坐标系之间的坐标变换矩阵，A表示主透镜的折射变换矩阵，R、t为外参数。

在一个实施例中，上述程序被处理器执行时还实现以下步骤：对参数初始值进行非线性优化；将非线性优化后的参数初始值，根据成像模型计算预设标定板上的角点对应的像点，将计算得到的像点与角点在原始图像中成像之后的像点进行比较，计算出重投影误差；迭代上述步骤，直到达到预设迭代次数，获取最小的重投影误差所对应的相机参数作为本次标定的相机参数。

在一个实施例中，还提供了一种计算机设备，该计算机设备包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：

获取第一组原始图像，第一原始图像为通过光场相机拍摄预设纯色背景所获得的原始图像；获取第二组原始图像，第二原始图像为通过光场相机拍摄预设标定板分别获得的原始图像；根据第一组原始图像确定光场相机中微透镜的投影中心；从预设标定板上获取角点，从第二组原始图像中获取角点对应的像点，基于角点的像点与角点的虚拟像点、微透镜投影中心之间的射影变换关系，通过预设成像模型进行光场相机标定，得到光场相机的参数初始值，角点的虚拟像点为角点通过主透镜成像得到的像点；对参数初始值进行非线性优化，得到优化后的相机参数。

在一个实施例中，上述处理器执行计算机程序时还实现以下步骤：建立世界坐标系、主透镜坐标系及微透镜坐标系；计算出主透镜坐标系到微透镜坐标系的坐标变换矩阵，计算出世界坐标系到主透镜坐标系的坐标转换矩阵；计算出主透镜的折射变换矩阵、微透镜的投影矩阵；根据世界坐标系到主透镜坐标系的坐标转换矩阵、主透镜的折射变换矩阵、主透镜坐标系到微透镜坐标系的变换矩阵和微透镜的投影矩阵得到预设成像模型。

在一个实施例中，上述处理器执行计算机程序时还实现以下步骤：射影变换关系对应的射影变换矩阵为：

其中，xv，yv，zv表示虚拟像点X_V的坐标，a表示微透镜阵列平面到图像传感器平面的距离，D表示主透镜平面到微透镜阵列平面的距离。

在一个实施例中，上述处理器执行计算机程序时还实现以下步骤：成像模型为：

其中，X表示世界坐标系下的点，x_i表示世界坐标系下的点X在微透镜阵列的第i个微透镜下的像点，s为尺度因子，K_i表示第i个微透镜的投影矩阵，T_LV表示主透镜坐标系到微透镜坐标系之间的坐标变换矩阵，A表示主透镜的折射变换矩阵，R、t为外参数。

在一个实施例中，上述处理器执行计算机程序时还实现以下步骤：对参数初始值进行非线性优化；将非线性优化后的参数初始值，根据成像模型计算预设标定板上的角点对应的像点，将计算得到的像点与角点在原始图像中成像之后的像点进行比较，计算出重投影误差；迭代上述步骤，直到达到预设迭代次数，获取最小的重投影误差所对应的相机参数作为本次标定的相机参数。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，程序可存储于一非易失性的计算机可读取存储介质中，如本发明实施例中，该程序可存储于计算机系统的存储介质中，并被该计算机系统中的至少一个处理器执行，以实现包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种光场相机参数标定方法，所述方法包括：

获取第一组原始图像，所述第一组原始图像为通过光场相机拍摄预设纯色背景所获得的原始图像；

获取第二组原始图像，所述第二组原始图像为至少采取三组不同姿势通过光场相机拍摄预设标定板分别获得的原始图像；

根据所述第一组原始图像确定所述光场相机中微透镜的投影中心；

从所述预设标定板上获取角点，从所述第二组原始图像中获取所述角点对应的像点，基于所述角点的像点与所述角点的虚拟像点、微透镜投影中心之间的射影变换关系，通过预设成像模型进行光场相机标定，得到所述光场相机的参数初始值，所述角点的虚拟像点为角点通过主透镜成像得到的像点；所述射影变换关系对应的射影变换矩阵为：

其中，xv，yv，zv表示虚拟像点X_V的坐标，a表示微透镜阵列平面到图像传感器平面的距离，D表示主透镜平面到微透镜阵列平面的距离，cx，cy表示主透镜光轴在图像传感器上的坐标；

对所述参数初始值进行非线性优化，得到优化后的相机参数。

2.根据权利要求1所述的方法，其特征在于，所述预设成像模型的建立过程，包括：

建立世界坐标系、主透镜坐标系及微透镜坐标系；

计算出主透镜坐标系到微透镜坐标系的坐标变换矩阵，计算出世界坐标系到主透镜坐标系的坐标转换矩阵；

计算出主透镜的折射变换矩阵、微透镜的投影矩阵；

根据世界坐标系到主透镜坐标系的坐标转换矩阵、主透镜的折射变换矩阵、主透镜坐标系到微透镜坐标系的变换矩阵和微透镜的投影矩阵得到预设成像模型。

3.根据权利要求2所述的方法，其特征在于，所述预设成像模型为：

其中，X表示世界坐标系下的点，x_i表示世界坐标系下的点X在微透镜阵列的第i个微透镜下的像点，s为尺度因子，K_i表示第i个微透镜的投影矩阵，T_LV表示主透镜坐标系到微透镜坐标系之间的坐标变换矩阵，A表示主透镜的折射变换矩阵，R、t为外参数。

4.根据权利要求1所述的方法，其特征在于，所述对所述参数初始值进行非线性优化，得到相机参数，包括：

对所述参数初始值进行非线性优化；

将非线性优化后的参数初始值，根据成像模型计算预设标定板上的角点对应的像点，将所述计算得到的像点与所述角点在原始图像中成像之后的像点进行比较，计算出重投影误差；

迭代上述步骤，直到达到预设迭代次数，获取最小的重投影误差所对应的相机参数作为本次标定的相机参数。

5.一种光场相机参数标定装置，其特征在于，所述装置包括：

第一组原始图像获取模块，用于获取第一组原始图像，所述第一组原始图像为通过光场相机拍摄预设纯色背景所获得的原始图像；

第二组原始图像获取模块，用于获取第二组原始图像，所述第二组原始图像为至少采取三组不同姿势通过光场相机采取至少三个不同姿势拍摄预设标定板分别获得的原始图像；

微透镜投影中心确定模块，用于根据所述第一组原始图像确定微透镜的投影中心；

参数初始值计算模块，用于从所述预设标定板上获取角点，从所述第二组原始图像中获取所述角点对应的像点，基于所述角点的像点与所述角点的虚拟像点、微透镜投影中心之间的射影变换关系，通过预设成像模型进行光场相机标定，得到所述光场相机的参数初始值，所述角点的虚拟像点为角点通过主透镜成像得到的像点；所述射影变换关系对应的射影变换矩阵为：

其中，xv，yv，zv表示虚拟像点X_V的坐标，a表示微透镜阵列平面到图像传感器平面的距离，D表示主透镜平面到微透镜阵列平面的距离，cx，cy表示主透镜光轴在图像传感器上的坐标；

相机参数优化模块，用于对所述参数初始值进行非线性优化，得到优化后的相机参数。

6.根据权利要求5所述的装置，其特征在于，所述装置还包括：预设成像模型建立模块，所述预设成像模型建立模块包括:

坐标系建立模块，用于建立世界坐标系、主透镜坐标系及微透镜坐标系；

坐标转换矩阵计算模块，用于计算出主透镜坐标系到微透镜坐标系的坐标变换矩阵，计算出世界坐标系到主透镜坐标系的坐标转换矩阵；

折射变换矩阵及投影矩阵计算模块，用于计算出主透镜的折射变换矩阵、微透镜的投影矩阵；

预设成像模型计算模块，用于根据世界坐标系到主透镜坐标系的坐标转换矩阵、主透镜的折射变换矩阵、主透镜坐标系到微透镜坐标系的变换矩阵和微透镜的投影矩阵得到预设成像模型。

7.根据权利要求6所述的装置，其特征在于，所述相机参数优化模块包括：

非线性优化模块，用于对所述参数初始值进行非线性优化；

重投影误差计算模块，用于将非线性优化后的参数初始值，根据成像模型计算预设标定板上的角点对应的像点，将所述计算得到的像点与所述角点在原始图像中成像之后的像点进行比较，计算出重投影误差；

迭代模块，用于迭代上述步骤，直到达到预设迭代次数，获取最小的重投影误差所对应的相机参数作为本次标定的相机参数。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至4中任一项所述的光场相机参数标定方法。

9.一种计算机设备，所述计算机设备包括存储器，处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至2中任一项所述的光场相机参数标定方法。

10.一种计算机设备，所述计算机设备包括存储器，处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求3至4中任一项所述的光场相机参数标定方法。

Images