CN109712232A - 一种基于光场的物体表面轮廓三维成像方法 - Google Patents

Abstract

一种基于光场的物体表面轮廓三维成像方法，以光场相机图像为基础，采用光场相机对物体表面轮廓进行拍摄，通过提取像点在光场中的极空间参数，结合光场相机的标定结果，对物体表面轮廓进行三维成像。由于光场相机具有其独特的结构，能够对空间中光线的位置信息与角度信息进行记录，并以此来获得目标物体的三维信息，通过光场相机对物体进行拍摄，经过解码后得到的图像依旧是二维的，但是其中包含了物体的三维信息，能够实现通过一次拍摄即可完成场景三维成像的功能。

Description

一种基于光场的物体表面轮廓三维成像方法

技术领域

本发明涉及三维成像技术,尤其涉及一种基于光场的物体表面轮廓三维成像方法，该方法采用光场相机对物体表面轮廓进行拍摄，通过提取像点在光场中的极空间参数，结合光场相机的标定结果，对物体表面轮廓进行三维成像。本发明可以用于医学检测、工业检测等诸多领域。

背景技术

传统的物体表面轮廓三维成像技术主要包括双目三维成像技术和结构光三维成像技术。在双目三维成像技术中，通过两台参数和空间位置已知的相机对物体进行拍摄，得到各个空间点在两台相机中的投影位置，结合相机参数和空间位置即可得到物点相对于相机的三维信息。结构光三维成像技术的主要原理为通过投影仪在待测物体表面投射出具有一定结构的光平面，在拍摄到的图像中提取出这些结构光的特征，并计算得到物体表面轮廓相对于相机的三维信息。

以上两种三维成像方法都具有一定的缺陷，其中最明显的是两种方法均需要对场景进行多次拍摄，对多张图片进行处理，才能够得到空间点的三维信息，而不能通过一次简单拍摄完成场景的三维成像。

发明内容

本发明针对以上问题，本发明以光场相机图像为基础，对光场相机图像中的每一像素点的极图直线参数进行计算，其目的在于依据极图所得到的直线的参数信息，得到此直线所对应物点的三维信息，进而完成物体表面轮廓三维成像。由于光场相机具有其独特的结构，能够对空间中光线的位置信息与角度信息进行记录，并以此来获得目标物体的三维信息。通过光场相机对物体进行拍摄，经过解码后得到的图像依旧是二维的，但是其中包含了物体的三维信息，能够实现通过一次拍摄即可完成场景三维成像的功能。如何通过后期的数据处理从光场相机图像中恢复物体表面轮廓的三维信息，是本发明的核心所在。

本发明采用的技术方案如下：一种基于光场的物体表面轮廓三维成像方法，其特征在于，以光场相机图像为基础，采用光场相机对物体表面轮廓进行拍摄，通过提取像点在光场中的极空间参数，结合光场相机的标定结果，对物体表面轮廓进行三维成像；包括以下步骤：

第一步，对光场相机进行标定：用待标定的光场相机对标定板进行拍摄，标定板表面设有多个圆形标记，各圆形标记之间的圆心距相等，以各个圆形标记的圆心作为特征点，通过特征点检测算法计算得到光场相机所拍摄图像的各个子孔径图像中的特征点的像素坐标，对每一个特征点在不同子孔径图像中的坐标进行线性拟合，得到该特征点的极空间参数，以标定板平面为世界坐标系x-y平面，以垂直于标定板平面方向为世界坐标系z轴，以任意一个圆心特征点为原点，构造世界坐标系，通过世界坐标和极空间参数的转换关系和最小二乘法计算得到本征矩阵H，公式如下：

其中，(X,Y)为特征点在标定板平面上的空间位置；M₁、M₂分别为内参矩阵和平移旋转矩阵，形式如下：

最后，通过对不同角度下的标定板进行多幅拍摄，使用最小二乘法和矩阵分解求解得到光场相机的内参矩阵M₁以及标定板位于不同空间位置下光场相机的外参矩阵M₂，再通过levenberg-marquardt算法对所有参数进行非线性优化，得到内、外参矩阵的最优解；

第二步，用光场相机拍摄待测物体得到光场图像，通过计算得到物体表面轮廓上每一个像素点的极空间参数，首先，拍摄得到待测物体的原始二维光场图像，然后，通过被动式方法提取图像中每一个像素点极图的斜率，结合中心子孔径图像下的像素位置，即u＝u₀,v＝v₀处的子孔径图像，求解得到极空间参数[K B_x B_y]^T中的截距B_x和B_y，最终得到每一像素点的极空间参数；

第三步，当光场相机的内参矩阵M₁已知时，通过内参矩阵M₁的逆矩阵和物点的极空间参数计算得到物点的光场相机坐标系坐标，也就是物体表面轮廓的三维信息，计算公式如下：

所述标定板表面的圆形标记应不少于四个，按照水平、竖直方向依次排列，标定板表面的颜色与圆形标记的颜色为黑、白区分对应。

所述标定板表面的圆形标记可为64个，按正方形排列，相邻圆心的间距为30mm±5μm，采用正方形排列中的任意一个角点的圆形标记的圆心特征点作为世界坐标系的原点。

本发明的优点及显著效果：本发明通过光场相机的独特的结构，能够对空间中光线的位置信息与角度信息进行记录，并以此来获得目标物体的三维信息。通过光场相机对物体进行拍摄，经过解码后得到的图像依旧是二维的，但是其中隐含了物体的三维信息，通过后期的数据处理从光场相机图像中恢复物体表面的三维信息，实现一次拍摄即可完成场景三维成像的功能。

附图说明

图1是光场相机成像光路示意图；

图2是光场相机成像过程中的变换关系；

图3是三维成像算法流程图；

图4是光场相机标定流程图；

图5是标定板图；

图6是原图像；

图7是三维点云。

具体实施方式

下面结合附图及实施例对本发明进一步说明。

图1为光场相机成像的光路示意图，其中h_m表示聚焦平面到主透镜平面的距离；h′_m表示微透镜平面到主透镜平面的距离；b表示微透镜平面到成像平面之间的距离；S表示光线与主透镜交点坐标；(x_c,y_c,z_c)表示空间中任一物点P在相机坐标系下的坐标；(x_m,y_m)表示以实际物理距离为单位(本文取毫米)，以光轴与平面交点处的坐标为原点的坐标系下微透镜平面上一点的坐标；(i,j)是基于成像平面整体的绝对索引，仅表示成像平面上某一像素值的行数和列数，不具有实际的物理意义；(u,v)表示的是每个微透镜所对应的小图像中的像素的行数和列数，是基于微透镜图像的相对索引；在微透镜平面上，建立以微透镜直径d为单位的(x,y)坐标，其中(x,y)仅表示某一微透镜在微透镜平面上的行数和列数。

图2为光场相机成像过程中的变换关系，其中D为一个子孔径的宽度；q表示一个像素点的宽度；S表示光线与主透镜交点坐标。

通过图1所示光场相机成像的光路示意图和图2所示的变换关系，结合相似三角形关系可以得到公式：

由于光场相机在成像过程中水平和竖直方向互不影响，故可以得到在y方向存在公式：

其中，(x₀,y₀)表示微透镜平面与光轴交点的像素坐标；(u₀,v₀)表示单个微透镜对应的图像的中心像素坐标；q表示一个像素点的宽度。

由此可以得到，一个物点P在不同子孔径图像中的像素坐标的x和y在极图中均呈直线关系，其斜率K和截距Bx、By分别为：

其中，(x₀,y₀)表示微透镜平面与光轴交点的像素坐标；(u₀,v₀)表示单个微透镜对应的图像的中心像素坐标；h_m表示聚焦平面到主透镜平面的距离；h′_m表示微透镜平面到主透镜平面的距离；b表示微透镜平面到成像平面之间的距离；q表示一个像素点的宽度；d表示一个微透镜的直径；(x_c,y_c,z_c)表示空间中任一物点P在摄像机坐标系下的坐标；(u,v)表示的是某一微透镜所对应的小图像中的像素坐标；(x,y)表示微透镜平面上的像素坐标。

由此可以得到，同一物点在不同子孔径图像中的像素坐标的x和y在极图中均呈直线关系，其斜率K和截距Bx、By分别为：

转换为矩阵形式可以得到：

将上式矩阵称为光场相机的内参矩阵M₁，将[K B_x B_y]^T称为物点的极空间参数，则该转换关系可以简化表示为：

内参矩阵可以通过光场相机的标定得到，需要注意的是，在任何情况下，内参矩阵都是满秩可逆矩阵，因此上式可以变换如下：

因此，当光场相机的内参矩阵已知时，可以直接通过其逆矩阵和物点的极空间参数得到物点在相机坐标系下的坐标，进而可以得到物体表面轮廓的三维信息，这也是本发明的核心原理。

图3为光场相机三维成像的算法流程图。首先，输入拍摄得到的待成像物体的光场原始图像和光场相机的内参矩阵，然后通过被动式方法计算原始图像中每一像素点在极空间中的斜率；结合像素点在光场相机下中心子孔径图像中的像素坐标得到完整的极空间参数；最后，通过极空间参数和内参矩阵的逆矩阵相乘得到每一像素点在摄像机坐标系下的三维坐标，完成三维成像。

图4为光场相机标定的算法流程图。首先，使用光场相机拍摄多幅不同位置、角度下的标定板图像(具体标定板样式参见图5)，同时根据标定板上特征点间的距离关系，计算得到特征点在世界坐标系下的坐标；接下来，通过特征点检测算法计算得到各子孔径图像中特征点的像素坐标，对每一个特征点在不同子孔径图像中的坐标进行线性拟合，得到该特征点的极空间参数；然后，通过特征点的世界坐标系位置和极空间参数求解得到光场相机的本征矩阵，再通过最小二乘法和矩阵分解，得到光场相机的内参矩阵和外参矩阵；最后，通过levenberg-marquardt算法对内、外参数矩阵进行非线性优化，得到内、外参数最佳解。

图5为标定板实例。由于圆形标记越多对标定准确度的提升越大，取标定板表面图案为64个白色圆，则标定板表面为黑色。各圆半径可以不同，但圆心距相等，按照水平、竖直方向排列为正方形，特征点是各个圆的圆心。相邻圆心间的间距可为30mm±5μm，如以标定板表面位于标定板左上角的圆心为原点，以标定板平面为x-y平面，以垂直于标定板平面方向为z轴构建世界坐标系，可以得到64个特征点的世界坐标用以相机标定。

实施例：用美国Lytro公司生产的第二代光场相机Lytro Illum进行实验，相机序列号为：B5152200720，通过相机标定得到的相机内参矩阵M₁为：

在本实例中，选取细节较为丰富的人脸模型作为三维重建的对象，三维重建的原图像参见图6。如图所示，重建场景根据深度可以简单分为三层，从近到远依次为第一张人脸、第二张人脸和远方背景。

三维重建结果参图7。如图所示，图7中点云即为附图6中每一像素点在摄像机坐标系下的坐标，x，y，z三个方向单位均为m。可以看到，由于离镜头较近的一张人脸深度细节更加丰富，因此重建结果更好，随着场景深度的增大，场景深度细节逐渐模糊，因此第二章人脸和背景重建效果相比之下较差。

在本实例中，以中心子孔径图像下像素坐标为[26,224]的像素点为例，通过被动式方法结合中心子孔径图像下像素坐标，检测得到其极空间参数为:

[K,B_x,B_y]＝[-0.269,965.4,223.4]′

通过内参矩阵计算得到该像素点在摄像机坐标系下的三维坐标为：

计算结果单位均为m。

在本实例中，对光场原始图像中的每一像素点均做上述处理，得到所有像素点的三维坐标点，完成基于光场的三维成像。

Claims (3)

1.一种基于光场的物体表面轮廓三维成像方法，其特征在于，以光场相机图像为基础，采用光场相机对物体表面轮廓进行拍摄，通过提取像点在光场中的极空间参数，结合光场相机的标定结果，对物体表面轮廓进行三维成像；包括以下步骤：

第一步，对光场相机进行标定：用待标定的光场相机对标定板进行拍摄，标定板表面设有多个圆形标记，各圆形标记之间的圆心距相等，以各个圆形标记的圆心作为特征点，通过特征点检测算法计算得到光场相机所拍摄图像的各个子孔径图像中的特征点的像素坐标，对每一个特征点在不同子孔径图像中的坐标进行线性拟合，得到该特征点的极空间参数，以标定板平面为世界坐标系x-y平面，以垂直于标定板平面方向为世界坐标系z轴，以任意一个圆心特征点为原点，构造世界坐标系，通过世界坐标和极空间参数的转换关系和最小二乘法计算得到本征矩阵H，公式如下：

其中，(X,Y)为特征点在标定板平面上的空间位置；M₁、M₂分别为内参矩阵和平移旋转矩阵，形式如下：

最后，通过对不同角度下的标定板进行多幅拍摄，使用最小二乘法和矩阵分解求解得到光场相机的内参矩阵M₁以及标定板位于不同空间位置下光场相机的外参矩阵M₂，再通过levenberg-marquardt算法对所有参数进行非线性优化，得到内、外参矩阵的最优解；

第二步，用光场相机拍摄待测物体得到光场图像，通过计算得到物体表面轮廓上每一个像素点的极空间参数，首先，拍摄得到待测物体的原始二维光场图像，然后，通过被动式方法提取图像中每一个像素点极图的斜率，结合中心子孔径图像下的像素位置，即u＝u₀,v＝v₀处的子孔径图像，求解得到极空间参数[K B_x B_y]^T中的截距B_x和B_y，最终得到每一像素点的极空间参数；

第三步，当光场相机的内参矩阵M₁已知时，通过内参矩阵M₁的逆矩阵和物点的极空间参数计算得到物点的光场相机坐标系坐标，也就是物体表面轮廓的三维信息，计算公式如下：

2.根据权利要求1所述的基于光场的物体表面轮廓三维成像方法，其特征在于，所述标定板表面的圆形标记不少于四个，按照水平、竖直方向依次排列，标定板表面的颜色与圆形标记的颜色为黑、白区分对应。

3.根据权利要求1或2所述的基于光场的物体表面轮廓三维成像方法，其特征在于，所述标定板表面的圆形标记为64个，按正方形排列，相邻圆心的间距为30mm±5μm，采用正方形排列中的任意一个角点的圆形标记的圆心特征点作为世界坐标系的原点。