CN108426585A - 一种光场相机的几何标定方法 - Google Patents

Abstract

一种光场相机的几何标定方法，本发明涉及光场相机的几何标定方法。本发明为了解决现有技术存在的渐晕峰值点与微透镜中心不一致、预设模板操作复杂、计算量大及标定精度低等的问题。本发明包括：一：使用光场相机对白色匀光板成像，获取光场原始白图像I；二：将白图像I的像素灰度值分别按行列加和，完成微透镜区域的初步划分；三：计算每个微透镜区域内各行列像素的灰度值之和，确定每个微透镜子图像的中心点；四：根每个微透镜子图像的中心点，依次检测并提取每个微透镜子图像的边缘特征点；五：根据相邻微透镜子图像的中心点和边缘特征点之间的位置关系，得到每个微透镜的直径、间距及微透镜总体数目。本发明用于光场相机标定技术领域。

Description

一种光场相机的几何标定方法

技术领域

本发明涉及光场相机标定技术领域，具体涉及光场相机的几何标定方法。

背景技术

基于微透镜阵列的光场相机应用光场成像技术，可通过单次曝光同时记录空间目标的二维位置信息和二维方向信息，是目前主流的光场获取装置。光场相机在主镜头和探测器之间的成像面处放置一个微透镜阵列，该阵列将主镜光瞳分割成若干个子孔径，每个微透镜通过各子孔径获取目标场景中来自同一位置不同方向的光线，从而实现四维光场数据的采集。与传统成像设备相比，光场相机能够额外提供光辐射的方向信息，同时扩大了通光孔径和景深范围，提高了系统的稳定性，在三维场景重建、实时监测、目标识别、高温测量等领域具有重要应用。

光场相机捕获的原始图像数据是由各个微透镜对应的子图像按序排列组成的二维光场图像，子图像位置对应光场的位置信息，子图像覆盖的像元位置对应光场的方向信息。然而，受相机内部元件本身的制造误差和装配精度以及主镜头像差等因素的影响，实际光场图像中的子图像中心可能存在一定的像素偏移，导致光场信息的混淆或缺失。为了将二维光场图像准确解码为四维光场数据，首先需要对光场相机中各微透镜的几何参数进行标定，以确定探测器像素与微透镜间的所属关系，消除像素偏移的影响。

目前，常用的光场相机微透镜阵列的几何标定方法主要有：渐晕峰值法、模板匹配法、灰度重心法等。渐晕峰值法利用微透镜的渐晕效应，提取光场白图像的灰度峰值点完成微透镜中心的标定，但由于漫反射光的不均匀及信号噪声的干扰，渐晕峰值点可能会偏离微透镜中心。模板匹配法需根据微透镜的排布形式和几何参数预设网格模板来确定微透镜的中心，若对其他参数不同的光场相机进行几何标定则需要重新建立模板，操作复杂且不具有普适性。灰度重心法采用像素的灰度值作为权重，从而计算出子图像的中心坐标，该方法假设各微透镜的间距为固定值，而实际的微透镜会存在个体差异，使得微透镜的间距发生变化，影响标定精度。

发明内容

本发明的目的是为了解决现有标定方法存在的渐晕峰值点与微透镜中心不一致、预设模板操作复杂、计算量过大以及标定精度低等的缺点，而提出一种光场相机的几何标定方法。

一种光场相机的几何标定方法包括以下步骤：

步骤一：使用光场相机对白色匀光板成像，获取光场原始白图像I；

步骤二：将光场原始白图像I的像素灰度值分别按行列加和(得到每行的像素灰度值总和及每列的像素灰度值总和)，确定微透镜区域的边缘，完成微透镜区域的初步划分；

步骤三：计算每个微透镜区域内各行列像素的灰度值之和(每行的像素灰度值总和及每列的像素灰度值总和)，确定每个微透镜子图像的中心点，即为每个微透镜的中心点，并记录中心点坐标；

步骤四：根据步骤三确定的每个微透镜子图像的中心点，依次检测并提取每个微透镜子图像的边缘特征点；

步骤五：根据相邻微透镜子图像的中心点和边缘特征点之间的位置关系，得到每个微透镜的直径、间距及微透镜总体数目。

本发明的有益效果为：

本发明利用光场相机的原始光场白图像，在完成微透镜区域初步划分的基础上，进一步计算各微透镜区域内的行列像素的灰度值之和，实现所有微透镜中心的精确定位，同时获得微透镜的直径、间距及总体数目等几何参数，具有操作简单、计算量小、标定精度高的特点。本发明方法能够针对每个微透镜的中心和多种参数进行快速标定，确定探测器像素和微透镜之间的所属关系，有效减轻了相机误差和像素偏移对光场成像的影响，克服了现有方法标定结果精确性不高、需预设模板、实现过程复杂、数据计算量大等问题。此外，本方法具备普适性，适用于各种光场相机或光场成像模型的几何标定，可为后续的光场数据处理提供基础。

本发明方法距离误差D＝0的微透镜个数占标定总数的99.55％，距离误差D＝1的微透镜个数占标定总数的0.45％，准确率可达99.55％。与峰值渐晕法相比，准确率提高了34.75％；与区域线特征法相比，准确率提高了3.64％。

本发明方法与直接通过原始白图像的行列像素的灰度值之和确定微透镜中心的标定方法相比，将确定微透镜区域边缘过程中的阈值进行调整，以保证每个微透镜区域均有完整的边缘，从而提高了区域划分结果的准确性；在完成微透镜区域初步划分的基础上，选取每个微透镜区域内行列像素的灰度值总和最大的行列作为微透镜的中心，既效避免因漫反射不均匀及图像噪声引起的灰度峰值点与微透镜中心不一致的情况，又能够针对每个微透镜的个体差异，当微透镜阵列存在局部误差时，本发明方法仍可实现每个微透镜中心的精准标定；本发明方法的微透镜中心标定准确率提高了0.17％。

附图说明

图1为本发明的基本流程图；

图2为光场原始白图像的示意图；

图3为微透镜区域初步划分示意图；

图4为微透镜中心的标定结果示意图；

图5为微透镜子图像特征点提取的示意图；

图6为微透镜阵列存在误差时标定出的微透镜中心点和特征点示意图；

图7为微透镜子图像边缘特征点方位的示意图。

具体实施方式

具体实施方式一：如图1所示，一种光场相机的几何标定方法包括以下步骤：

步骤一：使用光场相机对白色匀光板成像，获取光场原始白图像I；

步骤二：将光场原始白图像I的像素灰度值分别按行列加和(得到每一行的加和值和每一列的加和值)，确定微透镜区域的边缘，完成微透镜区域的初步划分；

步骤三：计算每个微透镜区域内各行列像素的灰度值之和(每行像素的灰度值之和和每列像素的灰度值之和)，确定每个微透镜子图像的中心点，即为每个微透镜的中心点，并记录中心点坐标；

步骤四：根据步骤三确定的每个微透镜子图像的中心点，依次检测并提取每个微透镜子图像的边缘特征点；

步骤五：根据相邻微透镜子图像的中心点和边缘特征点之间的位置关系，得到每个微透镜的直径、间距及微透镜总体数目。

具体实施方式二：本实施方式与具体实施方式一不同的是：所述步骤一中使用光场相机对白色匀光板成像，获取光场原始白图像I的具体过程为：

本发明实施方式采用白色匀光板作为均匀面光源，将其固定在光场相机镜头前方，保证白色匀光板平面与相机光轴间相互垂直；调整光场相机光圈值直至成像屏上光斑刚好不发生串扰后，对白色匀光板平面光源进行拍摄，获取如图2所示的光场原始白图像I，白图像I的分辨率为m(H)×n(W)。

其它步骤及参数与具体实施方式一相同。

具体实施方式三：本实施方式与具体实施方式一或二不同的是：所述步骤二中将光场原始白图像I的像素灰度值分别按行列加和，确定微透镜区域的边缘，完成微透镜区域的划分的具体过程为：

分别计算光场原始白图像I中各行列像素的灰度值之和，得到m个行像素灰度值总和S_row(x)及n个列像素灰度值总和S_col(y)，即：

其中，I(x,y)表示位于图像中第x行、第y列的像素点(x,y)的灰度值；S_row(x)表示第x行中所有像素的灰度值总和；S_col(y)表示第y行中所有像素的灰度值总和；

根据计算结果设定阈值和若第x行的S_row(x)小于阈值Th_row，则将第x行作为微透镜区域的水平边缘，若第y列的S_col(y)小于阈值Th_col，则将第y列作为微透镜区域的垂直边缘，从而将光场原始白图像I初步划分为各个微透镜区域。如图3所示：白色像素为阈值比较后得到的子图像边缘，黑色实线为微透镜区域初步划分的结果。

其它步骤及参数与具体实施方式一或二相同。

具体实施方式四：本实施方式与具体实施方式一至三之一不同的是：所述步骤三中计算每个微透镜区域内各行列像素的灰度值之和，确定每个微透镜子图像的中心点的具体过程为：

基于步骤二的微透镜区域划分结果进行微透镜中心的定位，首先对每个微透镜区域内的像素灰度值分别按照行列求和：

其中，上标i表示第i个微透镜区域；a,b表示区域i的水平边缘；c,d表示区域i的垂直边缘；

然后，根据微透镜的渐晕效应，选取区域i中灰度值总和最大的行列作为该子图像的中心c_i，并确定每个微透镜的中心坐标c_i(x₁,y₁)：

图4所示为各微透镜中心的标定结果。本步骤所述的确定微透镜中心的方法利用微透镜区域内所有像素的灰度值进行中心标定，能够有效避免因漫反射不均匀及图像噪声引起的灰度峰值点与微透镜中心不一致的情况。

其它步骤及参数与具体实施方式一至三之一相同。

具体实施方式五：本实施方式与具体实施方式一至四之一不同的是：所述步骤四中根据步骤三确定的每个微透镜子图像的中心点，依次检测并提取每个微透镜子图像的边缘特征点的具体过程为：

利用Sobel(索贝尔)算子对微透镜区域i内位于中心行列(即微透镜中心c_i所在的第x₁行和第y₁列)上的像素点进行卷积计算，并求出各像素点的梯度幅值，Sobel算子的卷积计算公式为：

G_X(x,y)＝|I(x-1,y+1)+2I(x,y+1)+I(x+1,y+1)-[I(x-1,y-1)+2I(x,y-1)+I(x+1,y-1)]| (6)

G_Y(x,y)＝|I(x+1,y-1)+2I(x+1,y)+I(x+1,y+1)-[I(x-1,y-1)+2I(x-1,y)+I(x-1,y+1)]| (7)

其中G_X(x,y)为水平方向的卷积结果，G_Y(x,y)为垂直方向的卷积结果；

其梯度幅值计算公式为：

在此基础上，如图7所示，提取每个微透镜区域中心c_i上、下、左、右4个方向上梯度幅值最大的像素点作为边缘点作为该子图像的边缘特征点，记为和并记录其位置坐标和各子图像所提取的边缘特征点如图5所示：子图像中心处的黑色像素点为步骤三得到的标定中心，子图像边缘的4个白色像素点为子图像的边缘特征点。

其它步骤及参数与具体实施方式一至四之一相同。

具体实施方式六：本实施方式与具体实施方式一至五之一不同的是：所述步骤四中根据步骤五根据相邻微透镜子图像的中心点和边缘特征点之间的位置关系，得到每个微透镜的直径、间距及微透镜总体数目的具体过程为：

通过微透镜的4个边缘特征点坐标，得到微透镜子图像在行、列方向上覆盖的像素个数分别为(y₃-y₂+1)及(x₃-x₂+1)，并计算两者的平均值avg_i，则微透镜的直径为d_i＝l×avg_i，其中，l为探测器像素尺寸；对微透镜中心与其相邻微透镜中心的行列坐标分别进行差值计算，得到该微透镜中心与相邻微透镜中心的行列间隔像素个数H_i和W_i，则微透镜的水平间距为P_i ^X＝l×W_i，垂直间距为P_i ^Y＝l×H_i；并根据微透镜中心的个数统计出微透镜阵列总体的微透镜数目N。

其它步骤及参数与具体实施方式一至五之一相同。

实施例一：

利用本发明提供的一种光场相机的几何标定方法对光场相机拍摄的原始光场白图像进行标定测试。在本实施例中，光场相机微透镜的排布方式采用正方形紧密排列，理想条件下，水平和垂直方向上相邻两个微透镜中心的间距理论值均为20pixel，采用距离误差评价指标D衡量不同标定方法的准确性：

其中，(x_σ，y_σ)、(x_τ，y_τ)为标定得到的相邻微透镜中心的坐标，将中心间距与理论值20pixel进行比较，D越小，表示标定结果的精确性越高。

表1给出了不同方法的标定偏差，由数据可知：本发明方法距离误差D＝0的微透镜个数占标定总数的99.55％，距离误差D＝1的微透镜个数占标定总数的0.45％，准确率可达99.55％。与峰值渐晕法相比，准确率提高了34.75％；与区域线特征法相比，准确率提高了3.64％。

表1不同标定方法的距离误差对比

此外，标定计算得到微透镜的平均间距为100.0043μm，微透镜子图像的平均直径为90.01μm，微透镜总体数目为102×102，几何参数的标定结果与实际相符，充分表明本发明的有效性和准确性。

实施例二：

利用本发明提供的一种光场相机的几何标定方法对存在误差的光场相机原始白图像进行标定测试。由于微透镜阵列制造工艺和检测手段的限制，光场相机中的微透镜阵列存在局部面形误差，导致相应子图像发生移动，从而引起光场信息传递的损耗与偏差。在本实施例中，考虑微透镜阵列存在局部面形误差时的光场相机几何标定，标定结果如图6所示：子图像中心处的黑色像素点为标定中心，子图像边缘的4个白色像素点为子图像的边缘特征点。从图中可以看出，当误差存在时，利用本发明方法仍可准确标定出微透镜的中心位置、间距及子图像直径等几何参数，确定探测器像素与微透镜之间的所属关系，能够有效避免光场信息发生混淆，为后续的光场数据处理提供基础。

本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (6)

1.一种光场相机的几何标定方法，其特征在于：所述光场相机的几何标定方法包括以下步骤：

步骤一：使用光场相机对白色匀光板成像，获取光场原始白图像I；

步骤二：将光场原始白图像I的像素灰度值分别按行列加和，确定微透镜区域的边缘，完成微透镜区域的划分；

步骤三：计算每个微透镜区域内各行列像素的灰度值之和，确定每个微透镜子图像的中心点，即为每个微透镜的中心点，并记录中心点坐标；

步骤四：根据步骤三确定的每个微透镜子图像的中心点，依次检测并提取每个微透镜子图像的边缘特征点；

步骤五：根据相邻微透镜子图像的中心点和边缘特征点之间的位置关系，得到每个微透镜的直径、间距及微透镜总体数目。

2.根据权利要求1所述的一种光场相机的几何标定方法，其特征在于：所述步骤一中使用光场相机对白色匀光板成像，获取光场原始白图像I的具体过程为：

采用白色匀光板作为均匀面光源，将白色匀光板固定在光场相机镜头前方，白色匀光板平面与相机光轴间相互垂直；调整光场相机光圈值直至成像屏上光斑不发生串扰后，对白色匀光板平面光源进行拍摄，光场原始白图像I，白图像I的分辨率为m(H)×n(W)。

3.根据权利要求1或2所述的一种光场相机的几何标定方法，其特征在于：所述步骤二中将光场原始白图像I的像素灰度值分别按行列加和，确定微透镜区域的边缘，完成微透镜区域的划分的具体过程为：

分别计算光场原始白图像I中各行列像素的灰度值之和，得到m个行像素灰度值总和S_row(x)及n个列像素灰度值总和S_col(y)，即：

其中，I(x,y)表示位于图像中第x行、第y列的像素点(x,y)的灰度值；S_row(x)表示第x行中所有像素的灰度值总和；S_col(y)表示第y行中所有像素的灰度值总和；

根据计算结果设定阈值和若第x行的S_row(x)小于阈值Th_row，则将第x行作为微透镜区域的水平边缘，若第y列的S_col(y)小于阈值Th_col，则将第y列作为微透镜区域的垂直边缘，将光场原始白图像I划分为各个微透镜区域。

4.根据权利要求3所述的一种光场相机的几何标定方法，其特征在于：所述步骤三中计算每个微透镜区域内各行列像素的灰度值之和，确定每个微透镜子图像的中心点的具体过程为：

对每个微透镜区域内的像素灰度值分别按照行列求和：

其中，上标i表示第i个微透镜区域；a,b表示区域i的水平边缘；c,d表示区域i的垂直边缘；

根据微透镜的渐晕效应，选取区域i中灰度值总和最大的行列作为该子图像的中心c_i，并确定每个微透镜的中心坐标c_i(x₁,y₁)：

5.根据权利要求4所述的一种光场相机的几何标定方法，其特征在于：所述步骤四中根据步骤三确定的每个微透镜子图像的中心点，依次检测并提取每个微透镜子图像的边缘特征点的具体过程为：

利用Sobel算子对微透镜区域i内位于中心行列上的像素点进行卷积计算，并求出各像素点的梯度幅值，Sobel算子的卷积计算公式为：

G_X(x,y)＝|I(x-1,y+1)+2I(x,y+1)+I(x+1,y+1)-[I(x-1,y-1)+2I(x,y-1)+I(x+1,y-1)]| (6)

G_Y(x,y)＝|I(x+1,y-1)+2I(x+1,y)+I(x+1,y+1)-[I(x-1,y-1)+2I(x-1,y)+I(x-1,y+1)]| (7)

其中G_X(x,y)为水平方向的卷积结果，G_Y(x,y)为垂直方向的卷积结果；

梯度幅值计算公式为：

提取每个微透镜区域中心c_i上、下、左、右4个方向上梯度幅值最大的像素点作为边缘点作为该子图像的边缘特征点，记为和并记录其位置坐标 和

6.根据权利要求5所述的一种光场相机的几何标定方法，其特征在于：所述步骤四中根据步骤五根据相邻微透镜子图像的中心点和边缘特征点之间的位置关系，得到每个微透镜的直径、间距及微透镜总体数目的具体过程为：

通过微透镜的4个边缘特征点坐标，得到微透镜子图像在行、列方向上覆盖的像素个数分别为(y₃-y₂+1)及(x₃-x₂+1)，并计算两者的平均值avg_i，则微透镜的直径为d_i＝l×avg_i，其中，l为探测器像素尺寸；对微透镜中心与其相邻微透镜中心的行列坐标分别进行差值计算，得到该微透镜中心与相邻微透镜中心的行列间隔像素个数H_i和W_i，则微透镜的水平间距为P_i ^X＝l×W_i，垂直间距为P_i ^Y＝l×H_i；并根据微透镜中心的个数统计出微透镜阵列总体的微透镜数目N。