CN108776980A - 一种面向微透镜光场相机的标定方法 - Google Patents

Abstract

本发明公开了一种面向微透镜光场相机的标定方法，包括：基于微透镜光场相机，采集白图像和靶标图像；在白图像上检测微透镜投影中心位置；根据微透镜投影中心位置，解码靶标图像，得4D光场数据；由4D光场数据，生成中心子孔径图像，并检测角点；根据在中心子孔径图像上检测的角点位置，选择靶标图像上可能包含角点的子图像；在选择的子图像上，检测角点；基于中心子孔径图像上检测的角点集，求解简化的模型初始参数；基于所选子图像上检测的角点集，估计非畸变模型参数；以非畸变模型参数为初值，基于所选子图像上检测的角点集，进一步估计考虑畸变的模型参数。本发明的标定方法能够同时估计光场相机内、外参数，功能全面，结果准确，效率高。

Description

一种面向微透镜光场相机的标定方法

技术领域

本发明涉及计算机视觉、计算摄影学、光场图像处理领域，尤其涉及一种面向微透镜光场相机的标定方法。

背景技术

R.Ng等人于2005年设计的手持式光场相机，成为微透镜阵列光场采集设备的代表，直接推动了光场相机(如Lytro、Raytrix等)快速进入民用市场，同时也在学术界掀起了光场成像的应用研究热潮。例如：基于光场数据的数字重聚焦，达到了先拍照后对焦的效果；运用不同视点合成图像，实现3D视觉效果。典型应用还有阿尔法消光、显著性检测、深度估计、超分辨率等。在机器人领域，由相机阵列构成的光场相机已经成功应用于视觉里程计和视觉SLAM。

如果已知光场相机的成像模型参数，无疑会促使这些应用的性能提升。一方面，标定了光场相机成像模型的参数，才能使定量研究成为可能；另一方面，运用光场相机采集光场图像时并不能做到理论层面上的完美，比如，由于制造缺陷，微透镜阵列与图像传感器坐标不能完全对齐，若盲目地将原始图像重采样为4D光场容易引起颜色的变化和波纹状伪影，进而影响多种后处理应用的性能。因此，标定微透镜光场相机的参数，对于基于微透镜光场相机的诸多应用是必要的。

目前光场相机标定研究较少，Dansereau等人提出了微透镜光场相机成像模型的数学描述，并设计了微透镜投影中心检测方法和光场校正方法，但未关注相机外参数标定问题。Cho等人针对Lytro光场相机提出了微透镜投影中心检测及旋转平移校正方法，但没有对焦距、主透镜与微透镜间距等其他内参数进行标定研究。Bok等人提出了基于靶标图像上直线特征的微透镜光场相机标定方法，基于直线特征运算量大，直线拟合误差会增大参数标定误差。

当前，对光场相机这类新型成像设备的认识以及基于光场成像的量化应用研究均处于新兴探索阶段。现有标定方法，或仅确定微透镜中心位置，或仅标定相机内、外参数类之一，同时全面标定内外参数的方法相对偏少。在这些标定内外参数的方法中，标定方案的简洁性、运算效率、准确度等方面均有待进一步提高。

发明内容

发明目的：本发明目的是提供一种基于微透镜子图像角点检测的微透镜相机标定方法，进而简化标定方案并提高标定准确度。

技术方案：本发明包括以下步骤：

(1)使用微透镜光场相机plenoptic 1.0采集高曝光原始白图像和棋盘靶标原始图像

(2)对原始白图像去马赛克得到真彩色白图像进行峰值检测，得到所有微透镜中心投影位置集合，并检测微透镜子图像的有效半径N_r；

(3)对靶标原始图像去马赛克得到真彩色靶标图像根据步骤(2)得到的微透镜中心投影位置集合和微透镜子图像有效半径N_r，解码靶标原始图像，得到4D光场数据L(i,j,k,l)；

(4)由4D光场数据L(i,j,k,l)生成中心子孔径图像在上检测角点，得到角点索引坐标集合；

(5)根据中心子孔径图像上检测的每一个角点位置，在靶标图像上选择可能包含角点特征的微透镜子图像作为候选子图像；

(6)对每个候选子图像做角点检测，得到角点坐标集合；

(7)在步骤(4)所得的角点索引坐标集合中至少选择13个角点，求解简化之后的模型初始参数；

(8)以步骤(7)所得的参数为初值，步骤(6)检测的所有角点坐标为观测数据集，采用非线性优化方法使所有角点的重投影误差之和最小，得到非畸变模型参数；

(9)以步骤(8)中的非畸变模型参数为初值，步骤(6)检测的所有角点坐标为观测数据集，采用非线性优化方法使所有角点的重投影误差之和最小，估计得到畸变模型参数。

所述步骤(2)中的峰值检测方法为：

1)对真彩色图像进行低通滤波，降低噪声干扰；

2)根据微透镜光场相机标称的像素分辨率(M×M)及角度分辨率(N×N)，假定每个微透镜的中心投影位置为(q,r)；

3)对每个微透镜，在假定的中心位置(q,r)及其25邻域像素集中，以3×3滑动窗口检测其局部峰值；

4)在图像上，将每个微透镜子图像的候选中心位置坐标均值(m,n)作为该微透镜投影中心位置。

所述步骤(2)中微透镜子图像有效半径的检测方法为：以微透镜投影中心位置为起点，沿图像坐标系横轴的正负两个方向、纵轴的正负两个方向遍历像素，直到像素值发生突变，最后将四个方向的平均移动距离向下取整。

所述步骤(3)中的解码方法为：以(k,l)作为微透镜投影中心的索引，以(i,j)作为微透镜子图像上像素的索引，(k,l)处微透镜对应子图像上(i,j)处的像素值即为4D光场数据L(i,j,k,l)。

所述步骤(6)中的角点检测方法为：

1)预处理：对每幅候选微透镜子图像二值化，之后对二值化的子图像进行两个像素的加边处理，得到图像

2)初始角点确定：选择两个环形邻域跳变次数均大于等于4的对应像素位置作为初始角点位置；

3)像素级角点优化选择：选择响应度量最大的初始角点像素作为像素级精度的优选角点；

4)剔除异常角点与亚像素级角点优化。

有益效果：本发明针对微透镜光场相机设计了一种标定方法，该方法不仅确定微透镜的投影中心位置，而且同时标定微透镜光场相机的内、外参数，功能全面，标定结果更准确；以棋盘靶标为参照，根据角点物像约束关系进行标定，使标定过程得到简化，提高了标定效率。

附图说明

图1为本发明的流程图；

图2为本发明的微透镜光场相机光路模型；

图3为本发明的X型角点示意图；

图4为本发明的像素8-邻域内层环形区域；

图5为本发明的像素12-邻域外层环形区域；

图6为本发明的微透镜光场相机重投影误差模型；

图7为本发明的白图像示例；

图8为本发明中白图像标注了微透镜投影中心位置的示例；

图9为本发明的靶标图像角点检测示例；

图10为本发明的微透镜光场相机和靶标图像示例；

图11为本发明的误差统计图。

具体实施方式

下面结合附图对本发明作进一步说明。

如图1所示，本发明包括以下步骤：

步骤1，使用微透镜光场相机plenoptic 1.0采集高曝光原始白图像和棋盘靶标原始图像微透镜光场相机的光路模型如图2所示，设微透镜阵列与传感器的间距为d_μ，与主透镜之间的间距为d_M，主透镜的焦距为F。把主透镜的光心和光轴分别作为相机坐标系(O_C-X_CY_CZ_C)的坐标原点和Z_C轴，指向景物的方向为Z_C轴的正方向，X_C、Y_C轴的方向见图2。场景点P发出的光线经主透镜汇聚于P’，再经微透镜中心P^mc投影于p。在相机坐标系下，设景物点P坐标为(X_c,Y_c,Z_c)，像点P’坐标为(X_I,Y_I,Z_I)。设景物点P在在世界坐标系(O_W-X_WY_WZ_W)下的坐标为(X_w,Y_w,Z_w)，对应像点在图像坐标系(O_I-UV)下的坐标为(u,v)，图像坐标系的坐标原点O_I在相机坐标系下的(O_C-X_CY_C)平面上的坐标分量为(u₀,v₀)，传感器在U轴、V轴方向的采样间距分别是k_u、k_v；世界坐标系(O_W-X_WY_WZ_W)和相机坐标系(O_C-X_CY_CZ_C)之间的旋转变换定义为3×3矩阵平移变换定义为3×1矩阵物-像关系如式(1)所示，其中，(u,v)表示像点坐标，(u_c,v_c)表示像点所属微透镜的中心投影位置坐标，(X_w,Y_w,Z_w)表示物点坐标，K₃≡d_μ+d_M。

使用微透镜光场相机采集白图像和棋盘靶标图像时，没有距离、姿态等要求，只需保持微透镜光场相机的缩放倍数(ZOOM)不变即可。采集白图像时可以通过均光器对白色光源拍照，也可以直接对均匀白光源拍照，还可以直接调用相机自带的高曝光白图像。

步骤2，对原始白图像去马赛克得到真彩色白图像再进行峰值检测，得到所有微透镜中心投影位置集合{(k,l)|从1编码的索引坐标}；检测微透镜子图像的有效半径N_r。其中，去马赛克是将Bayer模式的原始图像转换为真彩色图像，Lytro等微透镜光场相机提供的原始图像(后缀为raw)是12位的蓝-绿-绿-红(BGGR)的Bayer格式排列。为方便后续处理，应将其转换成RGB格式的真彩色图像，可以使用Matlab的去马赛克函数(demasaic)实现。

基于微透镜的渐晕效应，局部最亮点可视为微透镜投影中心，步骤2所述的峰值检测由以下步骤完成，图7给出了一幅白图像示例，图8给出了标记后的微透镜投影中心位置示例。具体峰值检测步骤为：

1)对真彩色图像进行低通滤波，降低噪声干扰；

2)根据微透镜光场相机标称的像素分辨率(M×M)及角度分辨率(N×N)，假定每个微透镜的中心投影位置(q,r)，例如，若微透镜的索引坐标是(k,l)，则

3)对于每个微透镜，在假定的中心位置(q,r)及其25邻域像素集中，以3×3滑动窗口检测局部峰值，即若(q',r')处像素的亮度高于其8邻域所有像素的亮度，则该像素可作为微透镜投影中心的候选位置；

4)在图像上，将每个微透镜子图像候选中心位置的坐标均值(m,n)作为该微透镜投影中心位置。

检测微透镜子图像有效半径的方法是：以微透镜投影中心位置为起点，沿图像坐标系横轴的正负两个方向、纵轴的正负两个方向遍历像素，到像素值发生突变为止，将四个方向的平均移动距离向下取整，即为微透镜子图像的有效半径(N_r)。其中，像素值发生突变的标准为：变化量大于整幅图像最大像素值和最小像素值之差的四分之一。

步骤3，对靶标原始图像去马赛克得到真彩色靶标图像根据步骤2得到的微透镜中心投影位置集合{(k,l)|从1编码的索引坐标}和微透镜子图像有效半径N_r，解码靶标原始图像，得到4D光场数据L(i,j,k,l)。其解码方法为：以(k,l)作为微透镜投影中心的索引，以(i,j)作为微透镜子图像上像素的索引，(k,l)处微透镜对应子图像上(i,j)处的像素值为L(i,j,k,l)，由此，将光场图像解码为4D光场。若将微透镜视为针孔，则每个像素对应了一条由(k,l)索引和(i,j)索引确定的光线。

步骤4，由4D光场数据L(i,j,k,l)生成中心子孔径图像在上检测角点，得到角点索引坐标集合{(k^cnr,l^cnr)|从1编码的中心子孔径图像像素坐标}。在中心子孔径图像上检测角点的方法，可采用常用的Harris、SUSAN等角点检测方法。

步骤5，对中心子孔径图像上检测的每一个角点位置(k^cnr,l^cnr)，在靶标图像上选择可能包含角点特征的微透镜子图像作为候选子图像。其中，对中心子孔径图像上的角点位置(k^cnr,l^cnr)，在靶标图像上选取可能包含角点特征的微透镜子图像的方法为：在原始图像上找到索引为(k^cnr,l^cnr)的微透镜子图像作为候选图像，在其邻域寻找索引为(k',l')的微透镜子图像作为候选图像，其中，k'取到之间整数，l'取到之间整数。

步骤6，对每个候选子图像做角点检测，得到角点坐标集合亚像素精度坐标}。由于子图像分辨率低，通常只有10×10的分辨率，直接用传统方法检测误差较大，本发明在每个候选微透镜子图像上的角点检测方法，包括以下步骤，图9所示为角点检测示例，图中标注的圆圈对应子图像所在位置，点表示检测的角点所在位置。

1)预处理：对每幅候选微透镜子图像以子图像上像素的最大灰度值I_max与最小灰度值I_min之差的一半为门限值将子图像二值化，得图像对二值化的子图像进行2个像素的加边处理，加边像素的值等于邻近的原二值图像边缘像素值，得图像

2)初始角点确定：为了提高标定的准确性，通常忽略棋盘靶标的外围角点检测，而只检测内角点，其在子图像上主要表现为“X”型角点，如图3所示，此类角点的环形邻域跳变次数为4次，这样简化了划分像素类型的复杂性。利用8-邻域(图4)和12-邻域(图5)两个环形邻域模板扫描子图像统计两个环形邻域各自的跳变次数。选择两个环形邻域跳变次数均大于等于4的对应像素位置作为初始角点位置；

3)像素级角点优化选择：步骤2)确定的初始角点往往包含理想角点和附近的多个像素，因此需要进行优化选择。本发明采用的方法是，在原子图像上使用Harris角点检测方法，计算初始角点集合中每个像素的角点响应，选择响应度量最大的初始角点像素作为像素级精度的优选角点，位置记为(i^cnr,j^cnr)；

4)异常剔除与亚像素级角点优化：统计每个优选角点(i^cnr,j^cnr)到其所在子图像上的微透镜中心投影位置之间的距离(d_p2c)，计算优选角点所在子图像的微透镜投影中心在中心子孔径图像上对应的像素位置与中心子孔径图像的角点之间的距离(d_c2c)，然后，剔除比值(d_p2c/d_c2c)异常的角点；接着，计算剩余角点的平均偏移量最后，沿微透镜投影中心到优选角点的方向，取距离为平均偏移量处作为亚像素级角点位置

步骤7，在步骤4所得角点集{(k^cnr,l^cnr)|从1编码的中心子孔径图像像素坐标}中，选择13个或以上角点，求解简化了的模型初始参数(k_u,K₁,K₂,K₃,R,T)。其中，简化的模型参数是指估计初始参数时，尽可能简化模型，以便得到参数的闭式解。假定世界坐标系建立在靶标平面上，即靶标上所有角点的世界坐标Z_W轴分量为0，假设相机坐标系到图像坐标系变换时，U轴、V轴方向缩放比例一致，平移量为0，即k_u＝k_v，u₀＝v₀＝0，进一步，假设仅以微透镜中心投影位置为分析对象，即式(1)中，u＝u_c。于是，由式(1)可得：

将式(2)的两个方程式相加可简化为一个方程式(3)，可以通过两种方式求解初始参数。一种方式是，在中心子孔径图像上任取13个角点，使用简化方程式(2)，并增加约束条件以解析的方式求解；另一种方式是，在中心子孔径图像上取所有角点，根据简化方程式，叠加所有角点构建Ax＝0的矩阵形式，然后对A作奇异值分解，得到初始参数。

步骤8，以步骤7所得的参数估计为初值，步骤6检测的所有角点{亚像素精度坐标}为观测数据集，采用非线性优化方法使所有角点的重投影误差之和最小，得到非畸变模型参数(k_u,k_v,u₀,v₀,K₁,K₂,K₃,R,T)。其中，重投影误差是指：物点像点对应关系确定时，由像点重投影出一条光线，理想情况下，这条光线应通过场景点，因此重投影光线与场景点的接近程度反映了相机参数估计效果。如图6所示，在相机坐标系下，p_i对应的重投影光线(实线)记为理想情况下，光线应通过点P，用P与光线的接近程度评价重投影误差(记为)。引入一条通过P_M和P两点的辅助直线(记为)，和的夹角为夹角的余弦值定义重投影误差，即

重投影误差的定义如式(4)所示，若已知物点P的世界坐标(X_w,Y_w,Z_w)，像点p_i的图像坐标(u,v)和相应微透镜投影中心坐标(u_c,v_c)，则将式(5)～(7)代入式(4)，可得关于参数k_u,k_v,u₀,v₀,K₁,K₂,K₃,R,T的重投影误差值。

非线性优化方法的优化目标是使检测得到的所有角点的重投影误差之和最小，目标函数定义如式(8)所示。当前主要的非线性优化方法均可实现对式(8)的优化，比如matlab的lsqnonlin函数即是一种实现形式。

步骤9，以步骤8估计的非畸变模型参数为初值，并令畸变参数k₁、k₂的初值为(0,1)之间的随机值，仍以步骤6检测的所有角点{亚像素精度坐标}为观测数据集，采用非线性优化方法使所有角点的重投影误差之和最小，估计得到畸变模型参数(k₁,k₂,k_u,k_v,u₀,v₀,K₁,K₂,K₃,R,T)。

其中，畸变模型参数是指，进一步考虑主透镜畸变，而引入参数k₁、k₂描述径向畸变，式(9)给出了理想像点与实际像点之间的关系，其中(x,y)表示实际像点坐标，表示理想像点坐标。

考虑主镜头畸变后，像点的重投影误差重新定义为式(10)，其中变量var上标的号表示变量var的理想值，这些理想值均可由式(5)～(7)的实际值代入式(9)而得到。

非线性优化的目标函数可进一步定义为式(11)，令k₁、k₂为(0,1)之间的随机值，可采用类似步骤8的非线性优化方法，得到考虑畸变的相机参数k₁,k₂,k_u,k_v,u₀,v₀,K₁,K₂,K₃,R,T的值。

本实施例中采用如图10所示的Lytro光场相机和标定靶标进行微透镜光场相机的标定，并与同类Bok方法进行对比分析。

本发明方法和Bok方法在标定过程中都没有将子孔径图像作为定量约束条件，因此，可以根据标定结果生成子孔径图像，然后计算角点在子孔径图像上的投影误差。本发明根据标定参数生成子孔径图像的思路与Bok方法一致，即在原始图像上连接相邻子图像上偏移量为(i,j)的像素，形成子孔径图像对应的三角网格，然后利用三角插值法得到对应的子孔径图像。图11给出了基于Lytro相机的标定参数，棋盘栅格角点在各子孔径图像上的均方根误差值。由图可知，本发明的子孔径图像投影均方根误差略小于Bok方法。

Claims (5)

1.一种面向微透镜光场相机的标定方法，其特征在于，包括以下步骤：

(1)使用微透镜光场相机plenoptic 1.0采集高曝光原始白图像和棋盘靶标原始图像

(2)对原始白图像去马赛克得到真彩色白图像进行峰值检测，得到所有微透镜中心投影位置集合，并检测微透镜子图像的有效半径N_r；

(3)对靶标原始图像去马赛克得到真彩色靶标图像根据步骤(2)得到的微透镜中心投影位置集合和微透镜子图像有效半径N_r，解码靶标原始图像，得到4D光场数据L(i,j,k,l)；

(4)由4D光场数据L(i,j,k,l)生成中心子孔径图像在上检测角点，得到角点索引坐标集合；

(5)根据中心子孔径图像上检测的每一个角点位置，在靶标图像上选择可能包含角点特征的微透镜子图像作为候选子图像；

(6)对每个候选子图像做角点检测，得到角点坐标集合；

(7)在步骤(4)所得的角点索引坐标集合中至少选择13个角点，求解简化之后的模型初始参数；

(8)以步骤(7)所得的参数为初值，步骤(6)检测的所有角点坐标为观测数据集，采用非线性优化方法使所有角点的重投影误差之和最小，得到非畸变模型参数；

(9)以步骤(8)中的非畸变模型参数为初值，步骤(6)检测的所有角点坐标为观测数据集，采用非线性优化方法使所有角点的重投影误差之和最小，估计得到畸变模型参数。

2.根据权利要求1所述的一种面向微透镜光场相机的标定方法，其特征在于，所述步骤(2)中的峰值检测方法为：

1)对真彩色图像进行低通滤波，降低噪声干扰；

2)根据微透镜光场相机标称的像素分辨率(M×M)及角度分辨率(N×N)，假定每个微透镜的中心投影位置为(q,r)；

3)对每个微透镜，在假定的中心位置(q,r)及其25邻域像素集中，以3×3滑动窗口检测其局部峰值；

4)在图像上，将每个微透镜子图像的候选中心位置坐标均值(m,n)作为该微透镜投影中心位置。

3.根据权利要求1所述的一种面向微透镜光场相机的标定方法，其特征在于，所述步骤(2)中微透镜子图像有效半径的检测方法为：以微透镜投影中心位置为起点，沿图像坐标系横轴的正负两个方向、纵轴的正负两个方向遍历像素，直到像素值发生突变，最后将四个方向的平均移动距离向下取整。

4.根据权利要求1所述的一种面向微透镜光场相机的标定方法，其特征在于，所述步骤(3)中的解码方法为：以(k,l)作为微透镜投影中心的索引，以(i,j)作为微透镜子图像上像素的索引，(k,l)处微透镜对应子图像上(i,j)处的像素值即为4D光场数据L(i,j,k,l)。

5.根据权利要求1所述的一种面向微透镜光场相机的标定方法，其特征在于，所述步骤(6)中的角点检测方法为：

1)预处理：对每幅候选微透镜子图像二值化，之后对二值化的子图像进行两个像素的加边处理，得到图像

2)初始角点确定：选择两个环形邻域跳变次数均大于等于4的对应像素位置作为初始角点位置；

3)像素级角点优化选择：选择响应度量最大的初始角点像素作为像素级精度的优选角点；

4)剔除异常角点与亚像素级角点优化。