CN104613871B - 一种微透镜阵列和探测器耦合位置关系的标定方法 - Google Patents

Abstract

本发明是一种微透镜阵列和探测器耦合位置关系的标定方法。本方法包括：将微透镜阵列和探测器耦合后的器件与前置光学系统结合形成光场成像系统；基于中心投影原理，以主镜中心为投影中心构建微透镜中心与探测器平面上点p_i,j的映射方程；利用平行光源确定主镜与微透镜阵列之间大致距离；利用均匀面光源对光场成像系统进行定标，确定p_i,j在探测器平面上的实际坐标；确定L₁的精确值；利用优化算法估计微透镜阵列与探测器之间的耦合误差角ω、κ和d。本发明只需大致确定光场成像系统中微透镜阵列与前置光学系统之间的位置关系，就可以实现微透镜阵列和探测器之间的间距以及旋转角等参数，应用简单，利于实际操作。

Description

一种微透镜阵列和探测器耦合位置关系的标定方法

技术领域

本发明涉及光学成像技术，属于仪器参数标定技术领域，具体涉及一种微透镜阵列和探测器耦合位置关系的标定方法。

背景技术

基于光场成像技术的光场相机(Plenoptic Camera)由前置光学系统和后置光学系统组成，其后置光学系统由微透镜阵列和探测器耦合而成，两者距离为微透镜的焦距。此外，Shack-Hartmann波前传感器由微透镜阵列和探测器耦合而成，两者距离也为微透镜的焦距。光场相机中提取的光场信息的准确性和利用Shack-Hartmann进行波前测量的精度都受到微透镜阵列和探测器耦合位置关系的影响。因此标定微透镜阵列和探测器之间的距离和配准误差具有重要意义。

文献[1]:J.Vargas,and et al.,“Calibration of a Shack-Hartmannwavefront sensor as an orthographic camera,”Optics Letters,35(11),1762-1764,2010，将Shack-Hartmann传感器作为正交照相机进行标定，采用平行光直接入射到微透镜阵列上，改变入射光角度，基于正交投影公式推导出相应的单应性矩阵和旋转矩阵，进而计算出微透镜阵列与探测器之间的旋转矩阵及偏转角度。在已知入射光偏角的情况下推导出微透镜阵列与探测器之间的距离。该方法需要确定不同角度平行光之间的夹角，且存在x与y方向两个夹角，不利于实际操作及计算，且仿真结果显示，该方法对偏转角度计算结果的稳定性差，精度低。

文献[2]：C.M.Thomason,T.F.Fahringer,and B.S.Thurow,“Calibration of aMicrolens Array for a Plenoptic Camera”,52^nd Aerospace Science Metting,2014,American Institute of Aeronautics and Astronautics，将实际测量的主镜中心经微透镜后在探测器上的实际位置，与利用公式和估计的位置参数推导的中心位置对比，采用数值估计逼近法得出光场相机中的微透镜阵列与探测器之间的偏转角度等相关参数。该方法未对微透镜阵列和探测器之间的间距进行标定，默认其为理想位置关系，并利用该数值代入公式估计系统其它参数，因此结果稳定性差，精度不高。

发明内容

本发明所要解决的技术问题在于：提供一种适用于标定微透镜阵列和探测器之间的耦合位置误差的方法，耦合位置误差包括微透镜阵列与探测器之间的耦合距离误差，以及耦合倾角误差。

本发明将微透镜阵列和探测器耦合后的器件与前置光学系统结合，使微透镜阵列位于前置光学系统的成像面上，形成一个光场成像系统。基于微透镜阵列所在平面建立世界坐标系O'-UVW，O'点为光轴与微透镜阵列所在平面的交点，UV平面平行于微透镜阵列所在平面，取微透镜中心距离O'点最近的微透镜作为中心微透镜，中心微透镜的中心在平面坐标系O'-UV的坐标为(u₀,v₀)。基于S点为原点建立相机坐标系S-XYZ，XY平面平行于探测器所在平面，Z轴为过S点的系统光轴，且与探测器所在平面相交于C点。取探测器某一顶点c为原点，建立探测器平面坐标系c-xy；设微透镜阵列具有N×M个微透镜。

本发明提出的一种微透镜阵列和探测器耦合位置关系的标定方法，包括以下几个步骤：

步骤一：标记微透镜阵列到前置光学系统等效的主镜M_L之间距离为L₁；设U、V、W轴与X、Y、Z之间的旋转角分别为、ω、κ，设微透镜阵列和探测器之间待标定的距离为d。

步骤二：对于光场成像系统主镜M_L的中心点S(过光轴)、任意微透镜中心P_i,j以及主镜经该透镜在探测器上所成像的中心p_i,j在一条直线上。基于中心投影原理，建立任意p_i,j与P_i,j投影映射方程，该映射方程包括主镜位置、微透镜阵列与CCD探测之间的耦合距离和耦合旋转角度等参数。

步骤三：利用平行光源确定主镜M_L与微透镜阵列之间的大致距离，L₁在范围[f_L-σ,f_L+σ]内；其中，f_L为主镜M_L的等效焦距，σ为qF#，F#为主镜的F数，等于主镜焦距f_L除以主镜通光口径D，q为相邻微透镜的间距。

步骤四：利用均匀面光源(或漫反射白板)对整个光场成像系统进行定标，确定p_i,j在探测器平面上的实际坐标。

步骤五：根据步骤二的映射方程确定p_i,j在探测器平面的理论坐标，利用[f_L-σ,f_L+σ]作为L₁的约束，利用理论坐标和实际坐标建立目标函数，基于优化算法确定主镜到微透镜阵列之间间距L₁的精确值。

步骤六：利用优化算法和标定结果估计微透镜阵列与探测器之间的耦合误差角、ω、κ和间距d。

本发明的优点与积极效果在于：(1)本发明只需大致确定光场成像系统中微透镜阵列与前置光学系统之间的位置关系，就可以实现微透镜阵列和探测器之间的间距以及旋转角等参数的精确标定，应用简单，利于实际操作；(2)本发明提出的方法，同样适用于针孔阵列和探测器之间的耦合位置关系标定。

附图说明

图1为本发明的微透镜阵列和探测器耦合位置关系的标定方法的流程示意图；

图2为本发明建立的三维坐标关系的示意图；

图3为标定质心位置的示意图；(a)为标定系统，(b)为微透镜后子图像及主镜对应的中心。

具体实施方式

下面将结合附图和实施例对本发明作进一步的详细说明。

本发明是一种针对微透镜阵列和探测器耦合器件进行耦合位置关系参数标定的方法，流程如图1所示，包括以下几个步骤：

步骤一：将微透镜阵列和探测器耦合后的器件与前置光学系统结合形成光场成像系统。

将微透镜阵列和探测器耦合，两者理想间距为微透镜的焦距f_m，实际距离为d，为待标定参量。耦合后的微透镜阵列所在平面与探测器所在平面存在倾角和斜角，即下面的耦合旋转误差角、ω、κ，也属于待标定参量。耦合后的器件与前置光学系统结合，使微透镜阵列位于前置光学系统的成像面上，形成一个光场成像系统。在该系统中，前置光学系统可以等效为一个主镜，标记为M_L，该主镜M_L与探测器关于微透镜共轭，且主镜与微透镜阵列之间距离为L₁，已知微透镜阵列呈矩形排布，具有N×M个微透镜，且微透镜行列方向的间距均为q。N、M均为正整数。

步骤二：建立微透镜阵列所在平面上点P_i,j与探测器上点p_i,j的映射关系。

由于等效主镜M_L与探测器关于微透镜共轭，因此主镜M_L的中心点S、第i行第j列的微透镜中心P_i,j以及主镜经该透镜在探测器上所成像的中心p_i,j在一条直线上。即，点P_i,j与点p_i,j关于S点可视为是互为物像关系。本发明提出基于等效主镜中心点S为投影中心构建微透镜阵列和探测器之间配准关系的映射方程。如图2所示，基于微透镜所在平面建立世界坐标系O'-UVW，O'点为光轴与微透镜阵列所在平面的交点，U轴和V轴分别平行微透镜的行和列，W轴过O'点垂直于UV平面，指向探测器为正向。以S点为原点建立相机坐标系S-XYZ，XY平面平行于探测器所在平面，Z轴为过S点的系统光轴，且与探测器所在平面相交于C点。为了便于计算，对于正方形排布的微透镜阵列，X轴与Y轴分别平行于探测器像元的行列排列方向。取探测器某一顶点c为原点，建立探测器平面坐标系c-xy，x轴与y轴分别平行于探测器像元的行列排列方向。取微透镜中心距离O'点最近的微透镜作为中心微透镜，中心微透镜的中心在平面坐标系O'-UV的坐标为(u₀,v₀)，对微透镜阵列中的微透镜进行标号，将中心微透镜标记为(0,0)，依据坐标轴方向来设置微透镜标号的正负，设标号为(i,j)的微透镜中心点在UV平面的坐标为(U_i,j,V_i,j)，且U_i,j＝iq-u₀，V_i,j＝jq-v₀，且|u₀|<q/2，|v₀|<q/2。

相机坐标系S-XYZ与世界坐标系O'-UVW的关系可以用旋转矩阵R和平移向量t描述，因此微透镜阵列上任意微透镜中心点在世界坐标系的齐次坐标为P_i,j(U_i,j,V_i,j,0,1)和该点在相机坐标系中的坐标为P'_i,j(X_i,j,Y_i,j,Z_i,j)，两者之间存在如下关系：

其中，t＝[0,0,L₁]^T，假设U、V、W轴与X、Y、Z之间的旋转角分别为、ω、κ，则旋转矩阵R为：

其中，

相机坐标系中的P'_i,j(X_i,j,Y_i,j,Z_i,j)被映射到探测器所在平面上p_i,j(x_i,j,y_i,j)，满足下列映射关系：

其中，f＝L₁+d是S点与探测器面之间的距离，d是微透镜阵列到探测器面的距离，(r_x,r_y)为C点在探测器平面坐标系的坐标，结合公式(1)得p_i,j在探测器平面的理论坐标为(x'_i,j,y'_i,j)：

公式(3)就是P_i,j与点p_i,j之间的映射关系。

步骤三：利用平行光源确定主镜与微透镜阵列之间的大致距离。

利用平行光管获得平行光照射光场成像系统，调节主镜M_L到微透镜阵列的距离L₁，使L₁等于主镜M_L的等效焦距f_L。平行光经主镜被汇聚成像为一个小像点，该像点小于微透镜尺寸，因此只有一个微透镜后的探测器像元会产生响应。因此，L₁大小在[f_L-σ,f_L+σ]之间，其中σ为qF#，F#为主镜的F数，等于主镜焦距f_L除以主镜通光口径D。

步骤四：利用均匀面光源对整个系统进行定标，并确定p_i,j在c-xy平面的实际坐标。

将光场成像系统对准均匀面光源，均匀面光源可以是积分球，也可以是漫反射白板等，图3中(a)所示为标定系统，积分球用于提供均匀面光源，相机系统就是步骤一所组成的光场成像系统。任意微透镜后的子图像中心p_i,j对应主镜的中心点S，图3中(b)所示为微透镜后的子图像及主镜对应的中心。通过均匀面光照射判断确定中心微透镜的位置。

本发明实施例中利用质心算法可以计算出p_i,j在探测器平面c-xy坐标系上对应的实际坐标(x_i,j,y_i,j)，质心算法为：

其中，(i,j)为微透镜的标号，J_i,j表示经过微透镜(i,j)的光在探测器上覆盖的像元集合；(k,l)为探测器平面上第k行第l列像元，公式(4)中像元(k,l)在集合J_i,j中取值；I(k,l)表示像元(k,l)的灰度值，x_i,j(k,l)和y_i,j(k,l)为像元(k,l)在探测器平面的坐标。

确定p_i,j在c-xy平面的坐标，除了可以采用质心算法外，其他中心计算法也可，如高斯拟合法等。

步骤五：精确确定主镜M_L到微透镜阵列之间的间距L₁。

根据公式(3)可以确定p_i,j在xy平面的理论坐标(x'_i,j,y'_i,j)，同时步骤四可以标定出实际系统中p_i,j在xy平面的坐标位置(x_i,j,y_i,j)，因此，可以采用优化算法估计满足目标函数最小的方法估计出未知的L₁、d、、ω、κ、u₀、v₀、r_x、r_y的数值。最简单的目标函数是理论坐标(x'_i,j,y'_i,j)与实际坐标(x_i,j,y_i,j)之间误差的均方根满足最小，目标函数如下：

实际上公式(5)给出的目标函数有多个u₀、v₀和r_x、r_y的组合以及多个L₁和d的组合，可以满足最小条件，因此需要改进目标函数。其中，d是需要标定的量，理论上如果已知L₁，可以利用优化算法估计出d。但是，除非搭建一组专门的高精度装夹装置，很难测出L₁的精确数值大小。

因此，本发明提出基于非线性约束的优化算法，先估计给定装置结构精确的L₁。确立剥离L₁和d的参量建立一个不保护d参量的目标函数。根据公式(3)，以及点之间的关系，采用目标函数为不同的p_i,j点和p_i',j'点连线的斜率K，理论值和标定值分别如下：

斜率理论值：

斜率标定值：

其中i≠i',j≠j'。(x_i',j',y_i',j')和(x'_i',j',y'_i',j')分别是p_i,j点和p_i',j'点的实际坐标和理论坐标。

建立新的目标函数如下：

根据步骤三，利用[f_L-σ,f_L+σ]作为L₁的约束，带入非线性约束的优化算法(如Global Search全局搜索算法)根据目标函数Γ₂估计出L₁。

步骤六：利用优化算法和标定结果估计微透镜阵列与探测器之间的耦合误差角ω、κ和耦合间距d。

估计出L₁后，将L₁带入公式(3)，坐标位置变为d、ω、κ、u₀、v₀、r_x、r_y的函数。从公式(3)可见，对任意点而言，r_x、r_y相当于一个常数偏移量作用于坐标位置，相邻点坐标相减后会消除这一常数量，因此目标函数可以是理论上两点之间的距离l'_ij和实际测量的两点之间距离l_ij的误差均方根，其目标函数如下：

其中

目标函数Γ₃只包含d、ω、κ、u₀、v₀，因此可以保证所估计的u₀、v₀值不受r_x、r_y影响，采用非线性优化算法，如下Nelder-Mead或全局搜索算法Global Search，根据目标函数Γ₃估计出d、ω、κ、u₀、v₀。

本发明对于步骤六的实现还可以采用下面方法。

步骤6.1：利用公式(3)和步骤三的结果计算微透镜阵列与探测器之间的间距d。本发明根据映射方程以及近似关系实现对微透镜阵列和探测器之间的间距d的标定。

装配误差引起的旋转角ω、κ很小(10^-3rad量级)，因此可以根据泰勒展开的近似结果表达，如：

ω和κ的处理也同将近似值代入公式(2)，并忽略二阶及二阶以上小量的近似，则得：

根据步骤四判断的中心微透镜位置，取微透镜阵列上两个微透镜，标号为(i,j)和(-i,-j)，也就是分别距离中心微透镜(i,j)个和(-i,-j)个微透镜，因此选中的两个微透镜中心在UO'V平面的坐标分别A_i,j(iq-u₀,jq-v₀)和A-_i,-j(-iq-u₀,-jq-v₀)，其在探测器上实际对应点为p_i,j(x_i,j,y_i,j)和p_-i,-j(x_-i,-j,y_-i,-j)，可以利用步骤四获取。根据公式(3)和近似公式(11)可得：

令m₀＝iq+κjq，m₀₁＝-u₀-κv₀，g₀＝-κiq+jq，g₀₁＝κu₀-v₀， 当i和j取值大于100时，则有公式(12)和(13)可简化为：

则有：

已知ω、κ∝10^-3rad，且L₁>iq,L₁>jq,易得m₀₁n/L₁m₀∝10^-5，g₀₁n/L₁g₀∝10^-5，则公式(15)可以进一步忽略小量化简，并获得p_i,j和p_-i,-j的距离公式如下：

等式左边的x和y坐标可由步骤四中确定，i和j是已经选定的值，L₁是已知实验装置参数，则可求得：

由此可以计算获得微透镜阵列与探测器之间的间距，仿真结果显示根据公式(17)计算的间距与理论值之间的相对误差在10^-4数量级。

步骤6.2：利用优化算法和标定结果估计微透镜阵列与探测器之间的耦合误差角ω、κ。

根据公式(3)可以确定p_i,j在xy平面的理论坐标(x'_i,j,y'_i,j)，同时步骤四可以标定出实际系统中p_i,j在xy平面的坐标位置(x_i,j,y_i,j)，因此可以采用优化估计算法，估计出未知的ω、κ、u₀、v₀、r_x、r_y的数值。可以采用非线性无约束的优化算法，如Nelder-Mead单一算法或全局搜算算法，估计满足目标函数最小的结果。最简单的目标函数是理论坐标(x'_i,j,y'_i,j)与实际坐标(x_ij,y_ij)之间误差的均方根满足最小，目标函数如下：

实际上公式(18)给出的目标函数有多个u₀、v₀、r_x、r_y的组合可以满足最小条件，因此需要改进目标函数。从公式(3)可见，对任意点而言，r_x、r_y相当于一个常数偏移量作用于坐标位置，相邻点坐标相减后会消除这一常数量，因此目标函数可以是理论上两点之间的距离l'_ij和实际测量的两点之间距离l_ij的误差均方根，其目标函数如下：

其中目标函数Γ'₂只包含ω、κ、u₀、v₀，因此可以保证所估计的u₀、v₀值不受r_x、r_y影响，同时结合目标函数Γ'₁可确定对应的r_x、r_y值，故采用的优化估计基于公式为：

以公式(20)为目标函数，采用优化算法估计出相应的微透镜阵列与探测器之间耦合的旋转误差角ω、κ。

Claims (4)

1.一种微透镜阵列和探测器耦合位置关系的标定方法，将微透镜阵列和探测器耦合后的器件与前置光学系统结合，使微透镜阵列位于前置光学系统的成像面上，形成一个光场成像系统；基于微透镜所在平面建立世界坐标系O'-UVW，O'点为光轴与微透镜阵列所在平面的交点，UV平面平行于微透镜阵列所在平面，取微透镜中心距离O'点最近的微透镜作为中心微透镜，中心微透镜的中心在平面坐标系O'-UV的坐标为(u₀,v₀)，对微透镜阵列中的微透镜进行标号，(i,j)为微透镜的标号，将中心微透镜标记为(0,0)，依据坐标轴方向来设置微透镜标号的正负；基于S点为原点建立相机坐标系S-XYZ，XY平面平行于探测器所在平面，Z轴为过S点的系统光轴，且与探测器所在平面相交于C点；取探测器某一顶点c为原点，建立探测器平面坐标系c-xy；设微透镜阵列具有N×M个微透镜；

其特征在于，包括如下步骤：

步骤一：标记微透镜阵列到前置光学系统等效的主镜M_L之间距离为L₁；设U、V、W轴与X、Y、Z之间的旋转角分别为ω、κ，设微透镜阵列和探测器之间的耦合间距为d；

步骤二：主镜M_L的中心点S、任意微透镜中心P_i,j以及主镜经该透镜在探测器所成像的中心p_i,j在一条直线上，基于中心投影原理，建立p_i,j与P_i,j的映射方程；

步骤三：利用平行光源确定主镜M_L与微透镜阵列之间大致距离，L₁在范围[f_L-σ,f_L+σ]内；其中，f_L为主镜M_L的等效焦距，σ为qF#，F#为主镜的F数，等于主镜焦距f_L除以主镜通光口径D，q为微透镜之间的间距；

步骤四：利用均匀面光源对光场成像系统进行定标，确定p_i,j在探测器平面上的实际坐标；

步骤五：根据步骤二的映射方程确定p_i,j在探测器平面的理论坐标，利用[f_L-σ,f_L+σ]作为L₁的约束，利用理论坐标和实际坐标建立目标函数，确定L₁的精确值；

步骤六：根据L₁的精确值，利用优化算法估计微透镜阵列与探测器之间的耦合误差角ω、κ和d；

具体采用非线性优化算法根据目标函数Γ₃估计出d、ω、κ、u₀和v₀：

目标函数

其中，两个距离

${l^{\&prime;}}_{ij}=\sqrt{{({x^{\&prime;}}_{i,j}-{x^{\&prime;}}_{i-1,j-1})}^2+{({y^{\&prime;}}_{i,j}-{y^{\&prime;}}_{i-1,j-1})}^2},l_{ij}=\sqrt{{(x_{i,j}-x_{i-1,j-1})}^2+{(y_{i,j}-y_{i-1,j-1})}^2}$

(x_i,j,y_i,j)和(x'_i,j,y'_i,j)分别为p_i,j在探测器平面的实际坐标和理论坐标，

(x_i-1,j-1,y_i-1,j-1)和(x'_i-1,j-1,y'_i-1,j-1)分别为p_i-1,j-1在探测器平面的实际坐标和理论坐标，p_i-1,j-1为主镜经标号为(i-1,j-1)的微透镜在探测器所成像的中心。

2.根据权利要求1所述的一种微透镜阵列和探测器耦合位置关系的标定方法，其特征在于，所述的步骤二中，用旋转矩阵R和平移向量t描述相机坐标系S-XYZ与世界坐标系O'-UVW的关系，其中t＝[0,0,L₁]^T，R表示为：

c₁＝sinωsinκ-cosωsinφcosκ

c₂＝sinωcosκ+cosωsinφsinκ；

c₃＝cosωcosφ

任意微透镜中心点在世界坐标系的齐次坐标P_i,j为(U_i,j,V_i,j,0,1)，主镜经该透镜所成像的中心p_i,j在探测器平面上的理论坐标(x'_i,j,y'_i,j)为：

$\left\{\begin{array}{c}{x^{\&prime;}}_{i,j}=\frac{a_1{U}_{i,j}+b_1{V}_{i,j}}{a_3{U}_{i,j}+b_3{V}_{i,j}+L_1}(L_1+d)+r_x\\ {y^{\&prime;}}_{i,j}=\frac{a_2{U}_{i,j}+b_2{V}_{i,j}}{a_3{U}_{i,j}+b_3{V}_{i,j}+L_1}(L_1+d)+r_y\end{array}\right.;$

其中，(r_x,r_y)为C点在探测器平面坐标系的坐标。

3.根据权利要求1或2所述的一种微透镜阵列和探测器耦合位置关系的标定方法，其特征在于，所述的步骤五中，设p_i,j在探测器平面的实际坐标和理论坐标分别为(x_i,j,y_i,j)和(x'_i,j,y'_i,j)，设p_i‘,j‘在探测器平面的实际坐标和理论坐标分别为(x_i',j',y_i',j')和(x'_i',j',y'_i',j')，i≠i',j≠j'；p_i‘,j‘为主镜经标号为(i',j')的微透镜在探测器所成像的中心；p_i,j点和p_i‘,j‘点连线的斜率的理论值和标定值如下：

理论值标定值

建立目标函数

和分别为p_i,j点和p_i+1,j+1点连线的斜率的标定值和理论值；p_i+1,j+1为主镜经标号为(i+1,j+1)的微透镜在探测器所成像的中心；

利用[f_L-σ,f_L+σ]作为L₁的约束，带入非线性约束的优化算法，估计L₁的精确值。

4.根据权利要求1或2所述的一种微透镜阵列和探测器耦合位置关系的标定方法，其特征在于，所述的步骤六，具体实现步骤为：

步骤6.1：确定微透镜阵列与探测器之间的间距d；

$d=\&lsqb;\frac{\sqrt{{(x_{i,j}-x_{-i,-j})}^2+{(y_{i,j}-y_{-i,-j})}^2}}{2q\sqrt{i^2+j^2}}-1\&rsqb;L_1$

(x_i,j,y_i,j)为p_i,j在探测器平面的实际坐标，(x_-i,-j,y_-i,-j)为p_-i,-j在探测器平面的实际坐标；p_-i,-j为主镜经标号为(-i,-j)的微透镜在探测器所成像的中心；

步骤6.2：利用非线性优化算法确定ω和κ；

目标函数为：

其中，

函数

函数

${l^{\&prime;}}_{ij}=\sqrt{{({x^{\&prime;}}_{i,j}-{x^{\&prime;}}_{i-1,j-1})}^2+{({y^{\&prime;}}_{i,j}-{y^{\&prime;}}_{i-1,j-1})}^2},l_{ij}=\sqrt{{(x_{i,j}-x_{i-1,j-1})}^2+{(y_{i,j}-y_{i-1,j-1})}^2};$

(x'_i,j,y'_i,j)为p_i,j在探测器平面的理论坐标，(x_i-1,j-1,y_i-1,j-1)和(x'_i-1,j-1,y'_i-1,j-1)分别为p_i-1,j-1在探测器平面的实际坐标和理论坐标。