CN102184545A - 折反射全向相机镜面位姿的单图自标定方法 - Google Patents

Abstract

本发明公开了一种折反射全向相机镜面位姿的单图自标定方法。它首先利用所采集的图像中镜面外边缘上的像点所拟合而成的椭圆，计算获得两个候选位姿。利用这两个候选位姿分别生成透视相机镜头边缘的两组预测成像。将这两组预测成像和实际镜头成像比较，差别小的预测成像所对应的候选位姿即为实际镜面位姿。标定过程中必需的实际镜头边缘和相机投影中心的距离是通过优化搜索的方法获得的。本发明克服了已有标定方法的不足，在已知镜面参数和透视相机参数的情况下，不需要任何其它的标定物，只需要折反射全向相机的一幅自拍图像即可估计出反射镜面与透视相机之间的旋转矩阵和平移向量。本标定方法兼具抗干扰性强、操作简单、精度较高的特点。

Description

折反射全向相机镜面位姿的单图自标定方法

技术领域

本发明涉及计算机视觉领域中全向相机的参数标定方法。具体来说是一种获得折反射全向相机中反射镜面与透视相机之间的旋转矩阵和平移向量等位姿参数的方法。

背景技术

能覆盖水平方向360度视场的折反射全向相机弥补了传统相机视场受限的不足，在移动机器人导航、视频会议、远程教育、视频监控和场景重建等领域得到了广泛的应用。折反射全向相机一般由一个普通透视相机和一个反射镜面组成。它们的共同特点是来自物体的入射光线先经过镜面反射后再进入透视相机。

决定全向相机特性的参数主要有：镜面参数、透视相机参数以及镜面和透视相机之间的位姿参数。全向相机标定方法大致分为如下两类：一类不再把全向相机各个组成部分的参数单独考虑，而是将其总的成像特性用泰勒级数模型表示，通过拍摄多幅标定模板的图像，根据特征点的对应关系获得泰勒级数模型的参数。这类标定方法适合相机和镜面参数未知，但镜面和透视相机安装精度较高，轴向误差很小的情况。如鱼眼相机、单视点折反射全向相机等。当安装误差较大时，单视点折反相机也变成了非单视点。另一类方法可以针对非单视点折反射相机，它还是将全向相机的参数分为镜面参数、透视相机参数以及位姿参数，全部或者部分进行标定。文献1(Jonathan Fabrizio，Jean-Philippe Tarel and Ryad Benosman，“Calibration of Panoramic Catadioptric Sensors Made Easier”，in Proceedings of the Third Workshop on Omnidirectional Vision，pp.45-52，(2002))利用镜面的外边缘和专门设计的底部边缘作为标定物，从镜面的边界图像上恢复出未知的CCD相机内参以及镜面与相机之间的位置关系。但专门设计的镜面底部边缘无疑占用了部分镜面反射区域。文献2(Mashita，T.，1wai，Y.and Yachida，M.“Calibration method for misaligned catadioptric camera”，in IEICE-Trans，E89-D，1984-1993(2006))利用镜面上边缘以及多条无穷远直线的像来估计镜面与相机的位置关系。但是这种方法仅仅适合于镜面中心轴与摄像机光轴不重合误差较小的情况，并且还需要准备由多条直线构成的标定模板。文献3(Morel，O.，Fofi，D.，“Calibration of catadioptric sensors by polarization imaging”，in Proc.IEEE International Conference on Robotics and Automation，pp.3939-3944(2007))利用偏振图像来标定镜面参数，它需要拍摄三幅不同的偏振图像。文献4(Goncalves，N.，Arauj o，H.，“Estimating parameters of noncentral catadioptric systems using bundle adjustment”，in Computer Vision and Image Understanding，pp.11-28(2009))基于场景中预先布置好的标定模板，采用非线性优化的方法(光束平差法)标定出透视相机内参，镜面参数以及镜面与相机之间的位置关系。

在实际应用中，折反射全向相机的镜面参数一般已知而且加工精度较高，误差很小可以忽略。透视相机参数也可以通过很成熟的相机标定方法事先获得。而镜面和透视相机之间的位姿参数，受安装精度的限制很难得到保证。因此需要对该参数进行标定。

发明内容

针对现有标定方法的不足，针对镜面参数和相机内参已知的情况，本发明的目的在于提供一种折反射全向相机镜面位姿的单图自标定方法，不需要任何其他标定物，只需折反射相机拍摄的一幅图像就能完全确定反射镜面与透视相机之间相对位置关系的标定方法。

本发明采用的技术方案的步骤如下：

(1)利用折反射全向相机拍摄一幅图像，确保图像中反射镜面边缘成像清晰；

(2)利用Canny算子，分别检测出图像中反射镜面边缘和相机镜头边缘的成像边界，利用这两组椭圆成像边界像素点构成的点集，分别拟合出两个椭圆的方程；两个椭圆系数分别用矩阵表示为I和Ｑ₀；

(3)根据反射镜面边缘成像的椭圆方程和已知的镜面以及透视相机参数，估计反射镜面与透视相机之间的两组候选位姿参数；

(4)将实际相机镜头边缘和相机投影中心的距离h₁在取值范围内离散化，对每一个h₁，利用获得的两组候选位姿参数，分别生成两组镜头预测成像；

(5)比较两组镜头预测成像和实际镜头成像，平均误差最小的镜头预测成像所对应的位姿参数即为所求的镜面位姿参数，同时它所对应的h₁就是实际镜头边缘和相机投影中心的距离。

所述的步骤(3)中候选位姿参数的估计步骤为：令I_C＝K^TIK，其中K为已知的透视相机内参矩阵，将进I_C进行特征值分解为I_C＝VΛV^T，其中Λ＝diag{λ₁，λ₂，λ₃}为特征值矩阵，V＝(v₁，v₂，v₃)为特征值对应的特征向量矩阵。则镜面坐标系和摄像机坐标系之间的旋转变换为：

R_M＝VR；

其中R为一旋转矩阵：

$R=\left(\begin{array}{ccc}g\cos \mathrm{\θ}& S_{1}g\sin \mathrm{\θ}& S_{2}h\\ \sin \mathrm{\θ}& -S_1\cos \mathrm{\θ}& 0\\ S_1{S}_{2}h\cos \mathrm{\θ}& S_{2}h\sin \mathrm{\θ}& -S_{1}g\end{array}\right)$

θ是一个自由变量，S₁和S₂是待定的符号变量，其数值为+1或-1.

$\left\{\begin{array}{c}g=\sqrt{({\mathrm{\λ}}_2-{\mathrm{\λ}}_3)/({\mathrm{\λ}}_1-{\mathrm{\λ}}_3)}\\ h=\sqrt{({\mathrm{\λ}}_1-{\mathrm{\λ}}_2)/({\mathrm{\λ}}_1-{\mathrm{\λ}}_3)}\\ {\mathrm{\λ}}_1{\mathrm{\λ}}_2>0,\left|{\mathrm{\λ}}_1\right|>\left|{\mathrm{\λ}}_2\right|\end{array}\right.$

镜面坐标系与摄像机坐标系之间的平移向量为：

T_M＝C_C-R_M(0，0，dh)^T

其中dh表示镜面边缘圆心到镜面坐标系原点O_M的距离；

$\left\{\begin{array}{c}{z}_0=S_3{\mathrm{\λ}}_2\frac{r_0}{\sqrt{-{\mathrm{\λ}}_1{\mathrm{\λ}}_3}}\\ n_C=R_M{\left(\mathrm{0,0,1}\right)}^T=\mathrm{VR}{\left(\mathrm{0,0,1}\right)}^T=V(S_{2}h0-S_{1}g)\\ C_c=R_M{z}_0=z_0\mathrm{VR}{(\frac{x_0}{z_0},\frac{y_0}{z_0},1)}^T=z_{0}V(S_{2}h0-S_{1}g\frac{{\mathrm{\λ}}_1}{{\mathrm{\λ}}_2})\end{array}\right.---\left(2\right)$

其中S₃是一个待定的符号变量，C_C是摄像机坐标系下镜面边缘圆心，n_C是单位法向量，z₀是镜面边缘坐标系下镜面边缘圆心的Z坐标；在实际情况下，限定n_C指向远离相机的方向且C_C在透视相机前方，即：

$\left\{\begin{array}{c}{z}_0>0\\ n_C\·{\left(\mathrm{0,0,1}\right)}^T>0\end{array}\right.$

因此，获得两组镜面候选位姿参数

(i＝1，2)。

所述的步骤(4)两组镜头预测成像生成的步骤为：将摄像机坐标系下的半径为r₁且其中心距离光心h₁的镜头边缘上的L个均匀采样点

(θ_j∈[0，2π]，j＝0，1，…L-1)以及光心O_c通过下式映射到镜面坐标系下 $P_M^{\mathrm{ij}}={(P_X^{\mathrm{ij}},P_Y^{\mathrm{ij}},P_Z^{\mathrm{ij}})}^T$ 和

$P_M^{\mathrm{ij}}={R_m^i}^T(P_C^j-T_M^i)$

$O_{\mathrm{CM}}^i={R_m^i}^T(O_C-T_M^i)$

对于每一个

存在一个相应的镜面反射点

使得在该点的法向量平分入射光线和反射光线的夹角。通过反射镜面函数Z_M＝f(X_M，Y_M)，(Z_M＞0)可以求得其偏导

因此在镜面反射点

处的法向量表示为：

$N_M^{\mathrm{ij}}=(f_{X_M}\left(S_M^{\mathrm{ij}}\right),f_{Y_M}\left(S_M^{\mathrm{ij}}\right),-1)$

对上式进行归一化得到

反射定律的矩阵形式由下式表示：

${\stackrel{\‾}{H}}_M^{\mathrm{ij}}=A{\stackrel{\‾}{G}}_M^{\mathrm{ij}}$

$A=\left[\begin{array}{ccc}1-2N_X^{\mathrm{ij}2}& -2N_X^{\mathrm{ij}}{N}_Y^{\mathrm{ij}}& -2N_X^{\mathrm{ij}}{N}_Z^{\mathrm{ij}}\\ -2N_X^{\mathrm{ij}}{N}_Y^{\mathrm{ij}}& 1-2N_Y^{\mathrm{ij}2}& -{2N}_Y^{\mathrm{ij}}{N}_Z^{\mathrm{ij}}\\ -2N_X^{\mathrm{ij}}{N}_Z^{\mathrm{ij}}& -2N_Y^{\mathrm{ij}}{N}_Z^{\mathrm{ij}}& 1-2N_Z^{\mathrm{ij}2}\end{array}\right]$

其中

和

是在镜面点处反射光线 $H_M^{\mathrm{ij}}={(O_X^i-S_X^{\mathrm{ij}},O_Y^i-S_Y^{\mathrm{ij}},O_Z^i-S_Z^{\mathrm{ij}})}^T$ 和入射光线 $G_M^{\mathrm{ij}}={(S_X^{\mathrm{ij}}-P_X^{\mathrm{ij}},S_Y^{\mathrm{ij}}-P_Y^{\mathrm{ij}},S_Z^{\mathrm{ij}}-P_Z^{\mathrm{ij}})}^T$ 的归一化形式。通过最小化目标函数求得反射镜面点

$S_M^{\mathrm{ij}}=\underset{S_M^{\mathrm{ij}}}{\arg \min }[{({\stackrel{\‾}{H}}_M^{\mathrm{ij}}-{A\stackrel{\‾}{G}}_M^{\mathrm{ij}})}^2+{(Z_M-f(X_M,Y_M))}^2]$

将镜面坐标系下的镜面点转换到摄像机坐标系下

最后通过投影关系获得镜头边缘点的预测投影

$S_C^{\mathrm{ij}}=R_M^i{S}_M^{\mathrm{ij}}+T_M^i$

${\tilde{u}}_{\mathrm{ij}}={\mathrm{sKS}}_C^{\mathrm{ij}}$

并将所有预测像点进行椭圆拟合。

所述的步骤(5)中镜面位姿参数选择的步骤为：从实际镜头图像的椭圆中心u₀每隔固定的角度向椭圆边界Q_k(k＝0，1，2)拉W条射线，分别与三个椭圆相交于u_kl(k＝0，1，2；l＝0，1，2…W-1)。由下式来定义平均误差：

${\mathrm{err}}_k=\sqrt{\left(\underset{l}{\mathrm{\Σ}}{(u_{0l}-u_{\mathrm{kl}})}^2\right)/W},$ (k＝1，2；l＝0，1，2…W-1)

实际应用中h₁不能从镜头参数列表中得出，把h₁当成未知变量，在一定范围内对其进行离散化一维搜索。最后选择使得平均误差最小的那组位姿参数作为正确的反射镜面与透视相机之间的位姿关系。

本发明具有的有益效果是：

本发明提出折反射全向相机镜面位姿的单图自标定方法，该算法兼顾了抗噪性能、操作复杂度、计算时间和精度的要求，不需要对环境做特殊的设置，也不需要使用任何其他标定物，仅用折反射全向相机拍摄的一幅场景图像就可以有效的标定出反射镜面与透视相机的位置关系。适合于由参数已知的反射镜面组成的折反射全向相机的标定。

附图说明

图1是本发明的总体流程图。

图2是折反射全向相机系统坐标系关系示意图。

图3是镜面位姿选择法示意图。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步的描述。

折反射全向相机系统由透视相机和反射镜面组成。图1给出了折反射全向相机标定方法的技术流程。该流程包透视相机的内参标定和镜面位姿的单图自标定两大部分。镜面位姿的单图自标定包括以下五个部分：①获取一幅成像清晰的全向图像；②Canny算子检测和椭圆拟合：利用Canny算子，分别检测出图像中反射镜面边缘和相机镜头边缘的成像边界，利用这两组椭圆成像边界像素点构成的点集，分别拟合出两个椭圆的方程；两个椭圆系数分别用矩阵表示为I和Q₀；③镜面位姿(反射镜面与透视相机位置关系)候选解估计：根据反射镜面边缘成像的椭圆方程和已知的镜面以及透视相机参数，估计反射镜面与透视相机之间的两组候选位姿参数；④相机镜头预测图像的生成：将实际相机镜头边缘和相机投影中心的距离h₁在取值范围内离散化，对每一个h₁，利用获得的两组候选位姿参数，分别生成两组镜头预测成像；⑤镜面位姿的选择：采用椭圆相似度比较法，比较两组镜头预测成像和实际镜头成像，平均误差最小的镜头预测成像所对应的位姿参数即为所求的镜面位姿参数，同时它所对应的h₁就是实际镜头边缘和相机投影中心的距离。

1、获取一幅成像清晰的全向图像

利用折反射全向相机拍摄一幅图像，确保图像中反射镜面边缘成像清晰；不需要对环境做特殊的设置，也不需要任何标定模板。

2、Canny算子检测和椭圆拟合

利用Canny算子，分别检测出图像中反射镜面边缘和相机镜头边缘的成像边界，利用这两组椭圆成像边界像素点构成的点集，用最小二乘快速椭圆拟合法分别拟合出两个椭圆的方程；两个椭圆系数分别用矩阵表示为I和Q₀。

关于Canny算子检测的更多细节可参考文献5：Canny，J.，A Computational Approach to Edge Detection，in IEEE Trans.Pattern Analysis and Machine Intelligence，vol.8，pp.679-714，(1986).

关于椭圆拟合方法的更多细节可参考文献6：Fitzgibbon，M.Pilu，and R.Fisher.“Direct Least Square Fitting of Ellipses，”IEEE Trans.Pattern Analysis and Machine Intelligence，vol.21，no.5，pp.476-480，(1999).

3、镜面位姿的候选解估计

如图2所示，O_C-X_CY_CZ_C组成的直角坐标系称为摄像机坐标系，O_C是透视相机的光心，X_C和Y_C轴与图像平面坐标系的u轴和v轴平行，Z_C轴为摄像机的光轴，与图像平面垂直。根据透视成像模型，摄像机坐标系和图像坐标系之间的关系可由下式表示：

$\tilde{u}=s{\mathrm{KX}}_C---\left(1\right)$

其中X_C＝(X_C，Y_C，Z_C)^T表示的是摄像机坐标系下点的向量表示，

是对应的图像坐标系下点的归一化向量，K是透视相机的内参矩阵，s为尺度因子。

镜面边缘的图像为一椭圆，用二次曲线表示为：

Au²+Bv²+2Cu+2Dv+2Euv+F＝0                         (2)

写成矩阵的形式为：

${\tilde{u}}^{T}I\tilde{u}=0---\left(3\right)$

$I=\left[\begin{array}{ccc}A& E& C\\ E& B& D\\ C& D& F\end{array}\right]---\left(4\right)$

其中

表示镜面边缘的图像坐标，I镜面边缘成像的椭圆系数矩阵。假设s是尺度因子，由(1)和(3)，可得满足(5)和(6)式的摄像机坐标系下的倾斜椭圆锥I_C：

$s^2{X}_C^T{I}_C{X}_C=0---\left(5\right)$

I_C＝K^TIK                                        (6)

如图2所示，镜面边缘坐标系O_mb-X_mbY_mbZ_mb的原点O_mb与摄像机的光心O_C重合，Z_mb轴平行于镜面边缘的法向量。在镜面边缘坐标系中，半径为r₀、圆心坐标为C₀＝(x₀，y₀，z₀)^T的镜面边缘圆表示为：

$X_{\mathrm{mb}}^T{\mathrm{MX}}_{\mathrm{mb}}=0---\left(7\right)$

其中X_mb表示的是在镜面边缘坐标系下的镜面边缘上的点，M表示的是镜面边缘圆在镜面边缘坐标系下的系数矩阵。

$M=\left(\begin{array}{ccc}1& 0& -x_0/z_0\\ 0& 1& y_0/z_0\\ -x_0/z_0& y_0/z_0& (x_0^2+y_0^2-r^2)/z_0^2\end{array}\right)---\left(8\right)$

因此根据坐标系的定义，镜面边缘坐标系与摄像机坐标系间仅存在一个旋转变换R_M，即：

X_C＝R_MX_mb                              (9)

由式(3)，(5)以及(7)可得：

$k{R}_M^T{I}_C{R}_M=M---\left(10\right)$

其中k是一个尺度因子。为解上式，首先将I_C进行特征值分解为：

I_C＝VΛV^T                              (11)

其中Λ＝diag{λ₁，λ₂，λ₃}为特征值矩阵，V＝(v₁，v₂，v₃)为特征值对应的特征向量矩阵。由式(10)和(11)，可知：

$\left\{\begin{array}{c}{\mathrm{kR}}^T\mathrm{\ΛR}=M\\ R^{T}R=I\\ R=V^T{R}_M\end{array}\right.---\left(12\right)$

其中R为满足上式的旋转矩阵，解上式可得：

$R=\left(\begin{array}{ccc}g\cos \mathrm{\θ}& S_1\sin \mathrm{\θ}& S_{2}h\\ \sin \mathrm{\θ}& -S_1\cos \mathrm{\θ}& 0\\ S_1{S}_{2}h\cos \mathrm{\θ}& S_{2}h\sin \mathrm{\θ}& -S_{1}g\end{array}\right)---\left(13\right)$

其中θ是一个自由变量，S₁和S₂是待定的符号变量，其数值为+1或-1.

$\left\{\begin{array}{c}g=\sqrt{({\mathrm{\λ}}_2-{\mathrm{\λ}}_3)/({\mathrm{\λ}}_1-{\mathrm{\λ}}_3)}\\ h=\sqrt{({\mathrm{\λ}}_1-{\mathrm{\λ}}_2)/({\mathrm{\λ}}_1-{\mathrm{\λ}}_3)}\\ {\mathrm{\λ}}_1{\mathrm{\λ}}_2>0,\left|{\mathrm{\λ}}_1\right|>\left|{\mathrm{\λ}}_2\right|\end{array}\right.---\left(14\right)$

由(12)可知，镜面边缘坐标系和摄像机坐标系之间的旋转变换为：

R_M＝VR                                   (15)

最后得到镜面边缘坐标系下镜面边缘圆心的Z坐标z₀、摄像机坐标系下镜面边缘圆心C_C和单位法向量n_C：

$\left\{\begin{array}{c}{z}_0=S_3{\mathrm{\λ}}_2\frac{r_0}{\sqrt{-{\mathrm{\λ}}_1{\mathrm{\λ}}_3}}\\ n_C=R_M{\left(\mathrm{0,0,1}\right)}^T=\mathrm{VR}{\left(\mathrm{0,0,1}\right)}^T=V(S_{2}h0-S_{1}g)\\ C_c=R_M{z}_0=z_0\mathrm{VR}{(\frac{x_0}{z_0},\frac{y_0}{z_0},1)}^T=z_{0}V(S_{2}h0-S_{1}g\frac{{\mathrm{\λ}}_1}{{\mathrm{\λ}}_2})\end{array}\right.---\left(16\right)$

其中S₃是一个待定的符号变量，其数值为+1或-1。

在镜面坐标系O_M-X_MY_MZ_M中，Z_M轴平行于镜面的单位法向量且是反射镜面的对称轴，但坐标系的原点O_M与光心不重合。因此，镜面坐标系与摄像机坐标系之间除了存在一个旋转变换R_M外，还存在一个平移变换：

T_M＝C_C-R_M(0，0，dh)^T                              (17)

其中dh表示镜面边缘圆心到镜面坐标系原点O_M的距离。

综上可知，(15)和(17)给出了四组镜面位姿参数解。在实际应用中，限定n_C指向远离相机的方向且C_C在透视相机的前方，即：

$\left\{\begin{array}{c}{z}_0>0\\ n_C\·{\left(\mathrm{0,0,1}\right)}^T>0\end{array}\right.---\left(18\right)$

因此通过以上约束可得两组具有物理意义的合理的候选解

(i＝1，2)。

4、相机镜头预测图像的生成

很显然为了得到正确的镜面位姿，必须使用其他的约束条件。实际应用中，在折反射全向相机获得的图像中，除了镜面边缘外，相机镜头边缘的像也是一个椭圆，其形状、位置、大小都由镜面位姿

(i＝1，2))决定的。因此，镜面位姿可以通过比较观测到的镜头边缘的像与由两组可能的镜面位姿预测得到的镜头边缘的像之间的相似度来唯一确定。给定镜面与透视相机之间的位姿参数，计算预测镜头边缘的成像问题就转化为找到相应的镜面上的点，使得在该点的入射角等于反射角。很显然这种选择方式是与系统中所用到的镜面形状无关的。

如图2所示，假设镜头边缘中心位于距离透视相机光心前方为h₁的位置，且其半径为r₁。在实际应用中，我们无法从镜头的参数表中得到h₁的具体数值。因此将h₁作为一个未知变量。为了计算正确的镜面反射点，首先通过估计的两组镜面位姿解

(i＝1，2)，将摄像机坐标系下光心坐标O_C和镜头边缘上L个均匀取样点

(θ_j∈[0，2π]，j＝0，1，…L-1)转换到镜面坐标系下 $P_M^{\mathrm{ij}}={(P_X^{\mathrm{ij}},P_Y^{\mathrm{ij}},P_Z^{\mathrm{ij}})}^T$ 和

$O_{\mathrm{CM}}^i={R_M^i}^T(O_C-T_M^i)---\left(19\right)$

$P_M^{\mathrm{ij}}={R_M^i}^T(R_C^j-T_M^i)---\left(20\right)$

由图2可知，对于每一个镜头边缘点

在反射镜面上存在相应的镜面点

使得该点处的法向量平分角

将表示反射镜面的函数改写为如(21)所示的形式并求得其偏导

和

Z_M＝f(X_M，Y_M)，(Z_M＞0)                         (21)

因此在镜面点

处的法向量可以表示为：

$N_M^{\mathrm{ij}}=(f_{X_M}\left(S_M^{\mathrm{ij}}\right),f_{Y_M}\left(S_M^{\mathrm{ij}}\right),-1)---\left(22\right)$

对上式进行归一化得到归一化的法向量

由反射定律的矩阵表示法，可得：

${\stackrel{\‾}{H}}_M^{\mathrm{ij}}=A{\stackrel{\‾}{G}}_M^{\mathrm{ij}}---\left(23\right)$

$A=\left[\begin{array}{ccc}1-2N_X^{\mathrm{ij}2}& -2N_X^{\mathrm{ij}}{N}_Y^{\mathrm{ij}}& -2N_X^{\mathrm{ij}}{N}_Z^{\mathrm{ij}}\\ -2N_X^{\mathrm{ij}}{N}_Y^{\mathrm{ij}}& 1-2N_Y^{\mathrm{ij}2}& -{2N}_Y^{\mathrm{ij}}{N}_Z^{\mathrm{ij}}\\ -2N_X^{\mathrm{ij}}{N}_Z^{\mathrm{ij}}& -2N_Y^{\mathrm{ij}}{N}_Z^{\mathrm{ij}}& 1-2N_Z^{\mathrm{ij}2}\end{array}\right]---\left(24\right)$

其中

和表示的是反射向量 $H_M^{\mathrm{ij}}={(O_X^i-S_X^{\mathrm{ij}},O_Y^i-S_Y^{\mathrm{ij}},O_Z^i-S_Z^{\mathrm{ij}})}^T$ 和入射向量 $G_M^{\mathrm{ij}}={(S_X^{\mathrm{ij}}-P_X^{\mathrm{ij}},S_Y^{\mathrm{ij}}-P_Y^{\mathrm{ij}},S_Z^{\mathrm{ij}}-P_Z^{\mathrm{ij}})}^T$ 的归一化形式，A为反射向量和入射向量间的映射矩阵。

通过构建如下所示的最小化目标函数来求镜面点

$S_M^{\mathrm{ij}}=\underset{S_M^{\mathrm{ij}}}{\arg \min }[{({\stackrel{\‾}{H}}_M^{\mathrm{ij}}-{A\stackrel{\‾}{G}}_M^{\mathrm{ij}})}^2+{(Z_M-f(X_M,Y_M))}^2]---\left(25\right)$

然后将镜面坐标系下的镜面点

转换到摄像机坐标系下

最后通过投影关系获得镜头边缘点的预测投影

(i＝1，2；j＝0，1，…L-1)：

$S_C^{\mathrm{ij}}=R_M^i{S}_M^{\mathrm{ij}}+T_M^i---\left(26\right)$

${\tilde{u}}_{\mathrm{ij}}=s{\mathrm{KS}}_C^{\mathrm{ij}}---\left(27\right)$

5、镜面位姿的选择

为了得到正确的镜面位姿，利用直接最小二乘椭圆拟合法分别对实际的和预测的镜头图像进行椭圆拟合，将其分别标注为Q₀、Q₁，、Q₂。

由于噪声的存在以及h₁偏离真实值，导致实际观测到的镜头图像与预测到的镜头图像不完全重合，如图3所示。为了衡量实际图像与预测图像的相似度，提出一种椭圆相似度比较法。具体而言，首先从镜头边缘的实际成像的椭圆中心每隔固定的角度往椭圆Q_k(k＝0，1，2)拉W条射线，分别与三个椭圆相交于u_kl(k＝0，1，2；l＝0，1，2…W-1)。用式(28)定义的平均误差来衡量预测图像与观测图像的相似度，平均误差越小，相似度越大。

${\mathrm{err}}_k=\sqrt{\left(\underset{l}{\mathrm{\Σ}}{(u_{0l}-u_{\mathrm{kl}})}^2\right)/W},$ (k＝1，2；l＝0，1，2…W-1)                     (28)

只有真实的距离h₁和正确的镜面位姿才可以使得预测的镜面边缘图像与观测图像之间的平均误差最小。由于h₁是个未知变量，这里采用一维搜索的方法在h₁的合理搜索区间内进行搜索，通过上述方法计算平均误差，得到平均误差最小的那组h₁和镜面位姿参数即为正确的镜面位姿参数。

至此为止，镜面位姿参数以及镜面边缘中心到相机光心的距离均已求得，折反射全向相机系统的参数标定完毕。

Claims (4)

1.一种折反射全向相机镜面位姿的单图自标定方法，其特征在于，该方法的步骤如下：

(1)利用折反射全向相机拍摄一幅图像，确保图像中反射镜面边缘成像清晰；

(2)利用Canny算子，分别检测出图像中反射镜面边缘和相机镜头边缘的成像边界，利用这两组椭圆成像边界像素点构成的点集，分别拟合出两个椭圆的方程；两个椭圆系数分别用矩阵表示为I和Q₀；

(3)根据反射镜面边缘成像的椭圆方程和已知的镜面以及透视相机参数，估计反射镜面与透视相机之间的两组候选位姿参数；

(4)将实际相机镜头边缘和相机投影中心的距离h₁在取值范围内离散化，对每一个h₁，利用获得的两组候选位姿参数，分别生成两组镜头预测成像；

(5)比较两组镜头预测成像和实际镜头成像，平均误差最小的镜头预测成像所对应的位姿参数即为所求的镜面位姿参数，同时它所对应的h₁就是实际镜头边缘和相机投影中心的距离。

2.根据权利要求1所述的一种折反射全向相机镜面位姿的单图自标定方法，其特征在于，所述的步骤(3)中候选位姿参数的估计步骤为：令I_C＝K^TIK，其中K为已知的透视相机内参矩阵，将进I_C进行特征值分解为I_C＝VAV^T，其中A＝diag{λ₁，λ₂，λ₃}为特征值矩阵，V＝(v₁，v₂，v₃)为特征值对应的特征向量矩阵，则镜面坐标系和摄像机坐标系之间的旋转变换为：

R_M＝VR；

其中R为一旋转矩阵：

$R=\left(\begin{array}{ccc}g\cos \mathrm{\θ}& S_{1}g\sin \mathrm{\θ}& S_{2}h\\ \sin \mathrm{\θ}& -S_1\cos \mathrm{\θ}& 0\\ S_1{S}_{2}h\cos \mathrm{\θ}& S_{2}h\sin \mathrm{\θ}& -S_{1}g\end{array}\right)$

θ是一个自由变量，S₁和S₂是待定的符号变量，其数值为+1或-1.

$\left\{\begin{array}{c}g=\sqrt{({\mathrm{\λ}}_2-{\mathrm{\λ}}_3)/({\mathrm{\λ}}_1-{\mathrm{\λ}}_3)}\\ h=\sqrt{({\mathrm{\λ}}_1-{\mathrm{\λ}}_2)/({\mathrm{\λ}}_1-{\mathrm{\λ}}_3)}\\ {\mathrm{\λ}}_1{\mathrm{\λ}}_2>0,\left|{\mathrm{\λ}}_1\right|>\left|{\mathrm{\λ}}_2\right|\end{array}\right.$

镜面坐标系与摄像机坐标系之间的平移向量为：

T_M＝C_c-R_M(0，0，dh)^T

其中dh表示镜面边缘圆心到镜面坐标系原点O_M的距离；

$\left\{\begin{array}{c}{z}_0=S_3{\mathrm{\λ}}_2\frac{r_0}{\sqrt{-{\mathrm{\λ}}_1{\mathrm{\λ}}_3}}\\ n_C=R_M{\left(\mathrm{0,0,1}\right)}^T=\mathrm{VR}{\left(\mathrm{0,0,1}\right)}^T=V(S_{2}h0-S_{1}g)\\ C_c=R_M{z}_0=z_0\mathrm{VR}{(\frac{x_0}{z_0},\frac{y_0}{z_0},1)}^T=z_{0}V(S_{2}h0-S_{1}g\frac{{\mathrm{\λ}}_1}{{\mathrm{\λ}}_2})\end{array}\right.---\left(1\right)$

其中S₃是一个待定的符号变量，C_C是摄像机坐标系下镜面边缘圆心，n_C是单位法向量，z₀是镜面边缘坐标系下镜面边缘圆心的Z坐标；在实际情况下，限定n_C指向远离相机的方向且C_c在透视相机前方，即：

$\left\{\begin{array}{c}{z}_0>0\\ n_C\·{\left(\mathrm{0,0,1}\right)}^T>0\end{array}\right.$

因此，获得两组镜面候选位姿参数

(i＝1，2)。

3.根据权利要求1所述的一种折反射全向相机镜面位姿的单图自标定方法，其特征在于，所述的步骤(4)两组镜头预测成像生成的步骤为：将摄像机坐标系下的半径为r₁且其中心距离光心h₁的镜头边缘上的L个均匀采样点

(θ_j∈[0，2π]，j＝0，1，…L-1)以及光心O_C通过下式映射到镜面坐标系下 $P_M^{\mathrm{ij}}={(P_X^{\mathrm{ij}},P_Y^{\mathrm{ij}},P_Z^{\mathrm{ij}})}^T$ 和

$P_M^{\mathrm{ij}}={R_M^i}^T(P_C^j-T_M^i)$

$O_{\mathrm{CM}}^i={R_M^i}^T(O_C-T_M^i)$

对于每一个

存在一个相应的镜面反射点

使得在该点的法向量平分入射光线和反射光线的夹角，通过反射镜面函数Z_M＝f(X_M，Y_M)，(Z_M＞0)可以求得其偏导

因此在镜面反射点

处的法向量表示为：

$N_M^{\mathrm{ij}}=(f_{X_M}\left(S_M^{\mathrm{ij}}\right),f_{Y_M}\left(S_M^{\mathrm{ij}}\right),-1)$

对上式进行归一化得到

反射定律的矩阵形式由下式表示：

${\stackrel{\‾}{H}}_M^{\mathrm{ij}}=A{\stackrel{\‾}{G}}_M^{\mathrm{ij}}$

$A=\left[\begin{array}{ccc}1-2N_X^{\mathrm{ij}2}& -2N_X^{\mathrm{ij}}{N}_Y^{\mathrm{ij}}& -2N_X^{\mathrm{ij}}{N}_Z^{\mathrm{ij}}\\ -2N_X^{\mathrm{ij}}{N}_Y^{\mathrm{ij}}& 1-2N_Y^{\mathrm{ij}2}& -{2N}_Y^{\mathrm{ij}}{N}_Z^{\mathrm{ij}}\\ -2N_X^{\mathrm{ij}}{N}_Z^{\mathrm{ij}}& -2N_Y^{\mathrm{ij}}{N}_Z^{\mathrm{ij}}& 1-2N_Z^{\mathrm{ij}2}\end{array}\right]$

其中

和

是在镜面点

处反射光线 $H_M^{\mathrm{ij}}={(O_X^i-S_X^{\mathrm{ij}},O_Y^i-S_Y^{\mathrm{ij}},O_Z^i-S_Z^{\mathrm{ij}})}^T$ 和入射光线 $G_M^{\mathrm{ij}}={(S_X^{\mathrm{ij}}-P_X^{\mathrm{ij}},S_Y^{\mathrm{ij}}-P_Y^{\mathrm{ij}},S_Z^{\mathrm{ij}}-P_Z^{\mathrm{ij}})}^T$ 的归一化形式；通过最小化目标函数求得反射镜面点

$S_M^{\mathrm{ij}}=\underset{S_M^{\mathrm{ij}}}{\arg \min }[{({\stackrel{\‾}{H}}_M^{\mathrm{ij}}-{A\stackrel{\‾}{G}}_M^{\mathrm{ij}})}^2+{(Z_M-f(X_M,Y_M))}^2]$

将镜面坐标系下的镜面点转换到摄像机坐标系下

最后通过投影关系获得镜头边缘点的预测投影

$S_C^{\mathrm{ij}}=R_M^i{S}_M^{\mathrm{ij}}+T_M^i$

${\tilde{u}}_{\mathrm{ij}}={\mathrm{sKS}}_C^{\mathrm{ij}}$

并将所有预测像点进行椭圆拟合。

4.根据权利要求1所述的一种折反射全向相机镜面位姿的单图自标定方法，其特征在于，所述的步骤(5)中镜面位姿参数选择的步骤为：从实际镜头图像的椭圆中心u₀每隔固定的角度向椭圆边界Q_k(k＝0，1，2)拉W条射线，分别与三个椭圆相交于u_kl(k＝0，1，2；l＝0，1，2…W-1)，由下式来定义平均误差：

${\mathrm{err}}_k=\sqrt{\left(\underset{l}{\mathrm{\Σ}}{(u_{0l}-u_{\mathrm{kl}})}^2\right)/W},$ (k＝1，2；l＝0，1，2…W-1)

实际应用中h₁不能从镜头参数列表中得出，把h₁当成未知变量，在一定范围内对其进行离散化一维搜索，最后选择使得平均误差最小的那组位姿参数作为正确的反射镜面与透视相机之间的位姿关系。

Images