CN104182982A - 双目立体视觉摄像机标定参数的整体优化方法 - Google Patents

Abstract

本发明公开了一种双目立体视觉摄像机标定参数的整体优化方法，是一种通过迭代极小化重投影像点与理想像点偏差来优化双目视觉摄像机参数的方法其针对双目立体视觉测量系统，利用两台摄像机同时拍摄二维棋盘格标定板的图像，提出了一种将所有参数进行整体优化的优化方法；视标定板上所有特征点为共面特征点，以位于标定板左上角的特征点为原点建立标定板坐标系，标定板上所有特征点在标定板坐标系下已知，通过坐标变换分别得到标定板坐标系同左右摄像机坐标系的旋转矩阵和平移向量，再通过迭代极小化重投影像点与理想像点偏差来优化双目视觉摄像机参数。

Description

双目立体视觉摄像机标定参数的整体优化方法

技术领域

本发明属于计算机视觉检测领域，特别涉及一种双目立体视觉摄像机标定参数的整体优化方法。

背景技术

双目立体视觉是根据双目摄像机同时拍摄的两张图片的二维图像信息得到物体的几何三维信息。从二维信息恢复三维信息依赖于双目视觉系统的模型，最重要的是需要确定摄像机成像几何模型，该几何模型的参数称为摄像机参数。

摄像机内参数为摄像机与几何和光学特性有关的参数，内参数只依赖于摄像机自身的制造特点，外参数为摄像机坐标系相对于建立好的世界坐标系的旋转和平移。摄像机标定过程就是确定摄像机内、外参数的过程，标定方法的精度直接影响到计算机视觉测量的精度。因此，对摄像机进行快速、简捷、精准标定的研究无疑具有重大的意义。

目前摄像机标定方法可以分为三类：传统标定方法、自标定法和基于主动视觉的标定方法。传统标定方法标定精度高，但标定过程繁琐、鲁棒性差。自标定法效率高，但依赖严重特征点提取，精度无法保证。基于主动视觉标定方法精度较高，适应性强，能应用于复杂工况，是进行标定较好选择。

目前对标定的优化方法大多为复杂非线性算法，引入很多参数作为迭代变量，需要大量计算，若模型设计不当，更容易加大计算量，同时导致结果并不稳定，容易导致结果不收敛，无法得到正确结果。

发明内容

本发明主要解决的是各参数在摄像机标定过程中的误差问题，针对双目立体视觉测量系统，利用两台摄像机同时拍摄二维棋盘格标定板的图像，提出了一种将所有参数进行整体优化的优化方法；视标定板上所有特征点为共面特征点，以位于标定板左上角的特征点为原点建立标定板坐标系，标定板上所有特征点在标定板坐标系下已知，通过坐标变换分别得到标定板坐标系同左右摄像机坐标系的旋转矩阵和平移向量，再通过得到的旋转矩阵及平移向量优化摄像机内、外参数。

本发明通过迭代极小化重投影像点与理想像点偏差来优化双目视觉摄像机参数，利用双目摄像机同时拍摄二维棋盘格标定板，根据标定板和摄像机的坐标对应关系分别得到左、右摄像机坐标系和标定板坐标系的旋转矩阵及平移向量，再通过迭代极小化重投影像点与理想像点偏差来优化双目视觉摄像机参数；具体步骤如下：

步骤1：拍摄棋盘格标定板并建立标定板坐标系

利用两台摄像机同时拍摄棋盘格标定板，得到两张标定板图像；将标定板上所有特征点视为共面特征点，以左上角的特征点为坐标原点，以标定板平面为XOY平面，建立空间立体坐标系，称为标定板坐标系；由于标定板方格实际尺寸已知，所以各个特征点在标定板坐标系下的X向坐标和Y向坐标已知，Z向坐标均为0。

步骤2：建立两摄像机坐标系与标定板坐标系之间的外参数估计模型

利用初始摄像机参数以及上一步骤中得到的两张标定板图像可以重建出标定板上特征点在世界坐标系下的三维坐标，一般将世界坐标系与双目摄像机其中一个摄像机坐标系重合，所以重建的三维坐标可以视作该选定摄像机坐标系下的三维坐标，利用初始外参数可以得到重建点在另一摄像机下的三维坐标，此时得到了同一组特征点在左摄像机坐标系、右摄像机坐标系和标定板坐标系下的坐标。

利用部分特征点来求取标定板坐标系到左摄像机坐标系的旋转矩阵R_L和平移向量t_L，标定板坐标系到右摄像机坐标系的旋转矩阵R_R和平移向量t_R。

选取至少三个不共线的特征点，假设选取的特征点在标定板坐标系和摄像机坐标系中对应的点集为{(P₁,P₁′),(P₂,P₂′),...,(P_n,P_n′)}，其中P_i为特征点在标定板坐标系坐标，P_i′为特征点在摄像机坐标系坐标，i＝1,2,3…n，求取旋转矩阵R₀和平移向量t₀，点集中对应空间点的关系为P_i′＝R₀P_i+t₀，建立如下模型估计参数(R₀,t₀)：

$f(R_0,t_0)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\left|\right|R_0{P}_i+t_0-P_i^{\′}\left|\right|---\left(1\right)$

步骤3：求取旋转矩阵R₀和平移向量t₀

首先求取点集质心所在坐标，具体计算为：

$\left\{\begin{array}{c}\stackrel{\‾}{P}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{P}_i\\ {\stackrel{\‾}{P}}^{\′}=\frac{1}{n}\underset{i=1}{\overset{n}{\text{\Σ}}}{P}_i^{\′}\end{array}\right.---\left(2\right)$

其中为各特征点各轴分量的均值，P_i为特征点在标定板坐标系坐标，P_i′为特征点在摄像机坐标系坐标，i＝1,2,3…n。

将点集质心移动至坐标系原点处，平移后的空间点为：

$\left\{\begin{array}{c}{\tilde{P}}_i=P_i-\stackrel{\‾}{P}\\ {\tilde{P}}_i^{\′}=P_i^{\′}-{\stackrel{\‾}{P}}^{\′}\end{array}\right.---\left(3\right)$

其中为在标定板坐标系下质心移至坐标原点后的特征点坐标，为在摄像机坐标系下质心移至坐标原点后的特征点坐标。

由公式(1)(2)(3)，得到因此，目标函数简化为只估计旋转矩阵，具体形式如下：

$f\left(R_0\right)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}|R_0{\tilde{P}}_i-{\tilde{P}}_i^{\′}||---\left(4\right)$

得到旋转矩阵之后，利用质心坐标的求出平移向量如下：

$t_0={\stackrel{\‾}{P}}^{\′}-R_0\stackrel{\‾}{P}---\left(5\right)$

步骤4：建立优化模型优化标定参数

利用摄像机的内部参数、摄像机坐标系与标定板坐标系的旋转矩阵和平移向量求解标定板上除上一步骤选取的特征点之外的所有特征点重投影坐标具体算法如下：

$\left\{\begin{array}{c}\hat{u}=\frac{(f_x{r}_{11}+u_0{r}_{31})X_W+(f_x{r}_{12}+u_0{r}_{32})Y_W+(f_x{r}_{13}+u_0{r}_{33})Z_W+f_x{t}_1+u_0{t}_3}{r_{31}{X}_W+r_{32}{Y}_W+r_{33}{Z}_W+t_3}\\ \hat{v}=\frac{(f_y{r}_{21}+v_0{r}_{31})X_W+(f_y{r}_{22}+v_0{r}_{32})Y_W+(f_y{r}_{23}+v_0{r}_{33})Z_W+f_y{t}_2+v_0{t}_3}{r_{31}{X}_W+r_{32}{Y}_W+r_{33}{Z}_W+t_3}\end{array}\right.---\left(6\right)$

其中，r_ij为旋转矩阵R的第i行、第j列上的元素，平移向量t＝(t₁,t₂,t₃)^T，f_x为摄像机横向尺度因子，f_y为摄像机纵向尺度因子，u₀为主点在像素坐标系下的横坐标，v₀为主点在像素坐标系下的纵坐标，(X_W,Y_W,Z_W)为特征点在世界坐标系下的坐标。

根据已知畸变系数，将实际拍摄获得的像点坐标(u_i′,v_i′)校正为相应的理想像点坐标(u_i,v_i)；建立优化模型通过迭代极小化重投影像点坐标和理想像点坐标的偏差，目标优化函数为：

$\min \left(\underset{i=1}{\overset{m}{\mathrm{\Σ}}}({(u_i-{\hat{u}}_i)}^2+{(v_i-{\hat{v}}_i)}^2)\right)---\left(7\right)$

本发明采用LM非线性优化算法，将Hessian阵变为两台的对称正定阵，进行求解，当偏差最小时对应的参数即为优化后的双目立体视觉系统摄像机参数。

附图说明

附图为双目视觉测量参数整体优化示意图。

具体实施方式

摄像机标定通常采用经典的小孔成像模型，该模型的表达式如下：

其中，(X_w,Y_w,Z_w,1)^T为空间点在世界坐标系中的齐次坐标，(u,v,1)^T为对应的图像像点像素坐标系o₀uv中的齐次坐标，α_x＝f/dx为o₀uv坐标系内u轴上的尺度因子，α_y＝f/dy为o₀uv坐标系内v轴上的尺度因子，f为摄像机镜头焦距，dx与dy分别为像元的横、纵物理尺寸，(u₀,v₀)为主点坐标，ρ_c为比例系数，

K为摄像机内部参数矩阵，[R|t]为摄像机的外部参数矩阵，其中，R为旋转矩阵，t为平移向量。

摄像机内部参数包括主点坐标(u₀,v₀)、尺度因子α_x、α_y，径向畸变系数k₁、k₂与切向畸变系数p₁、p₂。摄像机外部参数为摄像机坐标系相对于世界坐标系的方位，包括旋转矩阵R与平移向量t。

利用双目摄像机同时拍摄二维棋盘格标定板，根据标定板和摄像机的坐标对应关系分别得到左、右摄像机坐标系和标定板坐标系的旋转矩阵及平移向量，再通过迭代极小化重投影像点与理想像点偏差来优化双目视觉摄像机参数。

步骤1：拍摄棋盘格标定板并建立标定板坐标系

利用两台摄像机同时拍摄棋盘格标定板，得到两张标定板图像；将标定板上所有特征点视为共面特征点，以左上角的特征点为坐标原点，以标定板平面为XOY平面，建立空间立体坐标系，称为标定板坐标系；由于标定板方格实际尺寸已知，所以各个特征点在标定板坐标系下的X向坐标和Y向坐标已知，Z向坐标均为0。

步骤2：建立两摄像机坐标系与标定板坐标系之间的外参数估计模型；

利用初始摄像机参数以及上一步骤中得到的两张标定板图像可以重建出标定板上特征点在世界坐标系下的三维坐标，一般将世界坐标系与双目摄像机其中一个摄像机坐标系重合，所以重建的三维坐标可以视作该选定摄像机坐标系下的三维坐标，利用初始外参数可以得到重建点在另一摄像机下的三维坐标，此时得到了同一组特征点在左摄像机坐标系、右摄像机坐标系和标定板坐标系下的坐标。

利用部分特征点来求取标定板坐标系到左摄像机坐标系的旋转矩阵R_L和平移向量t_L，标定板坐标系到右摄像机坐标系的旋转矩阵R_R和平移向量t_R。

选取至少三个不共线的特征点，假设选取的特征点在标定板坐标系和摄像机坐标系中对应的点集为{(P₁,P₁′),(P₂,P₂′),...,(P_n,P_n′)}，其中P_i为特征点在标定板坐标系坐标，P_i′为特征点在摄像机坐标系坐标，i＝1,2,3…n，求取旋转矩阵R₀和平移向量t₀，点集中对应空间点的关系为P_i′＝R₀P_i+t₀，建立如下模型估计参数(R₀,t₀)：

$f(R_0,t_0)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\left|\right|R_0{P}_i+t_0-P_i^{\′}\left|\right|---\left(1\right)$

步骤3：求取旋转矩阵R₀和平移向量t₀；

首先求取点集质心所在坐标，具体计算为：

$\left\{\begin{array}{c}\stackrel{\‾}{P}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{P}_i\\ {\stackrel{\‾}{P}}^{\′}=\frac{1}{n}\underset{i=1}{\overset{n}{\text{\Σ}}}{P}_i^{\′}\end{array}\right.---\left(2\right)$

其中为各特征点各轴分量的均值，P_i为特征点在标定板坐标系坐标，P_i′为特征点在摄像机坐标系坐标，i＝1,2,3…n；

将点集质心移动至坐标系原点处，平移后的空间点为：

$\left\{\begin{array}{c}{\tilde{P}}_i=P_i-\stackrel{\‾}{P}\\ {\tilde{P}}_i^{\′}=P_i^{\′}-{\stackrel{\‾}{P}}^{\′}\end{array}\right.---\left(3\right)$

其中为在标定板坐标系下质心移至坐标原点后的特征点坐标，为在摄像机坐标系下质心移至坐标原点后的特征点坐标。

由公式(1)(2)(3)，得到因此，目标函数简化为只估计旋转矩阵，具体形式如下：

$f\left(R_0\right)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}|R_0{\tilde{P}}_i-{\tilde{P}}_i^{\′}||---\left(4\right)$

得到旋转矩阵之后，利用质心坐标的求出平移向量如下：

$t_0={\stackrel{\‾}{P}}^{\′}-R_0\stackrel{\‾}{P}---\left(5\right)$

步骤4：建立优化模型优化标定参数

利用摄像机的内部参数、摄像机坐标系与标定板坐标系的旋转矩阵和平移向量求解标定板上除上一步骤选取的特征点之外的所有特征点重投影坐标具体算法如下：

$\left\{\begin{array}{c}\hat{u}=\frac{(f_x{r}_{11}+u_0{r}_{31})X_W+(f_x{r}_{12}+u_0{r}_{32})Y_W+(f_x{r}_{13}+u_0{r}_{33})Z_W+f_x{t}_1+u_0{t}_3}{r_{31}{X}_W+r_{32}{Y}_W+r_{33}{Z}_W+t_3}\\ \hat{v}=\frac{(f_y{r}_{21}+v_0{r}_{31})X_W+(f_y{r}_{22}+v_0{r}_{32})Y_W+(f_y{r}_{23}+v_0{r}_{33})Z_W+f_y{t}_2+v_0{t}_3}{r_{31}{X}_W+r_{32}{Y}_W+r_{33}{Z}_W+t_3}\end{array}\right.---\left(6\right)$

其中，r_ij为旋转矩阵R的第i行、第j列上的元素，平移向量t＝(t₁,t₂,t₃)^T，f_x为摄像机横向尺度因子，f_y为摄像机纵向尺度因子，u₀为主点在像素坐标系下的横坐标，v₀为主点在像素坐标系下的纵坐标，(X_W,Y_W,Z_W)为特征点在世界坐标系下的坐标。

根据已知畸变系数，将实际拍摄获得的像点坐标(u_i′,v_i′)校正为相应的理想像点坐标(u_i,v_i)；建立优化模型通过迭代极小化重投影像点坐标和理想像点坐标的偏差，目标优化函数为：

$\min \left(\underset{i=1}{\overset{m}{\mathrm{\Σ}}}({(u_i-{\hat{u}}_i)}^2+{(v_i-{\hat{v}}_i)}^2)\right)---\left(7\right)$

本发明采用LM非线性优化算法，将Hessian阵变为两台的对称正定阵，进行求解，当偏差最小时对应的参数为优化后的双目立体视觉系统摄像机参数。

Claims (1)

1.一种双目立体视觉摄像机标定参数的整体优化方法，是一种通过迭代极小化重投影像点与理想像点偏差来优化双目视觉摄像机参数的方法，其特征在于如下步骤：

步骤1：拍摄棋盘格标定板并建立标定板坐标系

利用两台摄像机同时拍摄棋盘格标定板，得到两张标定板图像；将标定板上所有特征点视为共面特征点，以左上角的特征点为坐标原点，以标定板平面为XOY平面，建立空间立体坐标系，称为标定板坐标系；由于标定板方格实际尺寸已知，所以各个特征点在标定板坐标系下的X向坐标和Y向坐标已知，Z向坐标均为0；

步骤2：建立两摄像机坐标系与标定板坐标系之间的外参数估计模型

利用初始摄像机参数以及上一步骤中得到的两张标定板图像重建出标定板上特征点在世界坐标系下的三维坐标，将世界坐标系与双目摄像机其中一个摄像机坐标系重合，重建的三维坐标视作该选定摄像机坐标系下的三维坐标；利用初始外参数得到重建点在另一摄像机下的三维坐标，得到了同一组特征点在左摄像机坐标系、右摄像机坐标系和标定板坐标系下的坐标；

利用部分特征点来求取标定板坐标系到左摄像机坐标系的旋转矩阵R_L和平移向量t_L，标定板坐标系到右摄像机坐标系的旋转矩阵R_R和平移向量t_R；

选取至少三个不共线的特征点，假设选取的特征点在标定板坐标系和摄像机坐标系中对应的点集为{(P₁,P₁′),(P₂,P₂′),...,(P_n,P_n′)}，其中P_i为特征点在标定板坐标系坐标，P_i′为特征点在摄像机坐标系坐标，i＝1,2,3…n，求取旋转矩阵R₀和平移向量t₀，点集中对应空间点的关系为P_i′＝R₀P_i+t₀，建立如下模型估计参数(R₀,t₀)；

$f(R_0,t_0)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\left|\right|R_0{P}_i+t_0-P_i^{\′}\left|\right|---\left(1\right)$

步骤3：求取旋转矩阵R₀和平移向量t₀

首先求取点集质心所在坐标，具体计算为：

$\left\{\begin{array}{c}\stackrel{\‾}{P}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{P}_i\\ {\stackrel{\‾}{P}}^{\′}=\frac{1}{n}\underset{i=1}{\overset{n}{\text{\Σ}}}{P}_i^{\′}\end{array}\right.---\left(2\right)$

其中为各特征点各轴分量的均值，P_i为特征点在标定板坐标系坐标，P_i′为特征点在摄像机坐标系坐标，i＝1,2,3…n；

将点集质心移动至坐标系原点处，平移后的空间点为：

$\left\{\begin{array}{c}{\tilde{P}}_i=P_i-\stackrel{\‾}{P}\\ {\tilde{P}}_i^{\′}=P_i^{\′}-{\stackrel{\‾}{P}}^{\′}\end{array}\right.---\left(3\right)$

其中为在标定板坐标系下质心移至坐标原点后的特征点坐标，为在摄像机坐标系下质心移至坐标原点后的特征点坐标；

由公式(1)(2)(3)，得到目标函数简化为只估计旋转矩阵，具体形式如下：

$f\left(R_0\right)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}|R_0{\tilde{P}}_i-{\tilde{P}}_i^{\′}||---\left(4\right)$

得到旋转矩阵之后，利用质心坐标的求出平移向量如下：

$t_0={\stackrel{\‾}{P}}^{\′}-R_0\stackrel{\‾}{P}---\left(5\right)$

步骤4：建立优化模型优化标定参数

利用摄像机的内部参数、摄像机坐标系与标定板坐标系的旋转矩阵和平移向量求解标定板上除上一步骤选取的特征点之外的所有特征点重投影坐标具体算法如下：

$\left\{\begin{array}{c}\hat{u}=\frac{(f_x{r}_{11}+u_0{r}_{31})X_W+(f_x{r}_{12}+u_0{r}_{32})Y_W+(f_x{r}_{13}+u_0{r}_{33})Z_W+f_x{t}_1+u_0{t}_3}{r_{31}{X}_W+r_{32}{Y}_W+r_{33}{Z}_W+t_3}\\ \hat{v}=\frac{(f_y{r}_{21}+v_0{r}_{31})X_W+(f_y{r}_{22}+v_0{r}_{32})Y_W+(f_y{r}_{23}+v_0{r}_{33})Z_W+f_y{t}_2+v_0{t}_3}{r_{31}{X}_W+r_{32}{Y}_W+r_{33}{Z}_W+t_3}\end{array}\right.---\left(6\right)$

其中，r_ij为旋转矩阵R的第i行、第j列上的元素，平移向量t＝(t₁,t₂,t₃)^T，f_x为摄像机横向尺度因子，f_y为摄像机纵向尺度因子，u₀为主点在像素坐标系下的横坐标，v₀为主点在像素坐标系下的纵坐标，(X_W,Y_W,Z_W)为特征点在世界坐标系下的坐标；

根据已知畸变系数，将实际拍摄获得的像点坐标(u_i′,v_i′)校正为相应的理想像点坐标(u_i,v_i)；建立优化模型通过迭代极小化重投影像点坐标和理想像点坐标的偏差，目标优化函数为：

$\min \left(\underset{i=1}{\overset{m}{\mathrm{\Σ}}}({(u_i-{\hat{u}}_i)}^2+{(v_i-{\hat{v}}_i)}^2)\right)---\left(7\right)$

采用LM非线性优化算法，将Hessian阵变为两台的对称正定阵，进行求解，当偏差最小时对应的参数即为优化后的双目立体视觉系统摄像机参数。