CN116681772A - 一种非共视下多相机在线标定方法 - Google Patents

Abstract

本发明涉及一种非共视下多相机在线标定方法，属于相机标定技术领域。本发明首先借助标定板获取各相机在各自标定板系下的实时位姿，然后利用视觉捕捉系统获取与相机固连的刚体实时位姿，对获取到的位姿数据进行同步对齐后，计算各相机与刚体间的位姿变换矩阵，进而计算各相机间的位姿变换矩阵。本发明无需相机间存在共视区域，无需借助复杂辅助设备，只需利用标定板和视觉捕捉系统，便可实时获取多相机的外参，实现对多相机的自动化高精度在线实时标定，解决了非共视下多相机标定效率低且标定精度不高的问题，提高了非共视条件下多相机标定的效率和精度。

Description

一种非共视下多相机在线标定方法

技术领域

本发明涉及一种非共视下多相机在线标定方法，属于相机标定技术领域。

背景技术

目前，随着自动驾驶和无人系统等行业的飞速发展，利用多相机传感器进行车辆协同、目标跟踪和环境感知等研究应用受到广泛关注。多相机的外参标定结果直接影响多相机系统的定位精度和整体性能，因此，对多相机系统进行精确的外参标定至关重要。目前，传统的多相机的外参标定方法往往是基于相机间存在共视区域前提条件，利用各相机分别提取共视区域的特征点，根据对极几何原理实现多相机的外参标定，然而，在无共视区域的条件下，传统方法无法实现多相机标定。针对无共视下多相机的标定，现有技术中采取的标定方法包括有：杨涛的采取无重叠视场的相机阵列优化标定方法，但要求相机间能看到公共的三维点坐标，实质上还是存在共视区域；庄春刚的采用辅助相机和辅助标定板的相机方法，但辅助设备较多且为离线标定方案；Huang的利用可移动机器人的位置信息标定相机，存在的问题是机器人自身的定位精度影响标定结果。

因此，目前的非共视下多相机在线标定方法，仍需要有共视区域或者需要较多辅助设备进行标定，存在标定效率低、精度不高和无法在线标定的问题。

发明内容

本发明的目的是提供一种非共视下多相机在线标定方法，以解决非共视条件下多相机标定效率低且标定精度不高的问题。

本发明为解决上述技术问题而提供一种非共视下多相机在线标定方法，该方法包括以下步骤：

1)各相机实时拍摄各自标定板，借助标定板获取各相机在各自标定板坐标系下的实时位姿，所述各相机在各自标定板坐标系下的实时位姿为相机坐标系到标定板坐标系的位姿变换矩阵；

2)利用视觉捕捉系统获取与多相机固连的刚体的实时位姿；

3)将获取到的各相机位姿数据和刚体位姿数据进行时间上的同步对齐；

4)根据同步后的各相机位姿数据和刚体位姿数据，分别计算各相机坐标系到刚体坐标系的位姿变换矩阵；

5)根据各相机坐标系到刚体坐标系的位姿变换矩阵，计算各相机间的位姿变换矩阵，实现非共视下的多相机在线标定。

本发明首先借助标定板得到各相机在各自标定板系下的实时位姿，然后利用视觉捕捉系统获取与相机固连的刚体实时位姿，对获取到的位姿数据进行同步对齐后，计算各相机坐标系到刚体坐标系的位姿变换矩阵，进而计算各相机间的位姿变换矩阵。本发明无需相机间存在共视区域，无需借助复杂辅助设备，只需利用标定板和视觉捕捉系统，便可实时获取多相机的外参，实现对多相机的自动化高精度在线实时标定，解决了非共视下的多相机标定效率低且标定精度不高的问题，提高了非共视条件下的多相机标定效率和精度。

进一步地，所述的步骤4)中，得到的各相机坐标系到刚体坐标系的位姿变换矩阵为经过优化调整的，过程如下：根据同步后的各相机位姿数据和刚体位姿数据，分别计算各相机坐标系到刚体坐标系的初始位姿变换矩阵，构建所述初始位姿变换矩阵的误差方程，推导所述误差方程的雅克比矩阵，通过LM迭代对初始位姿变换矩阵进行优化，得到各相机坐标系到刚体坐标系的位姿变换矩阵。

本发明通过建立各相机坐标系到刚体坐标系初始位姿变换矩阵的误差方程，通过李群李代数的知识，利用扰动模型推导误差函数的雅可比矩阵，通过LM法迭代对初始位姿变换矩阵进行优化，得到各相机坐标系到刚体坐标系的位姿变换矩阵，从而提高了各相机坐标系到刚体坐标系的位姿变换矩阵的精度，提高了后续计算的准确度，有效提高了多相机在线标定的精度。

进一步地，所述误差方程为：

其中，P_i(j-1)为第j-1帧时第i个标定板角点在相机坐标系下的三维坐标，P_ij为第j帧时第i个标定板角点在相机坐标系下的三维坐标，为相机坐标系到刚体坐标系的位姿变换矩阵，/>为刚体在第j帧相对于第j-1帧时刻的相对位姿。

本发明通过相邻两帧标定板角点在相机坐标系下的三维坐标、相机坐标系到刚体坐标系的位姿变换矩阵及刚体相邻两帧的相对位姿构建误差方程，能够有效减小相机坐标系到刚体坐标系初始位姿变换矩阵的误差。

进一步地，推导所述雅克比矩阵的方法为：通过李群李代数的知识，利用扰动模型求导误差方程的雅克比矩阵。

本发明通过李群李代数的知识，利用扰动模型求导误差方程的雅克比矩阵，能够解决因旋转矩阵的实际物理意义不满足加法运算导致的求解困难的问题。

进一步地，计算各相机坐标系到刚体坐标系初始位姿变换矩阵的方法为：根据相机相邻两帧和刚体相邻两帧的位姿变换关系，利用相机与刚体的位姿保持不变的特性，得到位姿变换矩阵，将位姿变换矩阵分解为旋转矩阵和平移向量，对旋转矩阵和平移向量进行求解，根据得到的旋转矩阵和平移向量计算出各相机坐标系到刚体坐标系的位姿变换矩阵；

所述相机相邻两帧和刚体相邻两帧的位姿变换关系为：

所述位姿变换矩阵为：

所述分解后的位姿变换矩阵为：

其中，为相机相邻两帧的位姿变换矩阵，/>为刚体相邻两帧的位姿变换矩阵，/>为k时刻相机在标定板坐标系下的实时位姿，/>为k+1时刻相机在标定板坐标系下的实时位姿，/>为k时刻刚体在视觉捕捉系统坐标系下的实时位姿，/>为k+1时刻刚体在视觉捕捉系统坐标系下的实时位姿，/>为相机坐标系到刚体坐标系的位姿变换矩阵，为分解的旋转矩阵，/>为分解的平移向量。

进一步地，所述旋转矩阵使用四元数法进行求解，所述平移向量使用最小二乘法进行求解。

进一步地，所述的步骤4)中，所述各相机间的位姿变换矩阵的计算公式为：

其中，为第i个相机与第j个相机的位姿变换矩阵，/>为第j个相机坐标系到刚体坐标系的位姿变换矩阵，/>为第i个相机坐标系到刚体坐标系的位姿变换矩阵。

进一步地，所述的步骤1)中，所述借助标定板获取各相机在各自标定板坐标系下的实时位姿的方法为：标定板角点在标定板坐标系下的坐标已知，相机实时获取标定板上的角点在像素坐标系下的坐标，基于相机内参和畸变系数，计算标定板坐标系到相机坐标系的位姿变换矩阵进而计算相机坐标系到标定板坐标系的位姿变换矩阵/>所述相机坐标系到标定板坐标系的位姿变换矩阵的计算公式为：

其中，和/>分别为相机坐标系到标定板坐标系的旋转矩阵和平移向量。

本发明无需借助复杂辅助设备，只需利用标定板，便可在线获取各相机在标定板坐标系下的实时位姿，实现后续的多相机实时在线标定。

附图说明

图1是本发明非共视下多相机在线标定方法的流程图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步地说明。本发明的非共视下多相机在线标定方法首先借助标定板得到各相机在各自标定板坐标系下的实时位姿，然后利用视觉捕捉系统获取与相机固连的刚体实时位姿，对获取到的位姿数据进行同步对齐后，计算各相机坐标系到刚体坐标系的位姿变换矩阵，进而计算相机间的位姿变换矩阵，该方法的实现流程如图1所示，下面结合具体的实例进行详细说明。

1.各相机实时拍摄各自标定板，借助标定板获取各相机在各自标定板坐标系下的实时位姿，所述实时位姿为相机坐标系到标定板坐标系的位姿变换矩阵。

以aruco标定板为例，相机实时拍摄标定板并获取标定板角点在像素坐标系下的坐标，角点的齐次坐标记为P_c＝[u v 1]^T，并根据相机内参和畸变系数计算角点在相机坐标系下的三维坐标。相机内参的标定方法相对成熟且较为简单，因此假设相机的内参矩阵和畸变系数已知。如需要相机的内参标定，采用张正友标定法进行相机内参标定。张正友标定法的标定原理如下：

假设棋盘格上角点在像素坐标系和世界坐标系(即棋盘格坐标系)的齐次坐标分别为：[u v 1]^T和[X_w Y_w Z_w 1]^T，由世界坐标系、相机坐标系、图像坐标系和像素坐标系间的关系可知：

其中，u₀、v₀分别为图像坐标系原点在像素坐标系下的坐标，Z_c为相机坐标系下棋盘格角点的Z轴坐标，a、b分别为图像坐标系x轴、y轴单位长度在像素坐标系上u轴、v轴对应的像素个数，f为相机的有效焦距，R、t分别为世界坐标系到相机坐标系的旋转矩阵和平移向量。

由于棋盘格是二维平面，因此z轴方向坐标为0，即Z_w＝0。由此，公式可以简化为：

其中，s为非零的尺度因子,r₁、r₂分别为旋转矩阵R的第一列和第二列，为3×1矩阵，K为相机的内参矩阵，满足：

其中，u₀、v₀分别为图像坐标系原点在像素坐标系下的坐标，f_x为相机在x轴方向上的焦距长度，f_y为相机在y轴方向上的焦距长度。

利用3张以上图片，借助单应矩阵即可计算相机的内参。

当考虑径向畸变时，得到：

其中，(u,v)和分别为不含畸变的像素坐标和含有畸变的像素坐标，(u₀,v₀)为主像点坐标；(x,y)是不含畸变的图像坐标；k₁,k₂为畸变系数。

整理得到：

由于标定板角点在标定板坐标系下的的位置已知，角点在标定板系下的齐次坐标记为P^w＝[x^w y^w z^w 1]^T，根据多对角点的对应位置和像素坐标系与标定板坐标系的空间位置关系建立方程，求取标定板坐标系到相机坐标系的位姿变换矩阵，建立的方程为：

其中，K为相机的内参矩阵，为已知量，为标定板坐标系到相机坐标系的位姿变换矩阵，/>分别为旋转矩阵和平移向量。根据PnP原理，建立约束方程，通过直接线性变换(DLT)得到相机坐标系相对于aruco标定板坐标系的位姿变换矩阵。根据公式(6)计算相机坐标系到标定板坐标系的位姿变换矩阵/>得到各相机在各自标定板坐标系下的实时位姿。

其中，和/>分别为相机坐标系到标定板坐标系的旋转矩阵和平移向量。

2.利用视觉捕捉系统获取与多相机固连的刚体的实时位姿。

建立与多相机固连的刚体，由于刚体与相机固连，因此刚体与相机的位置关系恒定但未知。为了准确获取刚体的实时位姿，采用目前市场上常用的高精度测量设备：视觉运动捕捉系统。视觉运动捕捉系统是一种6自由度的动态跟踪运动系统，其精度能达到毫米甚至亚毫米级，采样频率能达到几百赫兹以上，能够实时获取刚体的高精度位置和姿态。因此，通过固定多个Marker反光球，在视觉捕捉系统下建立Marker反光球刚体，利用视觉捕捉系统实时跟踪刚体并获取刚体的实时位姿，刚体的实时位姿记为

3.将获取到的各相机位姿数据和刚体位姿数据进行时间上的同步对齐。

多相机与刚体的实时位姿已知，但相互并不同步。为获取多相机与刚体的时间同步位姿数据，首先将多相机和刚体的位姿数据通过无线通信发布到机器人操作系统(ros)下，调用ros的时间同步函数，将多相机位姿数据和刚体数据进行时间上的软同步对齐，实现多相机与刚体的位姿数据实时同步，并接收同步后的多相机和刚体位姿数据用于后续计算。

4.根据同步后的各相机位姿数据和刚体位姿数据，分别计算各相机坐标系到刚体坐标系的位姿变换矩阵。

已知各相机与刚体同步后的每一帧位姿数据。则k时刻相机A相邻两帧和刚体相邻两帧的位姿变换关系为：

其中，为相机相邻两帧的位姿变换矩阵，/>为刚体相邻两帧的位姿变换矩阵，/>为k时刻相机A在标定板坐标系下的实时位姿，/>为k+1时刻相机A在标定板坐标系下的实时位姿，/>为k时刻刚体在视觉捕捉系统坐标系下的实时位姿，/>为k+1时刻刚体在视觉捕捉系统坐标系下的实时位姿。

其中，相机A相机坐标系到刚体坐标系的位姿变换矩阵设为为待求量。由于相机与刚体固连，因此相机与刚体的位姿保持不变，也即：

根据矩阵传播规律有：

则有：

将位姿变换矩阵分解为旋转矩阵和平移，则有：

其中，为分解的旋转矩阵，/>为分解的平移向量。

展开得到：

对于旋转矩阵求解，根据四元数与旋转矩阵的关系有：

令根据四元数乘法性质，整理得到：

其中，分别表示/>和/>的共轭虚部，/>表示/>的反对称矩阵，I为单位矩阵。

对于多帧位姿，可以列方程得到公式(15)，svd分解计算

对于平移向量的计算，根据公式(12)，令对于多帧位姿，列方程得到：

通过最小二乘求解即可求得各相机坐标系与刚体坐标系的平移向量。

通过上述方法分别得到各相机坐标系到刚体坐标系的初始位姿变换矩阵T_c ^r。

相机坐标系到刚体坐标系的位姿变换矩阵初值已知，为了进一步优化相机坐标系到刚体坐标系的位姿，建立位姿变换矩阵的误差方程为：

其中，P_i(j-1)为第j-1帧时第i个标定板角点在相机坐标系下的三维坐标，P_ij为第j帧时第i个标定板角点在相机坐标系下的三维坐标，为相机坐标系到刚体坐标系的位姿变换矩阵，/>为刚体在第j帧相对于第j-1帧时刻的相对位姿。

由于视觉捕捉系统的精度能达到亚毫米，因此认为刚体的位姿没有误差。根据旋转矩阵的实际物理意义，其不满足加法运算。因此通过李群李代数的知识，利用扰动模型求导位姿误差方程的雅克比矩阵。具体过程为：

根据李群李代数的相关知识，李群SE(3)对应的李代数为se(3)，se(3)位于空间中，/>表示六维向量。其关系有：

其中，ξ为李代数se(3)的元素，ρ为平移向量，φ为旋转向量，为三维向量，/>为三维向量的李代数，ξ^∧、φ^∧分别为ξ和φ所对应的反对称矩阵，/>为四维向量矩阵。

假设待求量的扰动量为/>扰动项的李代数为δξ＝[δρ δφ]^T，/>和/>对应的李代数分别为ξ和δξ。

令建立李群左扰动模型，为/>左乘一个扰动量得到：

其中，J为雅可比矩阵，δξ为扰动量的李代数。

根据Levenberg-Marquardt(LM)方法进行优化，得到增量的线性方程为：

(H+λD^TD)Δx＝g (19)

其中，H＝J^TJ，g＝-J^Te，λ为阻尼因子，Δx为待优化量

为简化等式，D取单位阵I，得到：

(H+λI)Δx＝g (20)

通过LM迭代对相机与刚体的初始位姿变换矩阵进行优化，得到各相机坐标系到刚体坐标系的位姿变换矩阵，记为n为相机的个数。

5.根据各相机坐标系到刚体坐标系的位姿变换矩阵，计算各相机间的位姿变换矩阵，实现非共视下的多相机在线标定

已知各相机与刚体间的位姿变换矩阵根据公式可求得各相机间的位姿变换矩阵，即各相机外参，至此相机的外参标定完成。

其中，为第i个相机与第j个相机的位姿变换矩阵，/>为第j个相机坐标系到刚体坐标系的位姿变换矩阵，/>为第i个相机坐标系到刚体坐标系的位姿变换矩阵。

本发明提出的非共视下多相机在线标定方法，是一种自动化的多相机在线实时标定技术。针对多相机无共视区域的问题，创建与多相机固连的刚体，利用标定板和视觉捕捉系统，在线获取相机和刚体的实时位姿后，首先获取多相机坐标系到刚体坐标系的位姿变换矩阵，进而计算各相机间的位姿变换矩阵，从而能够在线实时获取多相机的外参，无需借助机器人等其他复杂设备，便可自动化地对多相机进行在线标定，提高了非共视条件下多相机标定的效率和精度，能够广泛应用于生产车间、目标跟踪等各种复杂、困难下的多相机标定场景。并且本发明中，还建立了相机坐标系到刚体坐标系初始位姿变换矩阵方程，利用李群李代数的知识推导误差方程的雅克比矩阵，并通过LM法迭代进行位姿优化，更加提高了多相机在线标定的精度，有效解决了非共视条件下多相机的在线标定困难、标定精度低等问题。

Claims (8)

1.一种非共视下多相机在线标定方法，其特征在于，该标定方法包括以下步骤：

1)各相机实时拍摄各自标定板，借助标定板获取各相机在各自标定板坐标系下的实时位姿，所述各相机在各自标定板坐标系下的实时位姿为相机坐标系到标定板坐标系的位姿变换矩阵；

2)利用视觉捕捉系统获取与多相机固连的刚体的实时位姿；

3)将获取到的各相机位姿数据和刚体位姿数据进行时间上的同步对齐；

4)根据同步后的各相机位姿数据和刚体位姿数据，分别计算各相机坐标系到刚体坐标系的位姿变换矩阵；

5)根据各相机坐标系到刚体坐标系的位姿变换矩阵，计算各相机间的位姿变换矩阵，实现非共视下的多相机在线标定。

2.根据权利要求1所述的非共视下多相机在线标定方法，其特征在于，所述的步骤4)中，得到的各相机坐标系到刚体坐标系的位姿变换矩阵为经过优化调整的，过程如下：根据同步后的各相机位姿数据和刚体位姿数据，分别计算各相机坐标系到刚体坐标系的初始位姿变换矩阵，构建所述初始位姿变换矩阵的误差方程，推导所述误差方程的雅克比矩阵，通过LM迭代对初始位姿变换矩阵进行优化，得到各相机坐标系到刚体坐标系的位姿变换矩阵。

3.根据权利要求2所述的非共视下多相机在线标定方法，其特征在于，所述误差方程为：

其中，P_i(j-1)为第j-1帧时第i个标定板角点在相机坐标系下的三维坐标，P_ij为第j帧时第i个标定板角点在相机坐标系下的三维坐标，为相机坐标系到刚体坐标系的位姿变换矩阵，/>为刚体在第j帧相对于第j-1帧时刻的相对位姿。

4.根据权利要求2所述的非共视下多相机在线标定方法，其特征在于，推导所述雅克比矩阵的方法为：通过李群李代数的知识，利用扰动模型求导误差方程的雅克比矩阵。

5.根据权利要求2所述的非共视下多相机在线标定方法，其特征在于，计算各相机坐标系到刚体坐标系的初始位姿变换矩阵的方法为：根据相机相邻两帧和刚体相邻两帧的位姿变换关系，利用相机与刚体的位姿保持不变的特性，得到位姿变换矩阵，将位姿变换矩阵分解为旋转矩阵和平移向量，对旋转矩阵和平移向量进行求解，根据得到的旋转矩阵和平移向量计算出各相机坐标系到刚体坐标系的位姿变换矩阵；

所述相机相邻两帧和刚体相邻两帧的位姿变换关系为：

所述位姿变换矩阵为：

分解后的位姿变换矩阵为：

其中，为相机相邻两帧的位姿变换矩阵，/>为刚体相邻两帧的位姿变换矩阵，/>为k时刻相机在标定板坐标系下的实时位姿，/>为k+1时刻相机在标定板坐标系下的实时位姿，/>为k时刻刚体在视觉捕捉系统坐标系下的实时位姿，/>为k+1时刻刚体在视觉捕捉系统坐标系下的实时位姿，/>为相机坐标系到刚体坐标系的位姿变换矩阵，为分解的旋转矩阵，/>为分解的平移向量。

6.根据权利要求5所述的非共视下多相机在线标定方法，其特征在于，所述旋转矩阵使用四元数法进行求解，所述平移向量使用最小二乘法进行求解。

7.根据权利要求1所述的非共视下多相机在线标定方法，其特征在于，所述的步骤4)中，所述各相机间的位姿变换矩阵的计算公式为：

其中，为第i个相机与第j个相机的位姿变换矩阵，/>为第j个相机坐标系到刚体坐标系的位姿变换矩阵，/>为第i个相机坐标系到刚体坐标系的位姿变换矩阵。

8.根据权利要求1所述的非共视下多相机在线标定方法，其特征在于，所述的步骤1)中，所述借助标定板获取各相机在各自标定板坐标系下的实时位姿的方法为：标定板角点在标定板坐标系下的坐标已知，相机实时获取标定板上的角点在像素坐标系下的坐标，基于相机内参和畸变系数，计算标定板坐标系到相机坐标系的位姿变换矩阵进而计算相机坐标系到标定板坐标系的位姿变换矩阵/>所述相机坐标系到标定板坐标系的位姿变换矩阵的计算公式为：

其中，和/>分别为相机坐标系到标定板坐标系的旋转矩阵和平移向量。