CN107194974B - 一种基于多次识别标定板图像的多目相机外参标定精度的提高方法 - Google Patents

Abstract

一种基于多次识别标定板图像的多目相机外参标定精度提高方法，本发明涉及基于多次识别标定板图像的多目相机外参标定精度提高方法。本发明为了解决现有三维建模中多相机之间相互位置关系不精确导致建模误差大的问题。本发明采用高精度校准低精度的方法，通过单点位移误差来校准轴方向方向误差来减少整体标定误差。本发明不断地采集更多的空间标定信息，取其标定坐标原点信息，补偿方向轴误差，达到误差量级小的信息补偿误差量级大的特征的效果。通过本发明标定校准方法，使双相机的标定误差从原先多点测量得以确定方向轴的误差级减少到单点测量确定原点位置的误差级。本发明用于相机标定领域。

Description

一种基于多次识别标定板图像的多目相机外参标定精度的提 高方法

技术领域

本发明涉及基于多次识别标定板图像的多目相机外参标定精度的提高方法。

背景技术

随着彩色深度摄像机的发展，获得高质量三维点云越来越方便，同时也促进了立体视觉的发展和应用，例如三维测量，三维建模等。然而由于单个相机的视野并不能涵盖我们所需要的模型，因此在获得模型信息时，我们通常选用三到四个，甚至更多的相机用以获得数据。因此，如何将每个相机得到的数据精确的融合在一起并成为这种项目上至关重要的部分。

目前应用比较广泛的是双目标定法，同时也可以自己设定标定方法，利用计算机视觉识别黑白棋盘，二维码等标定物并计算出相机坐标系至标定物坐标系的转换矩阵。不同的标定方法还有空间球标定、自标定等。在这一过程中，我们尽可能的通过数学方法或者硬件外设来使得精度提高。但结果不可能一直满意，因此我们需要一种对标定的校准以及优化的方法，来尽可能地减小误差。

经过对标定方法的参考，以及实际的实验观察，发现标定法一般对一个点的标定精度是很高的，由于标定轴的方向是由多标定点的计算得来，方向上的误差要大于单个坐标原点的误差。

发明内容

本发明的目的是为了解决现有三维建模中多相机之间相互位置关系不精确导致建模误差大的问题，而提出一种基于多次识别标定板图像的多目相机外参标定精度的提高方法。

一种基于多次识别标定板图像的多目相机外参标定精度的提高方法包括以下步骤：

步骤一：设置标定物，移动标定物至不同位置，在每个位置由N组相机同时观测获得标定物标定信息，每个位置得到一组标定信息，共得到i组标定信息，其中N大于等于2；

步骤二：根据得到的每组标定信息，计算相机内部坐标系到该组标定物所形成的坐标系的转换矩阵，得到标定坐标系的转换矩阵；

步骤三：选取初始相机与需要转换的相机，通过两组相机与标定物之间的转换矩阵得到校准需要的两个坐标；

步骤四：利用步骤三得到的校准需要的两个坐标，得到校准所需的三个欧拉角；

步骤五：重复执行步骤三至步骤四，直至利用完初始相机与需要转换相机的所有标定信息，得到第i组标定信息的三个欧拉角α_i,β_i,γ_i；

步骤六：分别对三个欧拉角中的每个欧拉角的所有数据取平均得到α,β,γ，根据α,β,γ得到旋转矩阵以及初始相机与需要转换的相机相对关系的转换矩阵；

步骤七：重复步骤三至步骤六，直至除初始相机外所有相机都统一到初始相机坐标系为止。

本发明的有益效果为：

本发明采用高精度校准低精度的方法，通过单点位移误差来校准轴方向方向误差来减少整体标定误差。经过多相机不断地空间中不同位置的标定，只取除不同标定坐标系的原点信息不断地对目标坐标系进行旋转校准，使之达到精度满足空间大部分点的误差要求。

在经过正常标定方法得到的双相机坐标系，误差精度主要取决于方向轴的误差，而坐标原点的误差是相对更小的。因此不断地采集更多的空间标定信息，取其标定坐标原点信息，进而补偿方向轴误差，达到误差量级小的信息补偿误差量级大的特征的效果。通过这种标定校准方法，使双相机的标定误差从原先多点测量得以确定方向轴的误差级减少到单点测量确定原点位置的误差级。

由于一般相机标定坐标原点精度很高，但是由很多点测定的方向轴精度很低。因此本发明有效并且极大地将标定精度由方向轴的下限提高到坐标原点标定精度。在有些相机中，这种提高可能是减小了一个数量级的误差。

附图说明

图1为本发明流程图；

图2为未使用本发明方法前三维建模模型；

图3为未使用本发明方法前两相机各自建模模型；

图4为使用本发明方法前三维建模模型；

图5为使用本发明方法前两相机各自建模模型。

具体实施方式

具体实施方式一：如图1所示，一种基于多次识别标定板图像的多目相机外参标定精度的提高方法按以下步骤实施：

步骤一：将黑白棋盘或者二维码设置为标定物，移动标定物至不同位置，在每个位置由N组相机(N组相机标号为A、B、C…)同时观测获得标定物标定信息、图像以及点云信息，每个位置得到一组标定信息，共得到i组标定信息，其中N大于等于2；所述标定物的标定信息即通过相机观测得到的2维图片，得到相机坐标系到标定物所形成坐标系的转换矩阵。

步骤二：根据得到的每组标定信息，计算相机内部坐标系到该组标定物所形成的坐标系的转换矩阵，得到标定坐标系的转换矩阵；

步骤三：选取初始相机与需要转换的相机，通过两组相机与标定物之间的转换矩阵得到校准需要的两个坐标；

步骤四：利用步骤三得到的校准需要的两个坐标，得到校准所需的三个欧拉角；

步骤五：重复执行步骤三至步骤四，直至利用完初始相机与需要转换相机的所有标定信息，得到第i组标定信息的三个欧拉角α_i,β_i,γ_i；

步骤六：分别对三个欧拉角中的每个欧拉角的所有数据取平均得到α,β,γ，根据α,β,γ得到旋转矩阵以及初始相机与需要转换的相机相对关系的转换矩阵；

步骤七：重复步骤三至步骤六，直至除初始相机外所有相机都统一到初始相机坐标系为止。

本发明采用高精度校准低精度的方法，通过单点位移误差来校准轴方向方向误差来减少整体标定误差。经过多相机不断地空间中不同位置的标定，只取除不同标定坐标系的原点信息不断地对目标坐标系进行旋转校准，使之达到精度满足空间大部分点的误差要求。

在经过正常标定方法得到的双相机坐标系，误差精度主要取决于方向轴的误差，而坐标原点的误差是相对更小的。因此不断地采集更多的空间标定信息，取其标定坐标原点信息，进而补偿方向轴误差，达到误差量级小的信息补偿误差量级大的特征的效果。通过这种标定校准方法，使双相机的标定误差从原先多点测量得以确定方向轴的误差级减少到单点测量确定原点位置的误差级。如图2至图5所示。图2和图3为未校正时初步标定所示，基本无平移误差，但方位轴误差很明显。图4和图5为校正后效果图，可以看出方位轴误差已经被缩减到很小。

本发明利用每行三个二维码，共五行形成的标定物。其中二维码用程序随机生成。利用此标定物执行步骤一，即可获得我们需要的标定信息。将箱子摆放至两个相机中央，通过相机对箱子的观测，得到箱子及周围环境的点云信息，直接将两个相机采集的点云信息融合即可得到未校正时点云信息的显示图，图2与图3。执行步骤2到步骤7，再对两个相机采集的点云信息融合即可得到校正后点云信息的显示图，图4与图5。

具体实施方式二：本实施方式与具体实施方式一不同的是：所述步骤二中得到标定坐标系的转换矩阵的具体过程为：

第1组标定信息：

其中矩阵

代表由相机A坐标系到第1组标定物所形成的坐标系的转换矩阵，

代表旋转矩阵，

代表平移矩阵；

第i组标定信息：

其中

矩阵代表由相机A坐标系到第i组标定物所形成的坐标系的转换矩阵。

其它步骤及参数与具体实施方式一相同。

具体实施方式三：本实施方式与具体实施方式一或二不同的是：所述步骤三中选取初始相机与需要转换的相机，通过两组相机与标定物之间的转换矩阵得到校准需要的两个坐标的具体过程为：

从坐标系1到坐标系2的转换矩阵为

其中坐标系1为第1组标定信息中标定物所形成的坐标系，坐标系2为第2组标定信息中标定物所形成的坐标系；

代表通过相机A的观察，由坐标系1到坐标系2的转换矩阵，

代表由坐标系1到相机A坐标系的转换矩阵；

数值上是

的逆。

在通过相机A观察坐标系1得到的坐标系A1中，通过相机A观察坐标系2得到的坐标系A2原点坐标为(_AT₁ ²(1),_AT₁ ²(2),_AT₁ ²(3))；在通过相机B观察坐标系1得到的坐标系B1中，通过相机B观察坐标系2得到的坐标系B2原点坐标为(_BT₁ ²(1),_BT₁ ²(2),_BT₁ ²(3))；在同一个观察坐标系下(_AT₁ ²(1),_AT₁ ²(2),_AT₁ ²(3))与(_BT₁ ²(1),_BT₁ ²(2),_BT₁ ²(3))相同，在A1坐标系的视角下，将B1旋转与A1重合，则将坐标系B1中的坐标系B2原点经过此旋转得到坐标系B2原点在坐标系A1下坐标(_BT₁ ²(1),_BT₁ ²(2),_BT₁ ²(3))。

其它步骤及参数与具体实施方式一或二相同。

具体实施方式四：本实施方式与具体实施方式一至三之一不同的是：所述步骤四中利用步骤三得到的校准需要的两个坐标，得到校准所需的三个欧拉角的具体过程为：

通过旋转前后的两个空间向量(_AT₁ ²(1),_AT₁ ²(2),_AT₁ ²(3))与(_BT₁ ²(1),_BT₁ ²(2),_BT₁ ²(3))得到旋转的四元数，经过四元数与单位坐标系的三个欧拉角的转化，得到旋转依次绕Z-Y-X轴得到三个欧拉角为α₂,β₂,γ₂。其中Z-Y-X三个轴为标定物通过图像特征自己形成的三个坐标轴。具体经四元数向欧拉角转换方式以及两个空间向量向四元数转化方式可以通过C++语言中Eigen库中quaternion类中的两个函数实现。

其它步骤及参数与具体实施方式一至三之一相同。

具体实施方式五：本实施方式与具体实施方式一至四之一不同的是：所述步骤六中根据α,β,γ得到旋转矩阵以及初始相机与需要转换的相机相对关系的转换矩阵的具体过程为：

将三个旋转角α,β,γ转化为旋转矩阵R_r，则在A1坐标系下，该转换矩阵(根据α,β,γ得到的旋转矩阵，即A1坐标系到B1坐标系的转换矩阵)为

则对于B1坐标系的所有点，转换到A1坐标系下的转换矩阵(B1到A1的转换矩阵)为M_r ^-1，则由相机B到相机A的转换矩阵为

其它步骤及参数与具体实施方式一至四之一相同。

采用以下实施例验证本发明的有益效果：

实施例一：

步骤一：在进行标定校准前，要做一些预处理即多相机信息数据的采集：首先要把整体的框架搭建起来，并且保证在今后的实验中不受干扰，或者所有相机保持刚体变化。其次同时驱动所有相机，将标定物摆放在建模空间的不同位置，争取保证在整个空间都有信息的采集。

步骤二：选取准备统一的相机，记录为A，即除A以外，系统所有相机将坐标系统一到相机A的坐标系中。然后取相机A与其余相机之一采集的数据，进行初步转换矩阵的计算。

步骤三：假定A所成坐标系为标准坐标系，第二相机所成坐标系有误差，因此通过不同标定坐标系的原点数据对此误差进行校正。

步骤四：针对所有其余相机，循环步骤二与三，最终得到整个多相机体系的相对位置关系。

在图3与图5中，深色点云以及浅色点云分别为两个相机各自建立的模型。由图2-图5可以看出，在未校准前，方位轴有明显的误差，原点误差很小。经过校正后，各方面误差得以明显的减小。

综上所述，本发明提供了一种校准的优化方法，可以处理在三维测量、三维建模等项目中用到多相机标定时误差太大的问题。同时也可以进一步缩小误差级。该方法所依赖的条件很少，因此适用范围很广泛，不仅可以用到相机标定，也可以用来处理大部分减小坐标系转换误差的问题。

本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (5)

1.一种基于多次识别标定板图像的多目相机外参标定精度的提高方法，其特征在于：所述基于多次识别标定板图像的多目相机外参标定精度提高方法包括以下步骤：

步骤一：设置标定物，移动标定物至不同位置，在每个位置由N组相机同时观测获得标定物标定信息，每个位置得到一组标定信息，共得到i组标定信息，其中N大于等于2；

步骤二：根据得到的每组标定信息，计算相机内部坐标系到该组标定物所形成的坐标系的转换矩阵，得到标定坐标系的转换矩阵；

步骤三：选取初始相机与需要转换的相机，通过两组相机与标定物之间的转换矩阵得到校准需要的两个坐标；具体过程为：

从坐标系1到坐标系2的转换矩阵为

其中坐标系1为第1组标定信息中标定物所形成的坐标系，坐标系2为第2组标定信息中标定物所形成的坐标系；

代表通过相机A的观察，由坐标系1到坐标系2的转换矩阵，

代表由坐标系1到相机A坐标系的转换矩阵；

在通过相机A观察坐标系1得到的坐标系A1中，通过相机A观察坐标系2得到的坐标系A2原点坐标为(_AT₁ ²(1),_AT₁ ²(2),_AT₁ ²(3))；在通过相机B观察坐标系1得到的坐标系B1中，通过相机B观察坐标系2得到的坐标系B2原点坐标为(_BT₁ ²(1),_BT₁ ²(2),_BT₁ ²(3))；在同一个观察坐标系下(_AT₁ ²(1),_AT₁ ²(2),_AT₁ ²(3))与(_BT₁ ²(1),_BT₁ ²(2),_BT₁ ²(3))相同，在A1坐标系的视角下，将B1旋转与A1重合，则将坐标系B1中的坐标系B2原点经过此旋转得到坐标系B2原点在坐标系A1下坐标(_BT₁ ²(1),_BT₁ ²(2),_BT₁ ²(3))；

步骤四：利用步骤三得到的校准需要的两个坐标，得到校准所需的三个欧拉角；

步骤五：重复执行步骤三至步骤四，直至利用完初始相机与需要转换相机的所有标定信息，得到第i组标定信息的三个欧拉角α_i,β_i,γ_i；

步骤六：分别对三个欧拉角中的每个欧拉角的所有数据取平均得到α,β,γ，根据α,β,γ得到旋转矩阵以及初始相机与需要转换的相机相对关系的转换矩阵；

步骤七：重复步骤三至步骤六，直至除初始相机外所有相机都统一到初始相机坐标系为止。

2.根据权利要求1所述的一种基于多次识别标定板图像的多目相机外参标定精度的提高方法，其特征在于：所述步骤一中的标定物为黑白棋盘或者二维码。

3.根据权利要求2所述的一种基于多次识别标定板图像的多目相机外参标定精度的提高方法，其特征在于：所述步骤二中得到标定坐标系的转换矩阵的具体过程为：

第1组标定信息：

其中矩阵

代表由相机A坐标系到第1组标定物所形成的坐标系的转换矩阵，

代表相机A的第1组标定物的旋转矩阵，

代表相机A的第1组标定物的平移矩阵；矩阵

代表由相机B坐标系到第1组标定物所形成的坐标系的转换矩阵，

代表相机B的第1组标定物的旋转矩阵，

代表相机B的第1组标定物的平移矩阵；矩阵

代表由相机C坐标系到第1组标定物所形成的坐标系的转换矩阵；

第i组标定信息：

其中

矩阵代表由相机A坐标系到第i组标定物所形成的坐标系的转换矩阵，

代表相机A的第i组标定物的旋转矩阵，

代表相机A的第i组标定物的平移矩阵；矩阵

代表由相机B坐标系到第i组标定物所形成的坐标系的转换矩阵，

代表相机B的第i组标定物的旋转矩阵，

代表相机B的第i组标定物的平移矩阵；矩阵

代表由相机C坐标系到第i组标定物所形成的坐标系的转换矩阵。

4.根据权利要求3所述的一种基于多次识别标定板图像的多目相机外参标定精度的提高方法，其特征在于：所述步骤四中利用步骤三得到的校准需要的两个坐标，得到校准所需的三个欧拉角的具体过程为：

通过旋转前后的两个空间向量(_AT₁ ²(1),_AT₁ ²(2),_AT₁ ²(3))与(_BT₁ ²(1),_BT₁ ²(2),_BT₁ ²(3))得到旋转的四元数，经过四元数与单位坐标系的三个欧拉角的转化，得到旋转依次绕Z-Y-X轴得到三个欧拉角为α₂,β₂,γ₂。

5.根据权利要求4所述的一种基于多次识别标定板图像的多目相机外参标定精度的提高方法，其特征在于：所述步骤六中根据α,β,γ得到旋转矩阵以及初始相机与需要转换的相机相对关系的转换矩阵的具体过程为：

将三个旋转角α,β,γ转化为旋转矩阵R_r，则在A1坐标系下，A1坐标系到B1坐标系的转换矩阵为

则对于B1坐标系的所有点，转换到A1坐标系下的转换矩阵为M_r ^-1，则由相机B到相机A的转换矩阵为

Images