CN112150561A - 一种多相机标定方法 - Google Patents

Abstract

本发明公开了一种多相机标定方法，包括如下步骤：(1)准备印有图样的标定板；(2)在场景中布置标定板；(3)所有相机对于静止的标定板布置同时拍摄一张照片，构成一组照片；(4)采用检测程序检测所有照片中的图样与特征点；(5)对初始内参、初始相对位姿进行估计；(6)估计相机与标定板的初始绝对旋转、初始绝对平移，并进行位姿非线性优化；(7)进行集束优化，得到最终相机参数结果。本发明只需在场景中放置一些标定板，并拍摄较少的照片即可标定出所有相机参数；同一个相机系统拍摄十组左右不同标定板布置的照片，就足以给出较高精度的参数。

Description

一种多相机标定方法

技术领域

本发明涉及标定方法，具体是一种多相机标定方法。

背景技术

随着计算机视觉的演进，以及计算机与相机的平民化，多相机计算机视觉应用也日趋广泛；然而，多相机系统也通常依赖高精度的相机参数才能给出高精度的结果；

相机参数由内参与外参组成：内参包括相机焦距、镜头畸变等参数，描述从相机坐标系的三维点到图像坐标系的映射；外参为一个三维刚体变换，描述世界坐标系与相机坐标系之间的变换，由一个三维旋转变换(矩阵)与一个三维平移向量组成；

这些参数的标定通常需要经过复杂的流程；对于多相机系统而言，一般先逐个标定内参后，再俩俩相机逐对标定外参完成；这样的方法，往往需要人工在每个相机前移动标定板，拍摄数十张不同位置的照片，对于大量相机的系统而言，要拍摄照片的总数也成倍增加，进而不再实用。

发明内容

本发明的目的在于提供一种多相机标定方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种多相机标定方法，包括如下步骤：(1)准备印有图样的标定板；(2)在场景中按照如下要求布置标定板：①同一张图样图片只使用一次，②每块标定板同时对至少两个相机可见；(3)所有相机对于静止的标定板布置同时拍摄一张照片，构成一组照片；(4)采用检测程序检测所有照片中的图样与特征点，并记x_(i，j，k)为标定板图样j的特征点k在相机i中检测到的图像坐标；(5)对初始内参、初始相对位姿进行估计；(6)估计相机与标定板的初始绝对旋转、初始绝对平移，并进行位姿非线性优化；(7)进行集束优化，得到最终相机参数结果。

进一步的，所述图样图片包含特征点，并且在图样图片中有对应的图像坐标。

进一步的，所述步骤(4)中检测程序在检测到图样时，能同时给出图样图片中的特征点在被检测照片中的图像坐标；图样图片是可区分的：在检测到一张图片时，同时能给出图片的唯一编号，且在多个不同图片同时出现时，不会相互混淆。

进一步的，所述步骤(5)中初始内参的估计方法为：对于每一个相机，在已知每块标定板特征点平面坐标与对应的图像上二维观测时，从中估计相机的内参；在估计出从平面坐标到图像坐标的单应性矩阵后，通过张正友标定法方法求解。

进一步的，所述步骤(5)中初始相对位姿的估计方法为：对于给定的相机i和其可见的标定板j，按照下式建立关于两者间相对位姿的优化问题：

其中：

T_j→i：标定板与相机的相对位姿，从标定板j到相机i的刚体变换；

E(i，j)：在相机i、标定板j间所有可见的特征点所构成的集合；

K_i：相机i的内参，包括焦距、镜头畸变参数；

特征点k在标定板j坐标系下的三维坐标；

π(·，·)：投影函数，通过相机的内参与相机坐标系下的特征点坐标，计算特

征点在照片上投影的图像坐标；

x_(i，j，k)：检测程序给出的标定板j的特征点k在相机i上的图像坐标。

进一步的，T_j→i通过n点透视方法求解。

进一步的，所述步骤(6)中相机与标定板的初始绝对旋转估计方法为：首先只考虑位姿中的旋转部分；对相机i、标定板j，以及两者之间的相对旋转，有下式：

R_w→i-R_k→iR_w→j＝0

其中：

R_w→i：相机i的旋转，从世界到相机坐标系的变换中的旋转部分；

R_j→i：从标定板j到相机i坐标系的旋转，即初始相对位姿估计中所求相对位姿中的旋转；

R_w→j：标定板j的旋转，世界坐标系到标定板j的变换中的旋转部分；

所求即所有N个相机、M个标定板的旋转，将所有旋转矩阵堆叠成形如下式的3(M+N)×3的矩阵：

考虑R的第k列R^(k)，对于每组相机i与标定板j之间的相对位姿观测，有：

其中：

I_3×3：3×3的单位矩阵；

分别为R_w→i、R_w→k的第k列；

A_i，j中省略的部分均为零；

将所有的观测形成的A_i，j堆叠为一个矩阵A，得到关于R^(k)的线性系统：

AR^(k)＝0

通过奇异值分解求解上述线性系统，即可解得在线性空间中最符合观测的所有变换

随后再利用奇异值分解，重新从线性矩阵中提取出最接近的旋转矩阵，对于每个上述估计得到的线性变换

有：

其中，UΣV^T即

的奇异值分解，

即从中提取的旋转矩阵。

进一步的，所述步骤(6)中相机与标定板的初始绝对平移的估计方法为：首先利用估计的初识绝对旋转，给出每个相机-标定板相对平移在世界坐标系下的表达：

其中：

在世界坐标系下从相机i指向标定板j的向量；

标定板j在世界坐标系下的位置；

相机i在世界坐标系下的位置；

标定板j在相机i坐标系下的位置；

[R_i→wt_i→w]：从相机i到世界坐标系的变换；其中R_i→w即上一步求得R_w→i的逆；

先将所有平移

堆叠为一个向量：

对每组相对平移的观测有：

上式中B_i，j省略的部分为零；

将B_i，j堆叠为矩阵B、所有

堆叠为Δt，有下列关于t的线性系统：

Bt＝Δt

上述系统不满秩，对于一个连通的位姿图而言，任意固定一个平移，即可利用任意线性系统求解器求解。

进一步的，所述步骤(6)中位姿非线性优化的方法为：优化所有位姿，使得每个利用相对位姿估计的特征点坐标与利用标定板位姿给出的坐标尽可能接近；

上述优化问题采用下式刻画：

其中：

T_i：相机i位姿，从相机i到世界坐标系的变换；

T_j→i：标定板-相机的相对位姿，从标定板j到相机i的变换；

T_j：标定板j的位姿，从标定板到世界的变换；

特征点k在标定板j上的三维坐标；

然后以初始绝对旋转、初识绝对平移估计中给出的解作为优化初值，利用任意非线性优化算法求解。

进一步的，所述步骤(7)中集束优化的方法为：优化所有相机的内外参与标定板的位姿，使得每个特征点到图像的重投影误差尽可能小，该优化问题由下式表达：

其中：

K_i：相机i的内参；

T_i：相机i的外参；

T_j：标定板j的旋转与平移；

E：所有存在观测的相机i、标定板j、特征点k所构成的集合；

X_k(·，·)：特征点k经过标定板j到世界、世界到相机i的变换后，给出的特征点在相机坐标系下三维坐标的预测；

π(·，·)：投影函数；

x_(i，j，k)：特征点在图像中的二维观测；

以步骤(5)和步骤(6)给出的解作为相机内外参、标定板位姿的初值，利用任意非线性优化算法求解，优化后给出的相机内外参即最终相机参数结果。

与现有技术相比，本发明的有益效果是：本发明只需在场景中放置一些标定板，并拍摄较少的照片即可标定出所有相机参数；同一个相机系统拍摄十组左右不同标定板布置的照片，就足以给出较高精度的参数，极大地节约了人力，并简化了标定流程。

附图说明

图1为本发明方法的流程图。

具体实施方式

下面结合具体实施方式对本专利的技术方案作进一步详细地说明：

本发明方法在拍摄前需要事先准备印有图样标定板；其中，图样指一些符合特定要求，或是经过特殊设计，从而可以由事先准备好的程序检测的一类图片；对于图样的检测，还需满足以下要求：

图样图片包含特征点，并且在图样图片中有对应的图像坐标；

检测程序在检测到图样时，能同时给出图样图片中的特征点在被检测照片中的图像坐标；

图样图片是可区分的：在检测到一张图片时，同时能给出图片的唯一编号，且在多个不同图片同时出现时，不会相互混淆；

原则上，满足上述条件的任意图样都可以使用，例如ArUco图样；

在场景中按照如下要求布置标定板：

同一张(图样)图片只使用一次；

每块标定板同时对至少两个相机可见；

另外，取决于初始内参估计中选用的内参标定算法，可能会引入其他的布置要求，比如张正友标定法要求每个相机观测到的标定板数量不少于一定数量，具体数量取决于要拟合的内参参数数量，且每块标定板不能具有相同的法向；

所有相机对于静止的标定板布置同时拍摄一张照片，即构成一组照片；对于同一个相机系统，相同的标定板布置只需拍摄一组照片；如需提升精度，可以通过移动、旋转标定板改变布置，再拍摄新的一组照片；

图样与特征点检测：

用所述检测程序，检测所有照片中的图样与特征点，并记x_(i，j，k)为标定板(图样)j的特征点k在相机i中检测到的图像坐标；

初始内参估计：

对于每一个相机而言，在已知每块标定板特征点平面坐标与对应的图像上二维观测时，可以从中估计相机的内参；

可以在估计出从平面坐标到图像坐标的单应性矩阵后，通过张正友标定法等方法求解；

初始相对位姿估计：

对于给定的相机i和其可见的标定板j，都可以按照下式建立关于两者间相对位姿的优化问题：

其中：

·T_j→i：标定板与相机的相对位姿，从标定板j到相机i的刚体变换；

·E(i，j)：在相机i、标定板j间所有可见的特征点所构成的集合；

·K_i：相机i的内参，包括焦距、镜头畸变等参数；

·

特征点k在标定板j坐标系下的三维坐标；

·π(·，·)：投影函数，通过相机的内参与相机坐标系下的特征点坐标，计算特征点在照片上投影的图像坐标；

·x_(i，j，k)：检测程序给出的标定板j的特征点k在相机i上的图像坐标；

上式中除T_j→i外，其余变量全部已知；该问题可以通过n点透视(Perspective-n-Point，或PnP)等方法求解；

初始绝对位姿估计：

该问题可以通过位姿图模型描述：所有标定板与相机的位姿形成顶点，所有相机-标定板相对位姿观测构成边，所求即每个顶点的位姿，使得顶点间相对位姿与观测尽可能接近；初始绝对位姿估计由旋转估计和平移估计两步组成；

旋转估计：

首先只考虑位姿中的旋转部分；对相机i、标定板j，以及两者之间的相对旋转，有下式：

R_w→i-R_j→iR_w→j＝0

其中：

·R_w→i：相机i的旋转，从世界到相机坐标系的变换中的旋转部分；

·R_j→i：从标定板j到相机i坐标系的旋转，即初始相对位姿估计中所求相对位姿中的旋转；

·R_w→j：标定板j的旋转，世界坐标系到标定板j的变换中的旋转部分；

所求即所有N个相机、M个标定板的旋转，然而直接在三维旋转所构成的空间内求解很困难；首先简化为一般的线性变换考虑，并将所有旋转矩阵堆叠成形如下式的3(M+N)×3的矩阵：

考虑R的第k列R^(k)，对于每组相机i与标定板j之间的相对位姿观测，有：

其中：

·I_3×3：3×3的单位矩阵；

·

分别为R_w→i、R_w→j的第k列；

·A_i，j中省略的部分均为零；

将所有的观测形成的A_i，j堆叠为一个矩阵A，得到关于R^(k)的线性系统：

AR^(k)＝0

通过奇异值分解可以求解上述线性系统，即可解得在线性空间中最符合观测的所有变换

随后可以再利用奇异值分解，重新从线性矩阵中提取出最接近的旋转矩阵，对于每个上述估计得到的线性变换

有：

其中，UΣV^T即

的奇异值分解，也即U和V的含义通过奇异值分解定义自动确定，

即从中提取的旋转矩阵；

平移估计：

首先利用上一步估计的旋转，给出每个相机-标定板相对平移在世界坐标系下的表达：

其中：

·

在世界坐标系下从相机i指向标定板j的向量；

·

标定板j在世界坐标系下的位置；

·

相机i在世界坐标系下的位置；

·

标定板j在相机i坐标系下的位置；

·[R_i→wt_i→w]：从相机i到世界坐标系的变换；其中R_i→w即上一步求得R_w→i的逆；

和上一步类似的，先将所有平移

堆叠为一个向量：

对每组相对平移的观测有：

同样地，上式中B_i，j省略的部分为零；

将B_i，j堆叠为矩阵B、所有

堆叠为Δt，有下列关于t的线性系统：

Bt＝Δt

该系统不满秩，不过对于一个连通的位姿图而言，任意固定一个平移，即可利用任意线性系统求解器求解；

位姿非线性优化：

在得到所有相机与标定板的位姿后，可以进一步优化所有位姿，以减轻最后集束优化的负担；在这里优化所有位姿，使得每个利用相对位姿估计的特征点坐标与利用标定板位姿给出的坐标尽可能接近；

上述优化问题可以下式刻画：

其中：

·T_i：相机i位姿，从相机i到世界坐标系的变换；

·T_j→i：标定板-相机的相对位姿，从标定板j到相机i的变换；

·T_j：标定板j的位姿，从标定板到世界的变换；

·

特征点k在标定板j上的三维坐标；

以初始旋转、平移估计中给出的解作为优化初值，利用任意非线性优化算法都可以求解上述问题；

集束优化(Bundle Adjustment)：

优化所有相机的内外参与标定板的位姿，使得每个特征点到图像的重投影误差尽可能小；该优化问题可以由下式表达：

其中：

·K_i：相机i的内参；

·T_i：相机i的外参；

·T_j：标定板j的旋转与平移；

·E：所有存在观测的相机i、标定板j、特征点k所构成的集合；

·X_k(·，·)：特征点k经过标定板j到世界、世界到相机i的变换后，给出的特征点在相机坐标系下三维坐标的预测；

·π(·，·)：投影函数；

·x_(i，j，k)：特征点在图像中的二维观测；

以前两步给出的解作为相机内外参、标定板位姿的初值，利用任意非线性优化算法即可以求解，优化后给出的相机内外参即最终相机参数结果。

综上所述，无需人工在每个相机前单独摆动标定板，只需对不同的标定板配置拍摄几组照片，即可完成所有相机参数的标定，在给出接近精度的同时，极大地节约了人力，简化了标定流程。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (10)

1.一种多相机标定方法，其特征在于，包括如下步骤：(1)准备印有图样的标定板；(2)在场景中按照如下要求布置标定板：①同一张图样图片只使用一次，②每块标定板同时对至少两个相机可见；(3)所有相机对于静止的标定板布置同时拍摄一张照片，构成一组照片；(4)采用检测程序检测所有照片中的图样与特征点，并记x_(i，j，k)为标定板图样j的特征点k在相机i中检测到的图像坐标；(5)对初始内参、初始相对位姿进行估计；(6)估计相机与标定板的初始绝对旋转、初始绝对平移，并进行位姿非线性优化；(7)进行集束优化，得到最终相机参数结果。

2.根据权利要求1所述的多相机标定方法，其特征在于，所述图样图片包含特征点，并且在图样图片中有对应的图像坐标。

3.根据权利要求2所述的多相机标定方法，其特征在于，所述步骤(4)中检测程序在检测到图样时，能同时给出图样图片中的特征点在被检测照片中的图像坐标；图样图片是可区分的：在检测到一张图片时，同时能给出图片的唯一编号，且在多个不同图片同时出现时，不会相互混淆。

4.根据权利要求1所述的多相机标定方法，其特征在于，所述步骤(5)中初始内参的估计方法为：对于每一个相机，在已知每块标定板特征点平面坐标与对应的图像上二维观测时，从中估计相机的内参；在估计出从平面坐标到图像坐标的单应性矩阵后，通过张正友标定法方法求解。

5.根据权利要求1所述的多相机标定方法，其特征在于，所述步骤(5)中初始相对位姿的估计方法为：对于给定的相机i和其可见的标定板j，按照下式建立关于两者间相对位姿的优化问题：

其中：

T_j→i：标定板与相机的相对位姿，从标定板j到相机i的刚体变换；

E(i，j)：在相机i、标定板j间所有可见的特征点所构成的集合；

K_i：相机i的内参，包括焦距、镜头畸变参数；

特征点k在标定板j坐标系下的三维坐标；

π(·，·)：投影函数，通过相机的内参与相机坐标系下的特征点坐标，计算特征点在照片上投影的图像坐标；

x_(i，j，k)：检测程序给出的标定板j的特征点k在相机i上的图像坐标。

6.根据权利要求5所述的多相机标定方法，其特征在于T_j→i通过n点透视方法求解。

7.根据权利要求1所述的多相机标定方法，其特征在于，所述步骤(6)中相机与标定板的初始绝对旋转估计方法为：首先只考虑位姿中的旋转部分；对相机i、标定板j，以及两者之间的相对旋转，有下式：

R_w→i-R_j→iR_w→j＝0

其中：

R_w→i：相机i的旋转，从世界到相机坐标系的变换中的旋转部分；

R_j→i：从标定板j到相机i坐标系的旋转，即初始相对位姿估计中所求相对位姿中的旋转；

R_w→j：标定板j的旋转，世界坐标系到标定板j的变换中的旋转部分；

所求即所有N个相机、M个标定板的旋转，将所有旋转矩阵堆叠成形如下式的3(M+N)×3的矩阵：

考虑R的第k列R^(k)，对于每组相机i与标定板j之间的相对位姿观测，有：

其中：

I_3×3：3×3的单位矩阵；

分别为R_w→i、R_w→j的第k列；

A_i，j中省略的部分均为零；

将所有的观测形成的A_i，j堆叠为一个矩阵A，得到关于R^(k)的线性系统：

AR^(k)＝0

通过奇异值分解求解上述线性系统，即可解得在线性空间中最符合观测的所有变换

随后再利用奇异值分解，重新从线性矩阵中提取出最接近的旋转矩阵，对于每个上述估计得到的线性变换

有：

其中，UΣV^T即

的奇异值分解，

即从中提取的旋转矩阵。

8.根据权利要求7所述的多相机标定方法，其特征在于，所述步骤(6)中相机与标定板的初始绝对平移的估计方法为：首先利用估计的初识绝对旋转，给出每个相机-标定板相对平移在世界坐标系下的表达：

其中：

在世界坐标系下从相机i指向标定板j的向量；

标定板j在世界坐标系下的位置；

相机i在世界坐标系下的位置；

标定板j在相机i坐标系下的位置；

[R_i→w t_i→w]：从相机i到世界坐标系的变换；其中R_i→w即上一步求得R_w→i的逆；

先将所有平移

堆叠为一个向量：

对每组相对平移的观测有：

上式中B_i，j省略的部分为零；

将B_i，j堆叠为矩阵B、所有

堆叠为Δt，有下列关于t的线性系统：

Bt＝Δt

上述系统不满秩，对于一个连通的位姿图而言，任意固定一个平移，即可利用任意线性系统求解器求解。

9.根据权利要求1所述的多相机标定方法，其特征在于，所述步骤(6)中位姿非线性优化的方法为：优化所有位姿，使得每个利用相对位姿估计的特征点坐标与利用标定板位姿给出的坐标尽可能接近；

上述优化问题采用下式刻画：

其中：

T_i：相机i位姿，从相机i到世界坐标系的变换；

T_j→i：标定板-相机的相对位姿，从标定板j到相机i的变换；

T_j：标定板j的位姿，从标定板到世界的变换；

特征点k在标定板j上的三维坐标；

然后以初始绝对旋转、初识绝对平移估计中给出的解作为优化初值，利用任意非线性优化算法求解。

10.根据权利要求1所述的多相机标定方法，其特征在于，所述步骤(7)中集束优化的方法为：优化所有相机的内外参与标定板的位姿，使得每个特征点到图像的重投影误差尽可能小，该优化问题由下式表达：

其中：

K_i：相机i的内参；

T_i：相机i的外参；

T_j：标定板j的旋转与平移；

E：所有存在观测的相机i、标定板j、特征点k所构成的集合；

X_k(·，·)：特征点k经过标定板j到世界、世界到相机i的变换后，给出的特征点在相机坐标系下三维坐标的预测；

π(·，·)：投影函数；

x_(i，j，k)：特征点在图像中的二维观测；

以步骤(5)和步骤(6)给出的解作为相机内外参、标定板位姿的初值，利用任意非线性优化算法求解，优化后给出的相机内外参即最终相机参数结果。

Images