CN110827361A - 基于全局标定架的相机组标定方法及装置 - Google Patents

Abstract

本发明公开了一种基于全局标定架的相机组标定方法及装置，其中，方法包括以下步骤：对每个相机的视场范围设计标定板的尺寸、ID和几何位置姿态；检测单元格角点，并且获取标定板坐标系下相机的绝对位姿；根据相机的绝对位姿进行非线性优化和坐标系转换，估计得到多个摄像机间的相对位置和姿态。该方法通过构建全局的标定架，将多个摄像机间的相对位置和姿态估计出来，具有重要的理论和实际价值。

Description

基于全局标定架的相机组标定方法及装置

技术领域

本发明涉及相机标定技术领域，特别涉及一种基于全局标定架的相机组标定方法及装置。

背景技术

近年来，携带相机的智能设备(如无人车、无人机等)呈现了爆发式的增加，对其自身的定位需求也越来越强烈，视觉的定位技术，有其廉价且易于部署的特点，具有深入研究的价值。视觉定位可采用单目和多目的方式进行，传统单目相机通常视野受限，容易造成匹配缺失，并且无法解决尺度不确定性问题。相比之下，多目相机组不仅能够提供广阔的视野，还可以约束构建地图的尺度，可提供更多感知能力。但与此同时，多个相机间往往位置不同，视场不同，相邻相机重叠区域小甚至没有重叠(如图1车辆中的环拍系统)，更不能保证所有的摄像机均同时重叠。它们之间的相对位置姿态确定问题不能被传统的双目或者多目标定方法解决，因为传统方法需要有重叠视场。

其中，相机组，是指由两个及两个以上的相机组成的视觉装置。这些相机的光心一般不在一起，且每个相机的内参数可以不同。相机组内部符合刚性不变假设，各个相机在标定后在相机组内部就不再有任何的移动和旋转。环拍相机，阵列相机和双目相机都属于相机组的范畴。

相关技术，传统上，进行摄像机组的标定通常由摄像机厂商在出厂时进行基于位置、朝向测量的标定，即采用外部测量方法进行摄像机的位置和朝向的精准测量。该工作由专业人士进行，通常在专业设备上进行，调试周期长。

然而，传统上，进行摄像机组的标定通常由摄像机厂商在出厂时进行基于位置、朝向测量的标定。该标定过程需要高水平的人员进行长时间的调试和调整，对于生产工艺和安装工艺要求较高，耗时费力，且出厂后不能进行拆装和改动。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于全局标定架的相机组标定方法，该方法通过构建全局的标定架，将多个摄像机间的相对位置和姿态估计出来，具有重要的理论和实际价值。

本发明的另一个目的在于提出一种基于全局标定架的相机组标定装置。

为达到上述目的，本发明一方面实施例提出了一种基于全局标定架的相机组标定方法，包括以下步骤：对每个相机的视场范围设计标定板的尺寸、ID和几何位置姿态；检测单元格角点，并且获取标定板坐标系下相机的绝对位姿；根据所述相机的绝对位姿进行非线性优化和坐标系转换，估计得到多个摄像机间的相对位置和姿态。

本发明实施例的基于全局标定架的相机组标定方法，通过构建全局的标定架，将多个摄像机间的相对位置和姿态估计出来，具有重要的理论和实际价值，并且属于一种简便的安装后标定方式，是一种基于摄像机自身能力内部测量方式，支持出厂后拆装和改动后的迅速重新标定，对硬件生产和安装工艺要求较低，实施成本低。

另外，根据本发明上述实施例的基于全局标定架的相机组标定方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，还包括：采用具有局部区分性的编码进行局部唯一性标识，并排列组成所述标定板。

进一步地，在本发明的一个实施例中，所述检测单元格角点，包括：采用自适应的窗口阈值化处理对图像进行阈值分割；采用轮廓检测算法提取分割后的轮廓，并基于原始曲线和简化曲线之间的最大距离滤除不满足预设条件的轮廓，得到四边形候选；对所述四边形候选映射到预设正方形上，使得所述图像划分为网格，确定每个单元格的比特位；根据所述每个单元格的比特位利用输入的字典进行检测得到marker及其角点ID。

进一步地，在本发明的一个实施例中，所述绝对位姿的计算公式为：

其中，N表示所有3D到2D点对下标的集合，X_i表示视觉标记i在全局标定架坐标系中的三维坐标，P是某相机在全局坐标系下的带标定的位姿，x_i是该相机观测该3D点得到的二维像素特征点坐标。

进一步地，在本发明的一个实施例中，所述相机的视点内位姿满足：

其中，相机i的位姿为Ti′。

为达到上述目的，本发明另一方面实施例提出了一种基于全局标定架的相机组标定装置，包括：设计模块，用于对每个相机的视场范围设计标定板的尺寸、ID和几何位置姿态；检测模块，用于检测单元格角点，并且获取标定板坐标系下相机的绝对位姿；计算模块，用于根据所述相机的绝对位姿进行非线性优化和坐标系转换，估计得到多个摄像机间的相对位置和姿态。

本发明实施例的基于全局标定架的相机组标定装置，通过构建全局的标定架，将多个摄像机间的相对位置和姿态估计出来，具有重要的理论和实际价值，并且属于一种简便的安装后标定方式，是一种基于摄像机自身能力内部测量方式，支持出厂后拆装和改动后的迅速重新标定，对硬件生产和安装工艺要求较低，实施成本低。

另外，根据本发明上述实施例的基于全局标定架的相机组标定装置还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，还包括：标识模块，用于采用具有局部区分性的编码进行局部唯一性标识，并排列组成所述标定板。

进一步地，在本发明的一个实施例中，所述检测检测模块进一步用于采用自适应的窗口阈值化处理对图像进行阈值分割；采用轮廓检测算法提取分割后的轮廓，并基于原始曲线和简化曲线之间的最大距离滤除不满足预设条件的轮廓，得到四边形候选；对所述四边形候选映射到预设正方形上，使得所述图像划分为网格，确定每个单元格的比特位；根据所述每个单元格的比特位利用输入的字典进行检测得到marker及其角点ID。

进一步地，在本发明的一个实施例中，所述绝对位姿的计算公式为：

其中，N表示所有3D到2D点对下标的集合，X_i表示视觉标记i在全局标定架坐标系中的三维坐标，P是某相机在全局坐标系下的带标定的位姿，x_i是该相机观测该3D点得到的二维像素特征点坐标。

进一步地，在本发明的一个实施例中，所述相机的视点内位姿满足：

其中，相机i的位姿为Ti′。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的非重叠视场的环拍相机组示意图；

图2为根据本发明实施例的全局标定架示意图，针对自动驾驶汽车的环拍标定架(上)，针对无人叉车的L型标定架(下)，其中M是唯一ID的标定板；

图3为根据本发明实施例的基于全局标定架的相机组标定方法的流程图；

图4为根据本发明一个实施例的基于全局标定架的相机组标定方法的流程图

图5为根据本发明实施例的普通标定板示意图；

图6为根据本发明实施例的基于局部唯一性标识的标定板示意图；

图7为根据本发明实施例的标定板整体设计和建立标定板坐标系示意图；

图8为根据本发明实施例的角点检测结果图；

图9为根据本发明实施例的基于全局标定架的相机组标定装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

针对背景技术所述的技术问题，本发明实施例解决方案是设计一个全局标定架，中间包含若干面向相应相机的标定板，每个标定板包含多个全局唯一的ID信息的标记，如图2所示，其中，标记和标记之间的几何关系在加工标定物时已被事先度量。这种配置能够保证该全局标定架能被每个相机看到局部若干标记，相当于用全局标定架串联摄像机组。随后采用相机位置姿态的求解和最小化重投影误差对其进行优化。全局标定物的设计应该参考相机的大致位置设计，使得每个相机能看到局部；对全局标定物做位置和姿态的微调，同时相机组实施拍摄，则可得到多组相机组样本图像，这些样本图像可用来标定。

相机组标定，就是确定所有相机在相机组内部基于相机组刚体坐标系下的每个相机的绝对位姿。为此，本发明实施例提出来了一种基于全局标定架的相机组标定方法及装置，具有易于操作，且能够保证精度的优点，其中，标定架中使用的标定板是带有唯一ID标记的，这种标记检测速度快，误检率低，且具有唯一标识的ID，方便检测与匹配。

下面参照附图描述根据本发明实施例提出的基于全局标定架的相机组标定方法及装置，首先将参照附图描述根据本发明实施例提出的基于全局标定架的相机组标定方法。

图3是本发明一个实施例的基于全局标定架的相机组标定方法的流程图。

如图3所示，该基于全局标定架的相机组标定方法，首先设计具有局部唯一性标识能力的标定架，并在标定架上建立坐标系，而后在相机组内部各个相机上检测标定板的单元格角点，通过匹配信息，求解PnP问题，得到相机在标定板坐标系上的绝对位姿，最后通过坐标变换即可完成相机组的标定，具体地，方法包括以下步骤：

在步骤S301中，对每个相机的视场范围设计标定板的尺寸、ID和几何位置姿态。

可以理解的是，如图4所示，本发明实施例首先进行全局标定架的设计，具体地，如图2所示：首先根据实际场景的硬件设计，得到目标相机组的视场范围；随后针对每个相机的视场范围设计标定板的尺寸大小，ID分配和几何位置姿态；最后设计用支架将其链接固定。

进一步地，在本发明的一个实施例中，还包括：采用具有局部区分性的编码进行局部唯一性标识，并排列组成标定板。

可以理解的是，在对多相机组进行标定时，使用普通的标定板往往很难进行标定，如图5所示，由于普通的标定板每个单元格之间不具备区分性，在平移或旋转之后，就更加难以对单元格的角点进行匹配了。因此，本发明实施例设计了一种带有标记的标定板，如图6所示，采用具有局部区分性的编码进行局部唯一性标识，并排列组成标定板。

具体而言，(a)设计局部编码

本发明实施例设计的标定板中的局部唯一性标识采用Aruco maker，是一种基于二进制编码的人工标记，它由Rafael

和Sergio Garrido所设计。这种marker的有三个很好的特点，这是本发明实施例采用其的理由：(a)ID具有唯一性：每个Aruco Marker都有唯一的ID，且每个marker提供有区别的四个角点，无论marker怎么旋转，角点的标号的不会改变。因此，在铺设marker时保证没有重复ID的marker，即可进行全局的匹配；(b)利于快速检：测检测速度快，针对这个编码设计的算法复杂度低，运行速度快；(c)低误检率：ArucoMarker使用的是一种二进制编码，它使用奇偶校验，具有一位纠错能力,校验位在2的次幂位置，从而使得算法非常健壮，允许应用错误检测和校正技术的可能性，基本不会出现误检。

(b)设计标定板整体结构和坐标系

设计全局标定物上的位置和姿态时，需考虑每个相机能看到的视野，并在各个相机视野内布设2-5个可见的标记物。在设计局部编码的基础上，考虑到常用相机的宽高比，以阵列式朝前看的相机组为例，常见设计为一个矩形形状的整体标定图案，并通过测距仪精准测量得到每个marker角点的坐标，形成标定板整体设计方案。

如图7所示，本发明实施例以整体矩形左下角的角点为标定板原点，平行标定板边缘的方向作为X、Y轴方向，垂直于标定板正面的法向量为Z轴方向，建立标定板坐标系。标定板坐标系用于后续将所有相机集成到这一坐标系中。

在步骤S302中，检测单元格角点，并且获取标定板坐标系下相机的绝对位姿。

其中，在本发明的一个实施例中，检测单元格角点，包括：采用自适应的窗口阈值化处理对图像进行阈值分割；采用轮廓检测算法提取分割后的轮廓，并基于原始曲线和简化曲线之间的最大距离滤除不满足预设条件的轮廓，得到四边形候选；对四边形候选映射到预设正方形上，使得图像划分为网格，确定每个单元格的比特位；根据每个单元格的比特位利用输入的字典进行检测得到marker及其角点ID。

具体而言，单元格角点的检测流程大体分为阈值分割，轮廓提取与多边形近似，比特位提取，确定marker及其角点ID四个步骤，其中，角点检测结果如图8所示。

(a)阈值分割Marker是黑底白码的正方形，为了易于提取Marker的轮廓，首先需要对图像进行阈值分割。为了避免直接把可能的Marker过滤掉，本发明实施例在阈值分割时并不是全局的二值化，而是采用自适应的窗口阈值化处理，并且窗口的大小也要精心设计，如果窗口过大，则无法体现自适应特征；如果窗口过小，则会切割marker，使其破损。因此，本发明实施例使用一个合适范围的值作为窗口大小，在一个窗口进行阈值处理时，采用的是具有自适应能力的OTSU算法。

(b)轮廓提取及多边形近似

轮廓提取采用的是Suzuki的轮廓检测算法，提取完轮廓之后，需要对一些不太可能是marker的轮廓进行滤除。比如可以通过限定轮廓的最大和最小周长来做滤除，进行滤除之后，就是对轮廓进行多边形近似。这个步骤采用的是RamerDouglas-Peucker算法，这个算法是折线拟合曲线的算法，其想法为该算法基于原始曲线和简化曲线之间的最大距离(即曲线之间的Hausdorff距离)来定“不相似”，然后，Aruco检测算法会把近似结果不为四边形的进行滤除，剩下的四边形会作为候选，当做后续算法的输入。

(c)比特位提取

当获取四边形候选后，首先需要进行透视变换将四边形映射到一个正方形上。然后图像会被划分为网格，网格的个数与marker的位数相同。在每个单元格里，比特位提取统计比较黑色和白色像素的个数，以确定这个单元格的比特位。

(d)确定marker及其角点ID

当获得每个单元格的比特位后，确定ID就变得十分简单了。只需要利用输入的字典进行检测就可以了。

在步骤S303中，根据相机的绝对位姿进行非线性优化和坐标系转换，估计得到多个摄像机间的相对位置和姿态。

可以理解的是，如图4所示，本发明实施例计算标定板坐标系下相机的绝对位姿，并在得到组内所有相机在标定板坐标系中的绝对位姿时，就可以将该位姿转换为相机组内的绝对位姿。

具体而言，(1)计算标定板坐标系下相机的绝对位姿

有6对以上角点的三维坐标以及其在图像中的位置，就可以求解相机的绝对位姿。求解相机绝对位姿，可以理解为是一个PnP(Perspective-n-Point)问题，是求解3D到2D点对运动的方法，也就是在知道n个3D空间点及其在相机中的投影位置时，如何估计相机的绝对位姿。

假设3维空间中一点齐次坐标为X，其在相机位姿为P的相机坐标系中射线方向为x，则有：

[x^T 1]^T＝PX

P的最后一行为[0,0,0,1]的已知量，为减少方程未知量个数，把上式简写成

sx＝P[1：3]X

其中[1:3]指的是P向量的前三行，s为尺度因子。通过代换消去s后，每个点对可提供两个约束等式，写成：

AP^*＝0

P^*表示P前三行展成的12维向量。P一共有12个未知变量，所以需要6个点对来对P进行求解，大于6个点对的，可以使用SVD的方法求最小二乘解。

但是P本身是在李群SE3中的，通过直接线性方法求出的解，P中的旋转矩阵R可能并不满足旋转矩阵的性质。一种有效方法是将R经过SVD分解得出U、Σ、V，将Σ强行置成单位阵(这是旋转矩阵的充分必要条件)，最后令R＝UVT即可。这样做相当于把原矩阵投影到了SE3的流形上来。另一种可行的方法是使用优化的方法，通过求解这样一个优化问题来得到相机的位姿P：

其中，N表示所有3D到2D点对下标的集合。两种做法可能都有一定问题，直接线性方法求解出来的结果易受噪声影响，优化的方法则需要一个良好的初始解，否则很有可能优化到一个不好的局部最优解中。本发明实施例设计了一种由粗到精的优化方法，利用直接线性方法求得初始解，进行初始解的精度判断后，然后作为初始解，使用优化方法中进行精确求解，求得一个更优的结果。

(2)当得到组内所有相机在标定板坐标系中的绝对位姿时，就可以将该位姿转换为相机组内的绝对位姿。一般来说，本发明实施例会把其中一个相机的坐标系当做整个相机组的坐标系。假设在标定板坐标系下，相机i的位姿为Ti′,i＝0,1,2..N。以相机0的坐标系为视点坐标系，则相机i的视点内位姿Ti满足：

综上，本发明实施例提出的基于全局标定架的相机组标定方法，在进行相机组标定后，相机组内所有相机间的相对位置和姿态全部变为已知，可以用于智能驾驶，机器人等领域，支持分布在多个方向的摄像机的协同感知，如可以将多个相机间感知的目标进行融合，或者将图像进行拼接。基于这种标定工作，可以支持机器人的即时定位和地图构建(SLAM)，全向避障，全向人机交互等，可以在较多领域增强机器人的系统综合能力，如在支持即时定位和地图构建(SLAM)中，由于基于多摄像机构建的地图天生具有基线信息，其地图尺度依据可以根据相机组的基线确定，因此可以提供带尺度信息的地图，大大提高地图的可用性。进而，在视觉感知领域，具有较强的基础性的实际价值。

其次参照附图描述根据本发明实施例提出的基于全局标定架的相机组标定装置。

图9是本发明一个实施例的基于全局标定架的相机组标定装置的结构示意图。

如图9所示，该基于全局标定架的相机组标定装置10包括：设计模块100、检测模块200和计算模块300。

其中，设计模块100用于对每个相机的视场范围设计标定板的尺寸、ID和几何位置姿态；检测模块200用于检测单元格角点，并且获取标定板坐标系下相机的绝对位姿；计算模块300用于根据相机的绝对位姿进行非线性优化和坐标系转换，估计得到多个摄像机间的相对位置和姿态。本发明实施例的装置10通过构建全局的标定架，将多个摄像机间的相对位置和姿态估计出来，具有重要的理论和实际价值。

进一步地，在本发明的一个实施例中，还包括：标识模块，用于采用具有局部区分性的编码进行局部唯一性标识，并排列组成标定板。

进一步地，在本发明的一个实施例中，检测检测模块进一步用于采用自适应的窗口阈值化处理对图像进行阈值分割；采用轮廓检测算法提取分割后的轮廓，并基于原始曲线和简化曲线之间的最大距离滤除不满足预设条件的轮廓，得到四边形候选；对四边形候选映射到预设正方形上，使得图像划分为网格，确定每个单元格的比特位；根据每个单元格的比特位利用输入的字典进行检测得到marker及其角点ID。

进一步地，在本发明的一个实施例中，绝对位姿的计算公式为：

其中，N表示所有3D到2D点对下标的集合，X_i表示视觉标记i在全局标定架坐标系中的三维坐标，P是某相机在全局坐标系下的带标定的位姿，x_i是该相机观测该3D点得到的二维像素特征点坐标。

进一步地，在本发明的一个实施例中，相机的视点内位姿满足：

其中，相机i的位姿为Ti′。

需要说明的是，前述对基于全局标定架的相机组标定方法实施例的解释说明也适用于该实施例的基于全局标定架的相机组标定装置，此处不再赘述。

根据本发明实施例提出的基于全局标定架的相机组标定装置，在进行相机组标定后，相机组内所有相机间的相对位置和姿态全部变为已知，可以用于智能驾驶，机器人等领域，支持分布在多个方向的摄像机的协同感知，如可以将多个相机间感知的目标进行融合，或者将图像进行拼接。基于这种标定工作，可以支持机器人的即时定位和地图构建(SLAM)，全向避障，全向人机交互等，可以在较多领域增强机器人的系统综合能力，如在支持即时定位和地图构建(SLAM)中，由于基于多摄像机构建的地图天生具有基线信息，其地图尺度依据可以根据相机组的基线确定，因此可以提供带尺度信息的地图，大大提高地图的可用性。进而，在视觉感知领域，具有较强的基础性的实际价值。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于全局标定架的相机组标定方法，其特征在于，包括以下步骤：

对每个相机的视场范围设计标定板的尺寸、ID和几何位置姿态；

检测单元格角点，并且获取标定板坐标系下相机的绝对位姿；以及

根据所述相机的绝对位姿进行非线性优化和坐标系转换，估计得到多个摄像机间的相对位置和姿态。

2.根据权利要求1所述的方法，其特征在于，还包括：

采用具有局部区分性的编码进行局部唯一性标识，并排列组成所述标定板。

3.根据权利要求2所述的方法，其特征在于，所述检测单元格角点，包括：

采用自适应的窗口阈值化处理对图像进行阈值分割；

采用轮廓检测算法提取分割后的轮廓，并基于原始曲线和简化曲线之间的最大距离滤除不满足预设条件的轮廓，得到四边形候选；

对所述四边形候选映射到预设正方形上，使得所述图像划分为网格，确定每个单元格的比特位；

根据所述每个单元格的比特位利用输入的字典进行检测得到marker及其角点ID。

4.根据权利要求1所述的方法，其特征在于，所述绝对位姿的计算公式为：

其中，N表示所有3D到2D点对下标的集合，X_i表示视觉标记i在全局标定架坐标系中的三维坐标，P是某相机在全局坐标系下的带标定的位姿，x_i是该相机观测该3D点得到的二维像素特征点坐标。

5.根据权利要求4所述的方法，其特征在于，所述相机的视点内位姿满足：

其中，相机i的位姿为Ti′。

6.一种基于全局标定架的相机组标定装置，其特征在于，包括：

设计模块，用于对每个相机的视场范围设计标定板的尺寸、ID和几何位置姿态；

检测模块，用于检测单元格角点，并且获取标定板坐标系下相机的绝对位姿；以及

计算模块，用于根据所述相机的绝对位姿进行非线性优化和坐标系转换，估计得到多个摄像机间的相对位置和姿态。

7.根据权利要求6所述的装置，其特征在于，还包括：

标识模块，用于采用具有局部区分性的编码进行局部唯一性标识，并排列组成所述标定板。

8.根据权利要求所述7的装置，其特征在于，所述检测检测模块进一步用于采用自适应的窗口阈值化处理对图像进行阈值分割；采用轮廓检测算法提取分割后的轮廓，并基于原始曲线和简化曲线之间的最大距离滤除不满足预设条件的轮廓，得到四边形候选；对所述四边形候选映射到预设正方形上，使得所述图像划分为网格，确定每个单元格的比特位；根据所述每个单元格的比特位利用输入的字典进行检测得到marker及其角点ID。

9.根据权利要求6所述的装置，其特征在于，所述绝对位姿的计算公式为：

其中，N表示所有3D到2D点对下标的集合，X_i表示视觉标记i在全局标定架坐标系中的三维坐标，P是某相机在全局坐标系下的带标定的位姿，x_i是该相机观测该3D点得到的二维像素特征点坐标。

10.根据权利要求9所述的装置，其特征在于，所述相机的视点内位姿满足：

其中，相机i的位姿为Ti′。

Images