CN114581526A - 一种基于球形标定块的多相机标定方法 - Google Patents

Abstract

本发明涉及一种基于球形标定块的多相机标定方法，包括以下步骤：利用点状编码点和球体制作标定块，多次移动标定块同时采集图像；采用分层重建的方法，对具有公共视野区域的局部相机的位姿及空间点的坐标进行初步计算；指定根相机，根据局部参数估计，随机遍历相机定向路径，完成全局统一优化；采用虚拟球面投影法，对世界空间点进行矫正优化；对全局坐标系下的相机位姿和空间点采用光束平差法进行了整体优化；建立尺度因子，对全局相机位姿及空间点进行尺度变换。本发明可实现多相机系统的高精度、快速标定，标定块制作简单，标定方法通用性高。

Description

一种基于球形标定块的多相机标定方法

技术领域

本发明涉及相机标定技术领域，具体涉及一种基于球形标定块的多相机标定方法。

背景技术

计算机视觉由于其非接触、多点同时测量等特点在工业检测、目标定位、三维重建等领域的应用日益广泛。相机标定是视觉测量中的一个关键环节，标定参数的优劣直接影响着重建测量的精度。为满足当前工业领域对大视野范围测量的需求，利用多相机测量的解决方案较为常见，如何实现多相机系统中的高精度、高效率标定，成为今年来的研究热点。

目前，多相机的标定方法主要可以分为标定块法和点阵法。标定块法需要根据相机的分布特点和分布数量设计出具有精确特征点位置的标定块，通过建立对应特征点的共线方程，从而得到相机的内参数和外参数。这种方法只适合所有相机具有公共视野区域，或者特定形式分布的多相机系统，对于部分机具有公共视野区域的多相机系统，需要多次局部标定和全局坐标统一，这会产生累计误差，且耗时严重。点阵法标定需要创造虚拟点阵或实体点阵，通过多相机同时采集点阵中的特征点，根据精确匹配的特征点估计相机的位姿和空间点坐标，实现多相机的内外参数标定。但是，点阵法往往对错误的特征匹配比较敏感，后期的非线性优化也容易陷入局部最小值。

综上所述，现有的多相机标定方法存在一些局限性和弊端，因此需要提出一种新的多相机标定方法。

发明内容

本发明的实施例目的在于提出一种基于球形标定块的多相机标定方法，对具有公共视野区域的局部相机的位姿及空间点的坐标进行了初步计算，采用了一种随机路径转换算法进行全局统一，并对空间点做了球面投影优化，采用光束平差参数优化算法进行了整体优化，完成多相机标定。

本发明为实现上述目的所采用的技术方案是：一种基于球形标定块的多相机标定方法，包括以下步骤：

使用点状编码块和球体制作标定块；

根据相机公共视野移动标定块并采集图像，对具有公共视野区域的局部相机的位姿及空间点的坐标进行初步计算；

根据局部参数估计和随机转换算法，遍历路径进行相机定向，将局部位姿转化到全局位姿；利用不同位置标定块的空间点进行球形拟合，根据投影交点对空间点投影优化；

采用光束平差法对多相机系统的内参数、外参数和空间点优化；

利用模板点中的最远点距离作为尺度因子，对全局相机位姿及空间点进行尺度变换；

将光束平差法获取的内参数、尺度变化后的相机位姿和空间点作为该方法的结果输出。

所述使用点状编码块和球体制作标定块包括：

选取一个球体作为载体，将若干点状编码块随机粘贴在球体上；其中，每个点状编码块提供若干个圆点作为标定用的特征点，点A1、A2、A3、A4、A5为编码点的模板点且位置不变，M1、M2、M3为编码点的位置可变点。

所述根据相机公共视野移动标定块并采集图像，对具有公共视野区域的局部相机的位姿及空间点的坐标进行初步计算包括：

1)采集图像后，任选三个相机进行组合，对每个组合内相机采集的图像进行编码点解码和特征点匹配，将特征点数低于匹配点阈值Th_pt的分组剔除；所述编码点解码为识别编码区域内的模板点和编码点的位置坐标作为特征点用于匹配；

2)筛选后的相机组合进行局部位姿和空间点估计：

a.假设X_n为相机公共视野中的一个特征点，在不考虑畸变系数的情况下，3个相机下的n个特征点的投影方程为：

其中，μ_ni表示X_n在第i个相机下的射影深度；p_ni表示X_n在第i个相机下的投影点；S_i表示第i个相机的投影矩阵，由第i个相机的内参数K_i和外参数Q_i构成；W∈R^9×n为测量矩阵，S∈R^9×4为估计的3个相机的射影矩阵；X∈R^4×n为估计的空间点；

b.将S和X从射影坐标系恢复到欧式坐标系，结合奇异值分解，可得到欧式空间下的投影矩阵和空间点：

其中，S_Ei(i＝1,2,3)为欧式空间下的射影矩阵，射影矩阵中的外参数表示为Q_Ei，X_En为欧式空间下的空间点。

第i个相机相对于第j个相机的局部位姿Q_Eij：

其中，Q_Ei(i＝1,2,3)表示第i个相机射影矩阵中的外参数，Q_Ej(j＝1,2,3)表示第j个相机射影矩阵中的外参数。

所述根据局部参数估计和随机转换算法，遍历路径进行相机定向，将局部位姿转化到全局位姿包括：

在局部位姿和空间点估计过程中，随机选取一个根相机，将根相机所在的组合内完成特征点匹配的相机视为定向完毕，在下一次参数估计中不再考虑定向完毕的相机；直到遍历全部相机，获取相机间按照组合进行定向的分段路径转换关系；

对于分段路径转换关系，分别计算局部转换到全局后的相机姿态，即系统外参数。

所述利用不同位置标定块的空间点进行球形拟合，根据投影交点，对空间点投影优化包括：

在世界坐标系下，对当前位置标定块的空间点X_Ei进行拟合，得到一个虚拟球面；

遍历当前标定块的所有空间点，沿半径方向向虚拟球面投影，同一半球上的投影点作为矫正后的空间点X_Ei’。

所述进行光束法平差参数优化多相机系统获取优化后的标定参数：内参数K_i’、外参数Q_Ei’和空间点X_Ei”。

所述利用模板点中的最远点距离作为尺度因子，对全局相机位姿及空间点进行尺度变换包括：

利用点状编码点中距离最远的两个点(A1点和A5点)作为尺度因子，对全局相机及空间点进行尺度变换，尺度因子为：

其中，

表示光束平差法优化后的第i组点状编码点中A1点坐标，

表示光束平差法优化后的第i组点状编码点中A5坐标，D为A1点和A5点的理论距离。

尺度变化后的相机位姿和空间点坐标分别为：

其中，Q_Ei’表示光束平差法优化后的第i个相机的位态；

表示尺度变换后的相机的位态；X_Ei”表示光束平差法优化后的空间点坐标；

表示尺度变换后的空间点坐标。

本发明具有以下有益效果及优点：

1.本发明方法为多相机系统提供了一种基于球形标定块的新标定方法，球形标定块制作简单，只需要将同一型号同一批次的点状编码点随意粘贴在球体上即可完成制作，对球体的加工精度没有严格要求。

2.本发明标定流程快捷，节省时间。只需要放置一次或者少数几次标定块，就可以实现多相机系统的标定。

3.本发明通过点状编码点提供点特征，降低了特征点匹配错误的可能性；在非线性优化之前对空间点坐标进行了优化，提高了空间点的初始位置精度，降低了非线性优化陷入局部最小值的可能性。

4.本发明以点状编码点上最远两点间的距离作为尺度信息，实现了相机之间尺度信息的标定。

附图说明

图1为本发明提供的一种基于球形标定块的多相机标定方法；

图2为本发明提供的一种基于球形标定块的多相机标定方法的随机路径全局优化方法；

图3为本发明提供的一种基于球形标定块的多相机标定方法的编码点示例图；

图4为本发明提供的一种基于球形标定块的多相机标定方法的随机路径转换示例图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方法做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但本发明能够以很多不同于在此描述的其他方式来实施，本领域技术人员可以在不违背发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。

除非另有定义，本文所使用的所有技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

如图1-图4所示，本发明一种基于球形标定块的多相机标定方法包括如下步骤：

1.选取一个表面反光率较低的标准球体作为载体，将点状编码块随机粘贴在标准球体上，完成标定块制作。其中，每个点状编码块可以提供8个圆点作为标定用的特征点。如图3，点A1、A2、A3、A4、A5为编码块的模板点(即位置不变点)，M1、M2、M3为编码点的位置可变点。

2.移动t次标定块(t＝1,2,…,k)，控制每个视野相关的相机拍摄图片，保证标定块遍历每个相机的视野成像；在这之前还包括步骤：

调节相机镜头的光圈、焦距、曝光时间，保证该环境下的高质量成像；

3.任选三个相机进行组合，对每个组合内相机采集的图像进行点状编码块点解码和特征点匹配，然后判断每一组相机之间匹配的特征点数，将特征点数低于匹配点数阈值Th_pt的分组排除。所述点状编码块解码为通过拍摄的图像识别编码点区域中模板点位置和编码点位置作为特征点位置用于相机间的匹配。

筛选后的相机组合进行局部位姿和空间点估计，局部位姿即相机坐标，空间点为特征点在世界坐标系中坐标。假设X_n为相机公共视野中的一个特征点，在不考虑畸变系数的情况下，该点投影到第i个像平面的投影方程为：

其中，μ_ni表示第n个特征点在第i个相机下的射影深度；p_ni表示X_n在第i个相机下的投影点；K_i表示第i(i∈{1,2,3})个相机的内参矩阵；[r_i、t_i]表示由旋转向量r_i和平移向量t_i组成的外参数矩阵；S_i表示第i个相机的投影矩阵。X_n在第i个相机下的射影深度μ_ni和在第j(j∈{1,2,3}且i≠j)个相机下的射影深度μ_nj存在以下关系：

其中，p_ni表示X_n在第i个相机下的投影点，p_nj表示X_n在第j个相机下的投影点，e_ij表示第i个相机在第j个像平面上的极点，F_ij表示第i个相机和第j个相机之间的基础矩阵。令X_n在第j个相机下的射影深度为1，则可以根据公式(2)得到该点在其他两相机下的射影深度。

由公式(1)和公式(2)，3个相机下的n个特征点的投影方程为：

其中，W∈R^9×n为测量矩阵，S∈R^9×4为估计的3个相机的射影矩阵；X∈R^4×n为估计的空间点。

将S和X从射影坐标系恢复到欧式坐标系，需要满足欧式变换的条件:

其中，H为计算过程中的分解矩阵，α_i(i＝1,2,3)为任意非零实数，K_i为第i个相机的近似内参数。根据公式(3)和(4)进行奇异值分解，可得到欧式空间下的射影矩阵和空间点：

其中，S_Ei(i＝1,2,3)为欧式空间下的射影矩阵，射影矩阵中的外参数表示为Q_Ei，X_En为欧式空间下的空间点；

根据公式(5)结果，第i个相机相对于第j个相机的位姿Q_Eij可计算为：

其中，Q_Ei(i＝1,2,3)表示第i个相机射影矩阵中的外参数，Q_Ej(j＝1,2,3)表示第j个相机射影矩阵中的外参数。

4.在局部位姿和空间点估计过程中，随机选取一个根相机，将根相机所在的组合内完成特征点匹配的相机视为定向完毕，在下一次参数估计中不再考虑定向完毕的相机；直到遍历全部相机，获取相机间按照组合进行定向的分段路径转换关系；

获取分段路径转换关系过程中，若存在相机无法建立定向关系，改变根相机，重新进行上述定向过程，直到所有相机建立路径转换关系；

对于分段路径转换关系，分别计算局部转换到全局后的相机姿态，即系统外参数；

假设其中一段转换路径为{i,j,…,y,z}，其中i,j,…,y,z为相机编号，z为根相机，计算相机i的全局姿态：

Q_iz＝Q_ij…Q_yz (7)

5.对每个位置P_t(t＝1,2,…,k)标定块上的空间点进行球形拟合，得到t个虚拟球面。对于每个虚拟球面，当世界坐标系下有n个重建成功的空间点时，虚拟球面的拟合方程可表示为：

其中，(a，b，c)为虚拟球的球心坐标，r为虚拟球半径，(x_i，y_i，z_i)(i＝1,2,n)为球面点坐标，A为系数矩阵，Y为观测向量，X为待估参数。采用最小二乘求解，计算出球心[a,b,c]。

当前球形标定块的虚拟球面方程为：

x²+y²+z²＝2xa+2yb+2zc+r²-a²-b²-c² (9)

遍历当前标定块的所有空间点，沿半径方向向虚拟球面投影。假设空间点坐标为(a₁，b₁，c₁)，则空间点与球心坐标连线的直线方程为：

由公式(9)和(10)可计算两个交点P_m和P_n。

更新空间点：如果||X_Ei–P_m||<||X_Ei–P_n||，令X_Ei’＝P_m；否则，X_Ei’＝P_n。

6.采用光束平差法获取优化后全局相机的内参数K_i’、外参数Q_Ei’和空间点X_Ei”，目标函数为：

其中，K_i和T_i分别为第i个相机的内参数和外参数，p_tni为P_t标定块上第n个特征点在第i个相机像平面上的投影点，p_tni’为P_t标定块上第n个特征点在第i个相机像平面上的反投影点。当特征点X_tn在第i个相机的像平面成像时，α_tni＝1，否则取α_tni＝0。

7.选取点状编码点中距离最远的两个特征点(A1点和A5点)，利用两个特征点的距离作为尺度因子，对优化后的相机位态及标定块上的空间点进行尺度变换，尺度因子表达为：

其中，

表示光束平差法优化后的第i组点状编码点中A1点坐标，

表示光束平差法优化后的第i组点状编码点中A5坐标，D为A1点和A5点的理论距离。

尺度变化后的相机位姿和空间点坐标分别为：

其中，Q_Ei’表示光束平差法优化后的第i个相机的位态；

表示尺度变换后的相机的位态；X_Ei”表示光束平差法优化后的空间点坐标；

表示尺度变换后的空间点坐标。

尺度变换后的相机位姿即为多相机标定的最终外参数，至此，多相机系统的参数标定完成。

如图4所示，系统共10个相机，每8个相机具有公共视野，相机5为根相机。相机间的连线代表随机转换前的所有路径，实线代表最终的分段路径关系，虚线代表舍弃的路径关系，最终分段路径转化关系为：1->5，2->5，3->5，4->5，6->5，7->5，8->5，9->5，10->4->5。

综上所述，本发明方法提供了一种基于球形标定块的多相机标定方法，具有精度高、速度快、通用性好的特点，可满足大部分多相机系统，具有广泛的应用前景。

Claims (7)

1.一种基于球形标定块的多相机标定方法，其特征在于，包括以下步骤：

使用点状编码块和球体制作标定块；

根据相机公共视野移动标定块并采集图像，对具有公共视野区域的局部相机的位姿及空间点的坐标进行初步计算；

根据局部参数估计和随机转换算法，遍历路径进行相机定向，将局部位姿转化到全局位姿；利用不同位置标定块的空间点进行球形拟合，根据投影交点对空间点投影优化；

采用光束平差法对多相机系统的内参数、外参数和空间点优化；

利用模板点中的最远点距离作为尺度因子，对全局相机位姿及空间点进行尺度变换；

将光束平差法获取的内参数、尺度变化后的相机位姿和空间点作为该方法的结果输出。

2.根据权利要求1所述的一种基于球形标定块的多相机标定方法，其特征在于，所述使用点状编码块和球体制作标定块包括：

选取一个球体作为载体，将若干点状编码块随机粘贴在球体上；其中，每个点状编码块提供若干个圆点作为标定用的特征点，点A1、A2、A3、A4、A5为编码点的模板点且位置不变，M1、M2、M3为编码点的位置可变点。

3.根据权利要求1所述的一种基于球形标定块的多相机标定方法，其特征在于，所述根据相机公共视野移动标定块并采集图像，对具有公共视野区域的局部相机的位姿及空间点的坐标进行初步计算包括：

1)采集图像后，任选三个相机进行组合，对每个组合内相机采集的图像进行编码点解码和特征点匹配，将特征点数低于匹配点阈值Th_pt的分组剔除；所述编码点解码为识别编码区域内的模板点和编码点的位置坐标作为特征点用于匹配；

2)筛选后的相机组合进行局部位姿和空间点估计：

a.假设X_n为相机公共视野中的一个特征点，在不考虑畸变系数的情况下，3个相机下的n个特征点的投影方程为：

其中，μ_ni表示X_n在第i个相机下的射影深度；p_ni表示X_n在第i个相机下的投影点；S_i表示第i个相机的投影矩阵，由第i个相机的内参数K_i和外参数Q_i构成；W∈R^9×n为测量矩阵，S∈R^{9 ×4}为估计的3个相机的射影矩阵；X∈R^4×n为估计的空间点；

b.将S和X从射影坐标系恢复到欧式坐标系，结合奇异值分解，可得到欧式空间下的投影矩阵和空间点：

其中，S_Ei(i＝1,2,3)为欧式空间下的射影矩阵，射影矩阵中的外参数表示为Q_Ei，X_En为欧式空间下的空间点；

第i个相机相对于第j个相机的局部位姿Q_Eij：

其中，Q_Ei(i＝1,2,3)表示第i个相机射影矩阵中的外参数，Q_Ej(j＝1,2,3)表示第j个相机射影矩阵中的外参数。

4.根据权利要求1所述的一种基于球形标定块的多相机标定方法，其特征在于，所述根据局部参数估计和随机转换算法，遍历路径进行相机定向，将局部位姿转化到全局位姿包括：

在局部位姿和空间点估计过程中，随机选取一个根相机，将根相机所在的组合内完成特征点匹配的相机视为定向完毕，在下一次参数估计中不再考虑定向完毕的相机；直到遍历全部相机，获取相机间按照组合进行定向的分段路径转换关系；

对于分段路径转换关系，分别计算局部转换到全局后的相机姿态，即系统外参数。

5.根据权利要求1所述的一种基于球形标定块的多相机标定方法，其特征在于，所述利用不同位置标定块的空间点进行球形拟合，根据投影交点，对空间点投影优化包括：

在世界坐标系下，对当前位置标定块的空间点X_Ei进行拟合，得到一个虚拟球面；

遍历当前标定块的所有空间点，沿半径方向向虚拟球面投影，同一半球上的投影点作为矫正后的空间点X_Ei’。

6.根据权利要求1所述的一种基于球形标定块的多相机标定方法，其特征在于，所述进行光束法平差参数优化多相机系统获取优化后的标定参数：内参数K_i’、外参数Q_Ei’和空间点X_Ei”。

7.根据权利要求1所述的一种基于球形标定块的多相机标定方法，其特征在于，所述利用模板点中的最远点距离作为尺度因子，对全局相机位姿及空间点进行尺度变换包括：

利用点状编码点中距离最远的两个点(A1点和A5点)作为尺度因子，对全局相机及空间点进行尺度变换，尺度因子为：

其中，

表示光束平差法优化后的第i组点状编码点中A1点坐标，

表示光束平差法优化后的第i组点状编码点中A5坐标，D为A1点和A5点的理论距离。

尺度变化后的相机位姿和空间点坐标分别为：

其中，Q_Ei’表示光束平差法优化后的第i个相机的位态；

表示尺度变换后的相机的位态；X_Ei”表示光束平差法优化后的空间点坐标；

表示尺度变换后的空间点坐标。

Images