CN105976391B - 基于orb-slam的多摄像机标定方法 - Google Patents

Abstract

本发明公开了一种基于ORB‑SLAM的多摄像机标定方法，用于解决现有多摄像机标定方法复杂的技术问题。技术方案是采用ORB‑SLAM实时获取相机姿态，因此不需要依赖特定的硬件平台；通过多个摄像机在不同时刻采集的同一场景画面对多摄像机之间的位置关系进行解算。该方法设计简单，能够快速准确的实现无重叠或低重叠视野的多摄像机之间的标定。

Description

基于ORB-SLAM的多摄像机标定方法

技术领域

本发明涉及一种多摄像机标定方法，特别是涉及一种基于ORB-SLAM的多摄像机标定方法。

背景技术

为了突破单个摄像机测量视角的限制，人们常常将多个摄像机进行组合，从而完成全景拼接、三维重建、大型工件和钢轨轮廓全面的测量等工作。如何精确的求解多个摄像机之间的位置关系是后期工作的关键。

文献“Huang H,Li N,Guo H,et al.Calibration of non-overlapping camerasbased on a mobile robot[C]//Information Science and Technology(ICIST),20155th International Conference on.IEEE,2015:328-333.”公开了一种多摄像机标定方法。该方法将棋盘格标定板放置在一个可以获取运动姿态的平台上，使得多个摄像机能够在不同的时刻拍摄到棋盘格并记录当前的姿态信息，进而求解多个摄像机之间的关系。该方法依赖特定平台，设计复杂，难以复现和推广。

发明内容

为了克服现有多摄像机标定方法复杂的不足，本发明提供一种基于ORB-SLAM的多摄像机标定方法。该方法采用ORB-SLAM实时获取摄像机姿态，因此不需要依赖特定的硬件平台；通过多个摄像机在不同时刻采集的同一场景画面对多摄像机之间的位置关系进行解算。该方法设计简单，能够快速准确的实现无重叠或低重叠视野的多摄像机之间的标定。

本发明解决其技术问题所采用的技术方案是：一种基于ORB-SLAM的多摄像机标定方法，其特点是包括以下步骤：

步骤一、采用张氏标定法对摄像机参数进行标定。连续采集15幅图像，在每幅图像上进行角点检测，计算标定所用图像和棋盘格之间的单应变换H，利用棋盘格的几何关系，建立各视图图像中各角点的对应关系；棋盘格上的所有角点的空间坐标满足共面约束，假设其Z坐标为0，对单应性进行计算：

其中，u,v为角点的像素坐标，X,Y为角点在棋盘格上的空间坐标。将H进行分解，得到：

H＝sK[r₁ r₂ t] (2)

其中，r₁,r₂,t位棋盘的位置姿态，s为标量系数，K为摄像机参数矩阵。然后利用r₁和r₂的正交性求解K。

步骤二、保证多个摄像机之间的关系固定，打开摄像机后多个摄像机同时运动，使得多个摄像机在不同时刻捕捉到的视野具有不小于图像采集分辨率大小的一半的重叠区域。

步骤三、采用ORB-SLAM算法对数据进行处理，获取关键帧序列K_Ai和K_Bj、ORB描述子Des_Ai和Des_Bj及对应的特征点KP_Ai和KP_Bj、相对于初始坐标系的姿态P_Ai和P_Bj、用DBOW2表征当前关键帧的向量V_Ai和V_Bj，其中Ai∈[1，N_A]，B_j∈[1，N_B]且均为整数。N_A和N_B分别为A摄像机和B摄像机关键帧数目。利用DBOW2信息计算K_Ai和K_Bj之间的相似度S_Ai-Bj，在B摄像机关键帧序列中找到与K_Ai相似度分值最大的S_Ai-max(Bj)，若S_Ai-max(Bj)＞scoreConf，则认为是一组可信数据，scoreConf的大小设置为0.04。

步骤四、利用步骤三提取的ORB描述子Des_Ai和Des_Bj及对应的特征点KP_Ai和KP_Bj信息，采用KNN算法进行特征点的初次匹配，得到匹配点对KP_Ai-Bj。设定匹配比率radio的大小为0.6，选取满足条件

bestM/betterM＜radio (3)

的匹配点对KP_radio{Ai-Bj}，其中bestM和betterM分别为进行匹配的点的最优匹配和次优匹配。进一步使用RANSAC算法对KP_radio{Ai-Bj}进行提纯，得到最终匹配点对KP_{ransac(Ai-Bj)}，若KP_{s-ransac（Ai-Bj)}＞LKN，则认为当前提取的匹配点对有效，其中，KP_{s-ransac(Ai-Bj)}表示KP_{ransac(Ai-Bj)}中匹配点的数目，LKN的大小设置为20。

步骤五、以A摄像机坐标系为基准，解算B摄像机相对A摄像机的外参矩阵P_A-B。记KP_ransac(Ai)和KP_ransac(Bj)分别为KP_{ransac(Ai-Bj)}中K_Ai和K_Bj图像上的对应的点序列矩阵，得到方程：

其中，为KP_ransac(Bj)的转置矩阵，F_Ai-Bj为K_Ai和K_Bj之间的基本矩阵，通过上述方程求解得到。求解本质矩阵E_Ai-Bj：

其中，和K_A分别为摄像机内参标定步骤中得到的B摄像机的内参转置矩阵和A摄像机的内参矩阵。E_Ai-Bj为一个3×3矩阵，其SVD分解为

E_Ai-Bj＝UDV^T (6)

，其中D＝diag(a，b，c)且a≥b≥c，U和V^T为SVD分解矩阵。对E_Ai-Bj进行修正：

其中，E′_Ai-Bj为E_Ai-Bj修正后的结果，然后采用DavidNistér的五点算法，从E′_Ai-Bj中恢复出K_Bj图像相对于K_Ai图像的外参矩阵P_Ai-Bj。则B摄像机相对于A摄像机的外参矩阵P_m表示为：

其中，为P_Ai的逆矩阵，P_Ai和P_Bj是步骤三中用ORB-SLAM算法获取的姿态矩阵，m∈[1，N_m]，N_m为步骤四中提取的有效匹配点对数目，规定：

P_A-B的精度受到累积误差和自然场景的影响，利用计算出来P_m对P_A-B进行以下估算：

其中，P_t是在时间上进行的估算，P_p是根据图像信息进行的估算，则P_A-B表示为：

P_A-B＝tconf×P_t+pconf×P_p (11)

其中，tconf的大小为0.55，pconf的大小为0.45。

本发明的有益效果是：该方法采用ORB-SLAM实时获取摄像机姿态，因此不需要依赖特定的硬件平台；通过多个摄像机在不同时刻采集的同一场景画面对多摄像机之间的位置关系进行解算。该方法设计简单，能够快速准确的实现无重叠或低重叠视野的多摄像机之间的标定。

下面结合具体实施方式对本发明作详细说明。

具体实施方式

本发明基于ORB-SLAM的多摄像机标定方法具体步骤如下：

1、摄像机内参标定。

采用标定中常用张氏标定法。连续采集15幅图像，在每幅图像上进行角点检测，计算标定所用图像和棋盘格之间的单应变换H，利用棋盘格的几何关系，建立各视图图像中各角点的对应关系；棋盘格上的所有角点的空间坐标是满足共面约束的，假设其Z坐标为0，对单应性进行计算：

其中，u,v为角点的像素坐标，X,Y为角点在棋盘格上的空间坐标。将H进行分解，得到：

H＝sK[r₁ r₂ t] (13)

其中，r₁,r₂,t位棋盘的位置姿态，s为标量系数，K为摄像机参数矩阵。然后利用r₁和r₂的正交性求解K。

2、数据采集。

保证多个摄像机之间的关系固定，打开摄像机后多个摄像机同时运动，使得多个摄像机在不同时刻捕捉到的视野具有不小于图像采集分辨率大小的一半的重叠区域。

3、数据选择。

以两个摄像机A和B为例。采用ORB-SLAM算法对数据进行处理，获取关键帧序列K_Ai和K_Bj、ORB描述子Des_Ai和Des_Bj及对应的特征点KP_Ai和KP_Bj、相对于初始坐标系的姿态P_Ai和P_Bj、用DBOW2表征当前关键帧的向量V_Ai和V_Bj，其中Ai∈[1，N_A]，B_j∈[1，N_B]且均为整数。N_A和N_B分别为A和B摄像机关键帧数目。利用DBOW2信息计算K_Ai和K_Bj之间的相似度S_Ai-Bj，在B摄像机关键帧序列中找到与K_Ai相似度分值最大的SA_i-max(Bj)，若S_Ai-max(Bj)＞scoreConf，则认为是一组可信数据，scoreConf的大小设置为0.04。

4、提取匹配点对。

利用前面步骤提取的ORB描述子Des_Ai和Des_Bj及对应的特征点KP_Ai和KP_Bj信息，采用KNN(K-Nearest Neighbor)算法进行特征点的初次匹配，得到匹配点对KP_Ai-Bj。设定匹配比率radio的大小为0.6，选取满足条件

bestM/betterM＜radio (14)

的匹配点对KP_radio{Ai-Bj}，其中bestM和betterM分别为进行匹配的点的最优匹配和次优匹配。进一步使用RANSAC(随机抽样一致)算法对KP_radio{Ai-Bj}进行提纯，得到最终匹配点对KP_{ransac(Ai-Bj)}，若KP_{s-ransac(Ai-Bj)}＞LKN，则认为当前提取的匹配点对有效，其中，KP_{s-ransac(Ai-Bj)}表示KP_{ransac(Ai-Bj)}中匹配点的数目，LKN的大小设置为20。

5、计算多摄像机之间的关系。

仍以摄像机A和B为例，以A摄像机坐标系为基准，解算B摄像机相对A摄像机的外参矩阵P_A-B。记KP_ransac(Ai)和KP_ransac(Bi)分别为KP_{ransac(Ai-Bj)}中K_Ai和K_Bj图像上的对应的点序列矩阵，得到方程：

其中，为KP_ransac(Bj)的转置矩阵，F_Ai-Bj为K_Ai和K_Bj之间的基本矩阵，可通过上述方程求解得到。求解本质矩阵E_Ai-Bj：

其中，和K_A分别为摄像机内参标定步骤中得到的B摄像机的内参转置矩阵和A摄像机的内参矩阵。E_Ai-Bj为一个3×3矩阵，其SVD分解为

E_Ai-Bj＝UDV^T (17)

，其中D＝diag(a，b，c)且a≥b≥c，U和V^T为SVD分解矩阵。对E_Ai-Bj进行修正：

其中，E′_Ai-Bj为E_Ai-Bj修正后的结果，然后采用DavidNistér所提出的五点算法从E′_Ai-Bj中恢复出K_Bj图像相对于K_Ai图像的外参矩阵P_Ai-Bj。则B摄像机相对于A摄像机的外参矩阵P_m可表示为：

其中，为P_Ai的逆矩阵，P_Ai和P_Bj是步骤三中用ORB-SLAM算法获取的姿态矩阵，m∈[1，N_m]，N_m为步骤四中提取的有效匹配点对数目，规定：

P_A-B的精度受到累积误差和自然场景的影响，利用计算出来P_m对P_A-B进行以下估算：

其中，P_t是在时间上进行的估算，P_p是根据图像信息进行的估算，则P_A-B可表示为：

P_A-B＝tconf×P_t+pconf×P_p (22)

其中，tconf的大小为0.55，pconf的大小为0.45。其它摄像机之间的关系采用相同的方法依次求得。

Claims (1)

1.一种基于ORB-SLAM的多摄像机标定方法，其特征在于包括以下步骤：

步骤一、采用张氏标定法对摄像机内参进行标定；连续采集15幅图像，在每幅图像上进行角点检测，计算15幅图像和棋盘格之间的单应变换H，利用棋盘格的几何关系，建立15幅图像中各角点的对应关系；棋盘格上的所有角点的空间坐标满足共面约束，假设其Z坐标为0，对单应性进行计算：

其中，u,v为角点的像素坐标，X,Y为角点在棋盘格上的空间坐标；将H进行分解，得到：

H＝sK[r₁ r₂ t] (2)

其中，r₁,r₂,t为棋盘的位置姿态，s为标量系数，K为摄像机内参矩阵；然后利用r₁和r₂的正交性求解K；

步骤二、保证多个摄像机之间的关系固定，打开摄像机后多个摄像机同时运动，使得多个摄像机在不同时刻捕捉到的视野具有不小于图像采集分辨率大小的一半的重叠区域；

步骤三、采用ORB-SLAM算法对数据进行处理，获取关键帧序列K_Ai和K_Bj、ORB描述子Des_Ai和Des_Bj及对应的特征点KP_Ai和KP_Bj、相对于初始坐标系的姿态P_Ai和P_Bj、用DBOW2表征当前关键帧的向量V_Ai和V_Bj，其中Ai∈[1，N_A]，Bj∈[1，N_B]且均为整数；N_A和N_B分别为A摄像机和B摄像机关键帧数目；利用DBOW2信息计算K_Ai和K_Bj之间的相似度S_Ai-Bj，在B摄像机关键帧序列中找到与K_Ai相似度分值最大的S_Ai-max(Bj)，若S_Ai-max(Bj)＞scoreConf，则认为是一组可信数据，scoreConf的大小设置为0.04；

步骤四、利用步骤三提取的ORB描述子Des_Ai和Des_Bj及对应的特征点KP_Ai和KP_Bj信息，采用KNN算法进行特征点的初次匹配，得到匹配点对KP_Ai-Bj；设定匹配比率radio的大小为0.6，选取满足条件

bestM/betterM＜radio (3)

的匹配点对KP_radio{Ai-Bj}，其中bestM和betterM分别为进行匹配的点的最优匹配和次优匹配；进一步使用RANSAC算法对KP_radio{Ai-Bj}进行提纯，得到最终匹配点对KP_{ransac(Ai-Bj)}，若KP_{s-ransac(Ai-Bj)}＞LKN，则认为当前提取的匹配点对有效，其中，KP_{s-ransac(Ai-Bj)}表示KP_{ransac(Ai-Bj)}中匹配点的数目，LKN的大小设置为20；

步骤五、以A摄像机坐标系为基准，解算B摄像机相对A摄像机的外参矩阵P_A-B；记KP_ransac(Ai)和KP_ransac(Bj)分别为KP_{ransac(Ai-Bj)}中K_Ai和K_Bj图像上的对应的点序列矩阵，得到方程：

其中，为KP_ransac(Bj)的转置矩阵，F_Ai-Bj为K_Ai和K_Bj之间的基本矩阵，通过上述方程求解得到；求解本质矩阵E_Ai-Bj：

其中，和K_A分别为摄像机内参标定步骤中得到的B摄像机的内参转置矩阵和A摄像机的内参矩阵；E_Ai-Bj为一个3×3矩阵，其SVD分解为

E_Ai-Bj＝UDV^T (6)

，其中D＝diag(a，b，c)且a≥b≥c，U和V^T为SVD分解矩阵；对E_Ai-Bj进行修正：

其中，E′_Ai-Bj为E_Ai-Bj修正后的结果，然后采用David Nistér的五点算法，从E′_Ai-Bj中恢复出K_Bj图像相对于K_Ai图像的外参矩阵P_Ai-Bj；则B摄像机相对于A摄像机的外参矩阵P_m表示为：

其中，为P_Ai的逆矩阵，P_Ai和P_Bj是步骤三中用ORB-SLAM算法获取的姿态矩阵，m∈[1，N_m]，N_m为步骤四中提取的有效匹配点对数目，规定：

P_A-B的精度受到累积误差和自然场景的影响，利用计算出来的P_m对P_A-B进行以下估算：

其中，P_t是在时间上进行的估算，P_p是根据图像信息进行的估算，则P_A-B表示为：

P_A-B＝tconf×P_t+pconf×P_p (11)

其中，tconf的大小为0.55，pconf的大小为0.45。