CN112132906B - 一种深度相机与可见光相机之间的外参标定方法及系统 - Google Patents

Abstract

本发明涉及一种深度相机与可见光相机之间的外参标定方法。该标定方法包括：将棋盘格平面置于所述相机对的视野内，并拍摄不同变换位姿下的棋盘格平面，获取不同变换位姿下棋盘格平面的深度图像以及可见光图像；确定可见光相机坐标系下不同变换位姿的可见光棋盘格平面以及深度相机坐标系下不同变换位姿的深度棋盘格平面；根据可见光棋盘格平面以及深度棋盘格平面确定从深度相机坐标系到可见光相机坐标系的旋转矩阵；根据旋转矩阵确定从深度相机坐标系到可见光相机坐标系的平移向量；将深度相机坐标系按照旋转矩阵以及平移向量进行旋转和平移，使得深度相机坐标系与可见光相机坐标系重合，完成双相机的外参标定。本发明能够提高外参标定结果准确率。

Description

一种深度相机与可见光相机之间的外参标定方法及系统

技术领域

本发明涉及图像处理及计算机视觉技术领域，特别是涉及一种深度相机与可见光相机之间的外参标定方法及系统。

背景技术

在包含环境感知功能的应用场景中，将环境的深度信息和光学信息进行融合能够提高对环境的直观认识，为环境的感知带来更丰富的信息。环境的深度信息往往由基于飞行时间法或是结构光原理的深度相机提供。而光学信息则由可见光相机提供。在深度信息与光学信息的融合过程中，需要将深度相机与可见光相机之间的坐标系进行统一，即对深度相机与可见光相机之间的外参进行标定。

现有的标定方法大多基于点特征，通过手动选点或是使用特制的带孔或带有特殊边缘的标定板来获得深度图像和可见光图像中的对应点对，随后通过对应点来计算深度相机和可见光相机之间的外参。基于点特征的方法需要提供非常准确的点对应关系，但手动选点会带来较大误差，往往不能满足这种方法的需要。使用定制的带孔或有特殊边缘的标定板时，一方面对标定板有定制要求，成本较高；另一方面，使用者也需要对孔或边缘在深度图像上进行拟合，而深度相机在锐利边缘处有较大的成像噪声，拟合结果和真实位置之间往往存在误差，导致外参标定结果不够准确。

发明内容

本发明的目的是提供一种深度相机与可见光相机之间的外参标定方法及系统，以解决现有的标定方法外参标定结果准确率低的问题。

为实现上述目的，本发明提供了如下方案：

一种深度相机与可见光相机之间的外参标定方法，所述外参标定方法应用于双相机系统，所述双相机系统包括所述深度相机与所述可见光相机，所述深度相机与所述可见光相机之间的相对位姿固定，形成相机对，所述外参标定方法包括：

将棋盘格平面置于所述相机对的视野内，并多次变换所述棋盘格平面的位姿；

拍摄不同变换位姿下的所述棋盘格平面，获取不同变换位姿下所述棋盘格平面的深度图像以及可见光图像；

根据所述可见光图像，确定可见光相机坐标系下不同变换位姿的可见光棋盘格平面；

根据所述深度图像，确定深度相机坐标系下不同变换位姿的深度棋盘格平面；

根据所述可见光棋盘格平面以及所述深度棋盘格平面确定从所述深度相机坐标系到所述可见光相机坐标系的旋转矩阵；

根据所述旋转矩阵确定从所述深度相机坐标系到所述可见光相机坐标系的平移向量；

将所述深度相机坐标系按照所述旋转矩阵以及所述平移向量进行旋转和平移，使得所述深度相机坐标系与所述可见光相机坐标系重合，完成双相机的外参标定。

可选的，所述根据所述可见光图像，确定可见光相机坐标系下不同变换位姿的可见光棋盘格平面，具体包括：

利用张正友标定法对多张所述可见光图像进行标定，获取从每个变换位姿的棋盘坐标系变换到所述可见光相机坐标系的第一旋转矩阵以及第一平移向量；

对于任一张所述可见光图像，在所述棋盘坐标系下任取所述棋盘格表面上不共线的n个点；n≥3；

根据所述第一旋转矩阵以及所述第一平移向量，将所述n个点变换至所述可见光坐标系，确定变换后的点；

根据所述变换后的点确定任一张所述可见光图像的可见光棋盘格平面；

获取所有的所述可见光图像的可见光棋盘格平面，确定所述可见光相机坐标系下不同变换位姿的可见光棋盘格平面。

可选的，所述根据所述深度图像，确定深度相机坐标系下不同变换位姿的深度棋盘格平面，具体包括：

将多张所述深度图像转换为所述深度相机坐标系下的多个三维点云；

对任一个所述三维点云进行分割，确定所述棋盘格平面对应的点云平面；

利用平面拟合算法对所述点云平面进行拟合，确定任一个所述三维点云的深度棋盘格平面；

获取所有的所述三维点云的深度棋盘格平面，确定所述深度相机坐标系下不同变换位姿的深度棋盘格平面。

可选的，所述根据所述可见光棋盘格平面以及所述深度棋盘格平面确定从所述深度相机坐标系到所述可见光相机坐标系的旋转矩阵，具体包括：

基于所述可见光棋盘格平面以及所述深度棋盘格平面，确定所述可见光棋盘格平面对应的可见光平面法向量以及所述深度棋盘格平面对应的深度平面法向量；

分别对所述平面法向量以及所述深度平面法向量进行归一化处理，确定可见光单位法向量以及深度单位法向量；

根据所述可见光单位法向量以及所述深度单位法向量确定旋转矩阵。

可选的，所述根据所述旋转矩阵确定从所述深度相机坐标系到所述可见光相机坐标系的平移向量，具体包括：

从所有所述棋盘格平面的变换位姿中选取两两不平行，且相互之间具有角度的3个变换位姿，并获取3个变换位姿下，对应的3个所述可见光棋盘格平面以及3个所述深度棋盘格平面；

获取3个所述可见光棋盘格平面的可见光交点以及3个所述深度棋盘格平面的深度交点；

根据所述可见光交点、所述深度交点以及所述旋转矩阵确定从所述深度相机坐标系到所述可见光相机坐标系的平移向量。

一种深度相机与可见光相机之间的外参标定系统，所述外参标定系统应用于双相机系统，所述双相机系统包括所述深度相机与所述可见光相机，所述深度相机与所述可见光相机之间的相对位姿固定，形成相机对，所述外参标定方法包括：

位姿变换模块，用于将棋盘格平面置于所述相机对的视野内，并多次变换所述棋盘格平面的位姿；

深度图像以及可见光图像获取模块，用于拍摄不同变换位姿下的所述棋盘格平面，获取不同变换位姿下所述棋盘格平面的深度图像以及可见光图像；

可见光棋盘格平面确定模块，用于根据所述可见光图像，确定可见光相机坐标系下不同变换位姿的可见光棋盘格平面；

深度棋盘格平面确定模块，用于根据所述深度图像，确定深度相机坐标系下不同变换位姿的深度棋盘格平面；

旋转矩阵确定模块，用于根据所述可见光棋盘格平面以及所述深度棋盘格平面确定从所述深度相机坐标系到所述可见光相机坐标系的旋转矩阵；

平移向量确定模块，用于根据所述旋转矩阵确定从所述深度相机坐标系到所述可见光相机坐标系的平移向量；

坐标系对齐模块，用于将所述深度相机坐标系按照所述旋转矩阵以及所述平移向量进行旋转和平移，使得所述深度相机坐标系与所述可见光相机坐标系重合，完成双相机的外参标定。

可选的，所述可见光棋盘格平面确定模块，具体包括：

第一旋转矩阵以及第一平移向量获取单元，用于利用张正友标定法对多张所述可见光图像进行标定，获取从每个变换位姿的棋盘坐标系变换到所述可见光相机坐标系的第一旋转矩阵以及第一平移向量；

n个点选取单元，用于对于任一张所述可见光图像，在所述棋盘坐标系下任取所述棋盘格表面上不共线的n个点；n≥3；

变换后的点确定单元，用于根据所述第一旋转矩阵以及所述第一平移向量，将所述n个点变换至所述可见光坐标系，确定变换后的点；

任一张可见光图像的可见光棋盘格平面确定单元，用于根据所述变换后的点确定任一张所述可见光图像的可见光棋盘格平面；

不同变换位姿的可见光棋盘格平面确定单元，用于获取所有的所述可见光图像的可见光棋盘格平面，确定所述可见光相机坐标系下不同变换位姿的可见光棋盘格平面。

可选的，所述深度棋盘格平面确定模块，具体包括：

三维点云转换单元，用于将多张所述深度图像转换为所述深度相机坐标系下的多个三维点云；

分割单元，用于对任一个所述三维点云进行分割，确定所述棋盘格平面对应的点云平面；

任一个所述三维点云的深度棋盘格平面确定单元，用于利用平面拟合算法对所述点云平面进行拟合，确定任一个所述三维点云的深度棋盘格平面；

不同变换位姿的深度棋盘格平面确定单元，用于获取所有的所述三维点云的深度棋盘格平面，确定所述深度相机坐标系下不同变换位姿的深度棋盘格平面。

可选的，所述旋转矩阵确定模块，具体包括：

可见光平面法向量以及深度平面法向量确定单元，用于基于所述可见光棋盘格平面以及所述深度棋盘格平面，确定所述可见光棋盘格平面对应的可见光平面法向量以及所述深度棋盘格平面对应的深度平面法向量；

可见光单位法向量以及深度单位法向量确定单元，用于分别对所述平面法向量以及所述深度平面法向量进行归一化处理，确定可见光单位法向量以及深度单位法向量；

旋转矩阵确定单元，用于根据所述可见光单位法向量以及所述深度单位法向量确定旋转矩阵。

可选的，所述平移向量确定模块，具体包括：

变换位姿选取单元，用于从所有所述棋盘格平面的变换位姿中选取两两不平行，且相互之间具有角度的3个变换位姿，并获取3个变换位姿下，对应的3个所述可见光棋盘格平面以及3个所述深度棋盘格平面；

可见光交点以及深度交点获取单元，用于获取3个所述可见光棋盘格平面的可见光交点以及3个所述深度棋盘格平面的深度交点；

平移向量确定单元，用于根据所述可见光交点、所述深度交点以及所述旋转矩阵确定从所述深度相机坐标系到所述可见光相机坐标系的平移向量。

根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供了一种深度相机与可见光相机之间的外参标定方法及系统，首先，本发明直接对深度相机坐标系下的整个深度棋盘格平面进行拟合处理，无需对深度棋盘格平面的边缘进行线性拟合，也就不会出现边缘拟合时的噪声，提高了标定准确度；

其次，本发明无需人工进行对应点的选择，标定结果受人工干预的影响小，容易实施且标定结果精度高；

最后，使用的标定物为常见的带有棋盘格图案的平面板，不需特殊定制，成本低廉。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所提供的深度相机与可见光相机之间的外参标定方法流程图；

图2为本发明所提供的棋盘格的不同变换位姿及棋盘格坐标系之间的关系示意图；

图3为本发明所提供的深度相机与可见光相机之间的外参标定系统结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种深度相机与可见光相机之间的外参标定方法，以提高外参标定结果准确率。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明所提供的深度相机与可见光相机之间的外参标定方法流程图，如图1所示，一种深度相机与可见光相机之间的外参标定方法，所述外参标定方法应用于双相机系统，所述双相机系统包括所述深度相机与所述可见光相机，所述深度相机与所述可见光相机之间的相对位姿固定，形成相机对，所述外参标定方法包括：

步骤101：将棋盘格平面置于所述相机对的视野内，并多次变换所述棋盘格平面的位姿。

将一个深度相机和一个可见光相机布置在场景中，两者视野有较大的重合部分。

步骤102：拍摄不同变换位姿下的所述棋盘格平面，获取不同变换位姿下所述棋盘格平面的深度图像以及可见光图像。

将具有黑白棋盘格图案且格子尺寸已知的平面置于深度相机和可见光相机的视野范围内，不断变换该棋盘格平面和相机对之间的相对位姿，期间使用深度相机和可见光相机同时对该平面进行N(N≥3)次拍摄，获得N对不同棋盘格平面位姿的深度图像和可见光图像；

步骤103：根据所述可见光图像，确定可见光相机坐标系下不同变换位姿的可见光棋盘格平面。

获得可见光相机坐标系中的N个棋盘格平面其中，上标C代表的是在可见光相机坐标系内。

所述步骤103具体包括：

使用张正友标定法对N张可见光图像进行标定，获取从每个位姿的棋盘坐标系变换到可见光相机坐标系的第一旋转矩阵和第一平移向量/>其中，棋盘坐标系是以棋盘格平面上的的一个内角点作为坐标系原点，以棋盘格平面为xoy平面建立的坐标系，随着棋盘的位姿而变化。

对于第i张可见光图像，在空间中的棋盘坐标系中任取棋盘格平面上不共线的至少三个点，并使用变换矩阵将这些点变换到相机坐标系，利用变换后的点可以确定可见光棋盘格平面/>

其中，第一旋转矩阵是3行3列的矩阵，第一平移向量是3行1列的矩阵；将旋转矩阵和平移向量水平拼接成[R|t]的形式就是一个3行4列的刚体变换矩阵。位于同一平面上的点，在经过刚体变换之后，依旧位于同一平面上。因此取了棋盘格坐标系棋盘格平面(也就是xoy平面)上不共线的至少三个点，经过刚体变换后，这些点依然在同一平面上且不共线。利用不共线的三点确定一个平面的方法，可以获得刚体变换后平面的方程。

对每一张可见光图像重复上述步骤，获得可见光相机坐标系下的所有棋盘格平面即不同变换位姿的可见光棋盘格平面。

步骤104：根据所述深度图像，确定深度相机坐标系下不同变换位姿的深度棋盘格平面。

所述步骤104具体包括：

获得深度相机坐标系中的N个棋盘格平面

将深度相机拍摄获得的N张深度图像转换为深度相机坐标系下的N个三维点云；

对于第j个点云，将其进行分割，获得棋盘格平面对应的点云平面，再使用平面拟合算法对该点云平面进行拟合，可以得到深度相机坐标系下的深度棋盘格平面

其中，具体分割过程为：从三维点云数据中分割出包含有棋盘格平面的那一部分点云，这部分点云在三维空间中位于棋盘格平面上，可以代表该棋盘格平面。

具体的分割方法比较多，可以使用一些能够处理点云数据的软件，对点云进行手动区域选取和分割；也可以在点云所对应的深度图像上手动选取感兴趣区域(ROI)，再将该区域对应的点云进行提取；如果已知条件比较多，比如知道棋盘格到深度相机的大致距离和位置，也可以在设定的点云区域内使用点云的拟合算法寻找该平面。

在对平面进行拟合时，可以使用最小二乘法，RANSAC算法等平面拟合算法。

对每一个点云重复以上步骤，获得深度相机坐标系下的所有棋盘格平面即不同变换位姿的深度棋盘格平面。

步骤105：根据所述可见光棋盘格平面以及所述深度棋盘格平面确定从所述深度相机坐标系到所述可见光相机坐标系的旋转矩阵。

所述步骤105具体包括：

利用深度相机坐标系棋盘格平面和可见光相机坐标系棋盘格平面/>求解从深度相机坐标系到可见光相机坐标系的旋转矩阵R：

根据可见光相机坐标系棋盘格平面的方程，获得它们对应的平面法向量/>将这些平面法向量归一化，获得对应的单位法向量c_i(i＝1,2,…,N)；

根据深度相机坐标系棋盘格平面的方程，获得它们对应的平面法向量/>将这些平面法向量归一化，获得对应的单位法向量d_j(j＝1,2,…,N)；

利用i＝j时单位法向量c_i和d_j之间存在的变换关系c_i＝Rd_j，通过公式R＝(CD^T)(DD^T)^-1求解得到旋转矩阵R，其中C＝[c₁ c₂ … c_N]，D＝[d₁ d₂ … d_N]。

步骤106：根据所述旋转矩阵确定从所述深度相机坐标系到所述可见光相机坐标系的平移向量。

利用平面和旋转矩阵R求解深度相机坐标系到可见光相机坐标系的平移向量t：

所述步骤106具体包括：

图2为本发明所提供的棋盘格的不同变换位姿及棋盘格坐标系之间的关系示意图，如图2所示，从得到的N个棋盘格平面中选取两两不平行，且相互之间具有一定角度的3个平面位姿，将这3个位姿相对应的可见光相机坐标系和深度坐标系的平面方程分别记为和/>

在可见光相机坐标系中，求取平面和/>的交点p^C；

在深度相机坐标系中，求取平面和/>的交点p^D；

根据三维坐标系间的的刚体变换性质和(5c)得到的旋转矩阵R，利用公式t＝p^C-Rp^D求解平移向量t。

步骤107：将所述深度相机坐标系按照所述旋转矩阵以及所述平移向量进行旋转和平移，使得所述深度相机坐标系与所述可见光相机坐标系重合，完成双相机的外参标定。

将深度相机坐标系按旋转矩阵R和平移向量t进行旋转和平移，使其与可见光相机坐标系重合，完成外参标定。

在实际应用中，本发明具体实施步骤如下：

步骤1，将一个深度相机和一个可见光相机组成的相机对布置在场景中，其视野有较大的重合部分，且二者之间的相对位姿固定。

可见光相机能够获得环境中的光学信息，比如色彩和光照等；深度相机能够通过飞行时间或结构光等方法感知环境的深度信息，获得有关环境的三维数据；将深度相机与可见光相机的相对位姿固定后，二者坐标系之间的外参，即平移和旋转关系不会再发生改变。

步骤2，将棋盘格平面置于相机对视野内，多次变换位姿进行拍摄。

2.1)将棋盘格以任意位姿置于相机前方，当可见光相机和深度相机的视野内都存在完整的棋盘格图案时，同时进行一次拍摄，获得一张可见光图像和一张深度图像；

2.2)变更棋盘格的位姿，重复2.1)N(N≥3)次，获得N对不同棋盘格平面位姿的深度图像和可见光图像，作为一个具体的实施例，重复拍摄N＝25对图像。

步骤3，利用拍摄所得的平面数据求解旋转矩阵R。

3.1)在可见光相机坐标系中获得N个棋盘格平面

3.1.1)使用张正友方法对N张可见光图像进行标定，获取从每个位姿的棋盘坐标系变换到可见光相机坐标系的旋转矩阵和平移向量/>

3.1.2)对于第i张可见光图像，在空间中的棋盘坐标系中任取棋盘格平面上不共线的至少三个点，作为一个具体的实施例，选取点和/>并使用变换矩阵/>将这三点变换到相机坐标系，利用变换后的三点，基于三点确定一个平面的原理，可以得到平面方程/>

3.1.3)对每一张可见光图像重复3.1.2)，获得可见光相机坐标系下的所有棋盘格平面

3.2)在深度相机坐标系中获得N个棋盘格平面

3.2.1)将深度相机拍摄获得的N张深度图像转换为深度相机坐标系下的N个三维点云；

3.2.2)对于第j个点云，将其进行分割，获得棋盘格平面对应的点云平面，作为一个具体的实施例，采用随机采样一致性算法对点云平面进行拟合，得到深度相机坐标系下的棋盘格平面

3.2.3)对每一个点云重复3.2.2)，获得深度相机坐标系下的所有棋盘格平面

3.3)求解从深度相机坐标系到可见光相机坐标系的旋转矩阵R：

3.3.1)根据可见光相机坐标系棋盘格平面的方程，获得它们对应的平面法向量/>将这些平面法向量归一化，获得对应的单位法向量c_i(i＝1,2,…,N)；

3.3.2)根据深度相机坐标系棋盘格平面的方程，获得它们对应的平面法向量/>将这些平面法向量归一化，获得对应的单位法向量d_j(j＝1,2,…,N)；

3.3.3)利用i＝j时单位法向量c_i和d_j之间存在的变换关系c_i＝Rd_j，通过公式R＝(CD^T)(DD^T)^-1求解得到旋转矩阵R，其中C＝[c₁ c₂ … c_N]，D＝[d₁ d₂ … d_N]；

步骤4，将三平面的交点作为对应点，求解平移向量t。

4.1)从得到的N个棋盘格平面中选取两两不平行，且相互之间具有一定角度的3个平面位姿，将这3个位姿相对应的可见光相机坐标系和深度坐标系的平面方程分别记为和/>

4.2)在可见光相机坐标系中，采用联立平面方程的方法求取平面和/>的交点p^C；

4.3)在深度相机坐标系中，采用联立平面方程的方法求取平面和/>的交点p^D；

4.4)根据三维坐标系间的刚体变换性质和3.3.3)得到的旋转矩阵R，利用公式t＝p^C-Rp^D求解平移向量t。

步骤5，将深度相机坐标系按旋转矩阵R和平移向量t进行旋转和平移，使其与可见光相机坐标系重合，完成外参标定。

图3为本发明所提供的深度相机与可见光相机之间的外参标定系统结构图，如图3所示，一种深度相机与可见光相机之间的外参标定系统，所述外参标定系统应用于双相机系统，所述双相机系统包括所述深度相机与所述可见光相机，所述深度相机与所述可见光相机之间的相对位姿固定，形成相机对，所述外参标定方法包括：

位姿变换模块301，用于将棋盘格平面置于所述相机对的视野内，并多次变换所述棋盘格平面的位姿。

深度图像以及可见光图像获取模块302，用于拍摄不同变换位姿下的所述棋盘格平面，获取不同变换位姿下所述棋盘格平面的深度图像以及可见光图像。

可见光棋盘格平面确定模块303，用于根据所述可见光图像，确定可见光相机坐标系下不同变换位姿的可见光棋盘格平面。

所述可见光棋盘格平面确定模块302，具体包括：

第一旋转矩阵以及第一平移向量获取单元，用于利用张正友标定法对多张所述可见光图像进行标定，获取从每个变换位姿的棋盘坐标系变换到所述可见光相机坐标系的第一旋转矩阵以及第一平移向量；

n个点选取单元，用于对于任一张所述可见光图像，在所述棋盘坐标系下任取所述棋盘格表面上不共线的n个点；n≥3；

变换后的点确定单元，用于根据所述第一旋转矩阵以及所述第一平移向量，将所述n个点变换至所述可见光坐标系，确定变换后的点；

任一张可见光图像的可见光棋盘格平面确定单元，用于根据所述变换后的点确定任一张所述可见光图像的可见光棋盘格平面；

不同变换位姿的可见光棋盘格平面确定单元，用于获取所有的所述可见光图像的可见光棋盘格平面，确定所述可见光相机坐标系下不同变换位姿的可见光棋盘格平面。

深度棋盘格平面确定模块304，用于根据所述深度图像，确定深度相机坐标系下不同变换位姿的深度棋盘格平面。

所述深度棋盘格平面确定模块304，具体包括：

三维点云转换单元，用于将多张所述深度图像转换为所述深度相机坐标系下的多个三维点云；

分割单元，用于对任一个所述三维点云进行分割，确定所述棋盘格平面对应的点云平面；

任一个所述三维点云的深度棋盘格平面确定单元，用于利用平面拟合算法对所述点云平面进行拟合，确定任一个所述三维点云的深度棋盘格平面；

不同变换位姿的深度棋盘格平面确定单元，用于获取所有的所述三维点云的深度棋盘格平面，确定所述深度相机坐标系下不同变换位姿的深度棋盘格平面。

旋转矩阵确定模块305，用于根据所述可见光棋盘格平面以及所述深度棋盘格平面确定从所述深度相机坐标系到所述可见光相机坐标系的旋转矩阵。

所述旋转矩阵确定模块305，具体包括：

可见光平面法向量以及深度平面法向量确定单元，用于基于所述可见光棋盘格平面以及所述深度棋盘格平面，确定所述可见光棋盘格平面对应的可见光平面法向量以及所述深度棋盘格平面对应的深度平面法向量；

可见光单位法向量以及深度单位法向量确定单元，用于分别对所述平面法向量以及所述深度平面法向量进行归一化处理，确定可见光单位法向量以及深度单位法向量；

旋转矩阵确定单元，用于根据所述可见光单位法向量以及所述深度单位法向量确定旋转矩阵。

平移向量确定模块306，用于根据所述旋转矩阵确定从所述深度相机坐标系到所述可见光相机坐标系的平移向量。

所述平移向量确定模块306，具体包括：

变换位姿选取单元，用于从所有所述棋盘格平面的变换位姿中选取两两不平行，且相互之间具有角度的3个变换位姿，并获取3个变换位姿下，对应的3个所述可见光棋盘格平面以及3个所述深度棋盘格平面；

可见光交点以及深度交点获取单元，用于获取3个所述可见光棋盘格平面的可见光交点以及3个所述深度棋盘格平面的深度交点；

平移向量确定单元，用于根据所述可见光交点、所述深度交点以及所述旋转矩阵确定从所述深度相机坐标系到所述可见光相机坐标系的平移向量。

坐标系对齐模块307，用于将所述深度相机坐标系按照所述旋转矩阵以及所述平移向量进行旋转和平移，使得所述深度相机坐标系与所述可见光相机坐标系重合，完成双相机的外参标定。

采用本发明所提供的深度相机与可见光相机之间的外参标定方法及系统能够提高外参标定准确率，降低标定成本。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种深度相机与可见光相机之间的外参标定方法，其特征在于，所述外参标定方法应用于双相机系统，所述双相机系统包括所述深度相机与所述可见光相机，所述深度相机与所述可见光相机之间的相对位姿固定，形成相机对，所述外参标定方法包括：

将棋盘格平面置于所述相机对的视野内，并多次变换所述棋盘格平面的位姿；

拍摄不同变换位姿下的所述棋盘格平面，获取不同变换位姿下所述棋盘格平面的深度图像以及可见光图像；

根据所述可见光图像，确定可见光相机坐标系下不同变换位姿的可见光棋盘格平面；

根据所述深度图像，确定深度相机坐标系下不同变换位姿的深度棋盘格平面；

根据所述可见光棋盘格平面以及所述深度棋盘格平面确定从所述深度相机坐标系到所述可见光相机坐标系的旋转矩阵；

根据所述旋转矩阵确定从所述深度相机坐标系到所述可见光相机坐标系的平移向量；

将所述深度相机坐标系按照所述旋转矩阵以及所述平移向量进行旋转和平移，使得所述深度相机坐标系与所述可见光相机坐标系重合，完成双相机的外参标定。

2.根据权利要求1所述的深度相机与可见光相机之间的外参标定方法，其特征在于，所述根据所述可见光图像，确定可见光相机坐标系下不同变换位姿的可见光棋盘格平面，具体包括：

利用张正友标定法对多张所述可见光图像进行标定，获取从每个变换位姿的棋盘坐标系变换到所述可见光相机坐标系的第一旋转矩阵以及第一平移向量；

对于任一张所述可见光图像，在所述棋盘坐标系下任取所述棋盘格表面上不共线的n个点；n≥3；

根据所述第一旋转矩阵以及所述第一平移向量，将所述n个点变换至所述可见光坐标系，确定变换后的点；

根据所述变换后的点确定任一张所述可见光图像的可见光棋盘格平面；

获取所有的所述可见光图像的可见光棋盘格平面，确定所述可见光相机坐标系下不同变换位姿的可见光棋盘格平面。

3.根据权利要求1所述的深度相机与可见光相机之间的外参标定方法，其特征在于，所述根据所述深度图像，确定深度相机坐标系下不同变换位姿的深度棋盘格平面，具体包括：

将多张所述深度图像转换为所述深度相机坐标系下的多个三维点云；

对任一个所述三维点云进行分割，确定所述棋盘格平面对应的点云平面；

利用平面拟合算法对所述点云平面进行拟合，确定任一个所述三维点云的深度棋盘格平面；

获取所有的所述三维点云的深度棋盘格平面，确定所述深度相机坐标系下不同变换位姿的深度棋盘格平面。

4.根据权利要求1所述的深度相机与可见光相机之间的外参标定方法，其特征在于，所述根据所述可见光棋盘格平面以及所述深度棋盘格平面确定从所述深度相机坐标系到所述可见光相机坐标系的旋转矩阵，具体包括：

基于所述可见光棋盘格平面以及所述深度棋盘格平面，确定所述可见光棋盘格平面对应的可见光平面法向量以及所述深度棋盘格平面对应的深度平面法向量；

分别对所述可见光平面法向量以及所述深度平面法向量进行归一化处理，确定可见光单位法向量以及深度单位法向量；

根据所述可见光单位法向量以及所述深度单位法向量确定旋转矩阵。

5.根据权利要求4所述的深度相机与可见光相机之间的外参标定方法，其特征在于，所述根据所述旋转矩阵确定从所述深度相机坐标系到所述可见光相机坐标系的平移向量，具体包括：

从所有所述棋盘格平面的变换位姿中选取两两不平行，且相互之间具有角度的3个变换位姿，并获取3个变换位姿下，对应的3个所述可见光棋盘格平面以及3个所述深度棋盘格平面；

获取3个所述可见光棋盘格平面的可见光交点以及3个所述深度棋盘格平面的深度交点；

根据所述可见光交点、所述深度交点以及所述旋转矩阵确定从所述深度相机坐标系到所述可见光相机坐标系的平移向量。

6.一种深度相机与可见光相机之间的外参标定系统，其特征在于，所述外参标定系统应用于双相机系统，所述双相机系统包括所述深度相机与所述可见光相机，所述深度相机与所述可见光相机之间的相对位姿固定，形成相机对，所述外参标定方法包括：

位姿变换模块，用于将棋盘格平面置于所述相机对的视野内，并多次变换所述棋盘格平面的位姿；

深度图像以及可见光图像获取模块，用于拍摄不同变换位姿下的所述棋盘格平面，获取不同变换位姿下所述棋盘格平面的深度图像以及可见光图像；

可见光棋盘格平面确定模块，用于根据所述可见光图像，确定可见光相机坐标系下不同变换位姿的可见光棋盘格平面；

深度棋盘格平面确定模块，用于根据所述深度图像，确定深度相机坐标系下不同变换位姿的深度棋盘格平面；

旋转矩阵确定模块，用于根据所述可见光棋盘格平面以及所述深度棋盘格平面确定从所述深度相机坐标系到所述可见光相机坐标系的旋转矩阵；

平移向量确定模块，用于根据所述旋转矩阵确定从所述深度相机坐标系到所述可见光相机坐标系的平移向量；

坐标系对齐模块，用于将所述深度相机坐标系按照所述旋转矩阵以及所述平移向量进行旋转和平移，使得所述深度相机坐标系与所述可见光相机坐标系重合，完成双相机的外参标定。

7.根据权利要求6所述的深度相机与可见光相机之间的外参标定系统，其特征在于，所述可见光棋盘格平面确定模块，具体包括：

第一旋转矩阵以及第一平移向量获取单元，用于利用张正友标定法对多张所述可见光图像进行标定，获取从每个变换位姿的棋盘坐标系变换到所述可见光相机坐标系的第一旋转矩阵以及第一平移向量；

n个点选取单元，用于对于任一张所述可见光图像，在所述棋盘坐标系下任取所述棋盘格表面上不共线的n个点；n≥3；

变换后的点确定单元，用于根据所述第一旋转矩阵以及所述第一平移向量，将所述n个点变换至所述可见光坐标系，确定变换后的点；

任一张可见光图像的可见光棋盘格平面确定单元，用于根据所述变换后的点确定任一张所述可见光图像的可见光棋盘格平面；

不同变换位姿的可见光棋盘格平面确定单元，用于获取所有的所述可见光图像的可见光棋盘格平面，确定所述可见光相机坐标系下不同变换位姿的可见光棋盘格平面。

8.根据权利要求6所述的深度相机与可见光相机之间的外参标定系统，其特征在于，所述深度棋盘格平面确定模块，具体包括：

三维点云转换单元，用于将多张所述深度图像转换为所述深度相机坐标系下的多个三维点云；

分割单元，用于对任一个所述三维点云进行分割，确定所述棋盘格平面对应的点云平面；

任一个所述三维点云的深度棋盘格平面确定单元，用于利用平面拟合算法对所述点云平面进行拟合，确定任一个所述三维点云的深度棋盘格平面；

不同变换位姿的深度棋盘格平面确定单元，用于获取所有的所述三维点云的深度棋盘格平面，确定所述深度相机坐标系下不同变换位姿的深度棋盘格平面。

9.根据权利要求6所述的深度相机与可见光相机之间的外参标定系统，其特征在于，所述旋转矩阵确定模块，具体包括：

可见光平面法向量以及深度平面法向量确定单元，用于基于所述可见光棋盘格平面以及所述深度棋盘格平面，确定所述可见光棋盘格平面对应的可见光平面法向量以及所述深度棋盘格平面对应的深度平面法向量；

可见光单位法向量以及深度单位法向量确定单元，用于分别对所述平面法向量以及所述深度平面法向量进行归一化处理，确定可见光单位法向量以及深度单位法向量；

旋转矩阵确定单元，用于根据所述可见光单位法向量以及所述深度单位法向量确定旋转矩阵。

10.根据权利要求9所述的深度相机与可见光相机之间的外参标定系统，其特征在于，所述平移向量确定模块，具体包括：

变换位姿选取单元，用于从所有所述棋盘格平面的变换位姿中选取两两不平行，且相互之间具有角度的3个变换位姿，并获取3个变换位姿下，对应的3个所述可见光棋盘格平面以及3个所述深度棋盘格平面；

可见光交点以及深度交点获取单元，用于获取3个所述可见光棋盘格平面的可见光交点以及3个所述深度棋盘格平面的深度交点；

平移向量确定单元，用于根据所述可见光交点、所述深度交点以及所述旋转矩阵确定从所述深度相机坐标系到所述可见光相机坐标系的平移向量。