CN106803271B - 一种视觉导航无人机的摄像机标定方法及装置 - Google Patents

Abstract

本发明公开了一种视觉导航无人机的摄像机标定方法及装置，通过将多相机视觉导航无人机中相邻的两个单目摄像机分为一组，作为双目摄像机组，确定双目摄像机组中各单目摄像机的相对位置关系；采用双目摄像机构，构建双目摄像机组的全局SLAM地图，并确定各双目摄像机组相对于参考坐标系的转换关系；将分组相机得到的多个地图合并为完整的地图；对地图进行优化，得到优化后的输出参数。本发明所提供的方法及装置，简单易行，避免了复杂的标定块选取过程，标定过程中建立的连续全局地图可以用于无人机的视觉定位与导航，减少了系统实时计算的算法复杂度，简化了传统标定方法的操作流程。

Description

一种视觉导航无人机的摄像机标定方法及装置

技术领域

本发明涉及机器视觉技术领域，特别是涉及一种视觉导航无人机的摄像机标定方法及装置。

背景技术

基于多相机视觉导航的无人机是一种利用视觉导航的微型飞行机器人，具有飞行灵活、可悬停、视野广阔等诸多优点，有着良好的应用与研究价值。相比于单目，使用多目立体视觉摄像机可以减少单目摄像机路径规划的约束问题，可以提取更多图像特征，同时可以进行尺度测量。由于无人机的导航与速度推算依赖于其准确的定位与地图信息，因此需要对无人机视觉系统的标定和定位构图方法进行研究。

传统的多相机无人机视觉摄像机采用棋盘格标定块等方法进行视觉标定，需要多目具有共同的视野区域，而不满足共同视野区域时转换关系复杂，精度难以保障。对于飞行器而言，相机安装方式需要经常调节，飞行操控难以绝对平稳，传统的标定更加难以适用于飞行器多相机系统。因此，提供一种视觉导航无人机的摄像机标定方法及装置是非常有必要的。

发明内容

本发明的目的是提供一种视觉导航无人机的摄像机标定方法及装置，以解决现有多相机无人机标定实施过程复杂、精度低的问题。

为解决上述技术问题，本发明提供一种视觉导航无人机的摄像机标定方法，包括：

将多相机视觉导航无人机中相邻的两个单目摄像机分为一组，作为双目摄像机组，确定所述双目摄像机组中各单目摄像机的相对位置关系；

采用双目摄像机构，构建所述双目摄像机组的全局SLAM地图，并确定各所述双目摄像机组相对于参考坐标系的转换关系；

将分组相机得到的多个地图合并为完整的地图；

对所述地图进行优化，得到优化后的输出参数。

可选地，所述确定所述双目摄像机组中各单目摄像机的相对位置关系包括：

利用棋盘格标定的方法，标定出每个摄像机的内部参数，分别确定每个摄像机相对于棋盘的姿态，进一步确定各单目摄像机的相对位置关系。

可选地，所述采用双目摄像机构，构建所述双目摄像机组的全局SLAM地图包括：

对于双目摄像机组{C_i,C_i+1}，选定C_i为分组摄像机S_i的基准，建立视觉里程计地图，利用稀疏光束平差法优化相机位置信息；

选定C_i为进行回环检测的相机，利用DBoW2词袋的方法，构建词袋树，确定回环信息；

在回环检测完成图的构建之后，利用图优化的方法根据已建立的约束关系求解最优的位姿序列。

可选地，所述确定各所述双目摄像机组相对于参考坐标系的转换关系包括：

采用手眼标定方法，确定各所述双目摄像机组相对于参考坐标系的转换关系。

可选地，对所述地图进行优化，得到优化后的输出参数包括：

运用全局的光束平差法对包含相机系统的内部参数、外部参数、相机位置信息和3D图像的全局变量进行优化，得到优化后的输出参数；

其中，进行优化的相机系统的误差代价函数为：

ω_p为权重调节系数，ρ为鲁棒的系统代价函数，π₁为点X_p在相机c下的坐标估计的投影函数，K_c为相机内部参数变量，P_i为相机系统的位置，T_c为图像帧到相机系统帧的转化关系约束，p_cip为点X_p在相机c下的观测坐标；π₂为棋盘格上的点Y_q在相机c下的坐标估计的投影函数，Q_j为相机系统的位置，p_cjq为棋盘格上的点Y_q在相机c下的观测坐标。

可选地，在所述将分组相机得到的多个地图合并为完整的地图之后还包括：

对所述地图进行回环检测。

本发明还提供了一种视觉导航无人机的摄像机标定装置，包括：

分组模块，用于将多相机视觉导航无人机中相邻的两个单目摄像机分为一组，作为双目摄像机组，确定所述双目摄像机组中各单目摄像机的相对位置关系；

构建模块，用于采用双目摄像机构，构建所述双目摄像机组的全局SLAM地图，并确定各所述双目摄像机组相对于参考坐标系的转换关系；

合并模块，用于将分组相机得到的多个地图合并为完整的地图；

优化模块，用于对所述地图进行优化，得到优化后的输出参数。

可选地，所述分组模块具体用于：利用棋盘格标定的方法，标定出每个摄像机的内部参数，分别确定每个摄像机相对于棋盘的姿态，进一步确定各单目摄像机的相对位置关系。

可选地，所述构建模块具体用于：采用手眼标定方法，确定各所述双目摄像机组相对于参考坐标系的转换关系。

可选地，还包括：

回环检测模块，用于在将分组相机得到的多个地图合并为完整的地图之后，对所述地图进行回环检测。

本发明所提供的视觉导航无人机的摄像机标定方法及装置，通过将多相机视觉导航无人机中相邻的两个单目摄像机分为一组，作为双目摄像机组，确定双目摄像机组中各单目摄像机的相对位置关系；采用双目摄像机构，构建双目摄像机组的全局SLAM地图，并确定各双目摄像机组相对于参考坐标系的转换关系；将分组相机得到的多个地图合并为完整的地图；对地图进行优化，得到优化后的输出参数。本发明所提供的方法及装置，简单易行，避免了复杂的标定块选取过程，标定过程中建立的连续全局地图可以用于无人机的视觉定位与导航，减少了系统实时计算的算法复杂度，简化了传统标定方法的操作流程。

附图说明

为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所提供的视觉导航无人机的摄像机标定方法的一种具体实施方式的流程图；

图2为本发明所提供的多机无人机模型的一种具体实施方式示意图；

图3为本发明所提供的视觉导航无人机的摄像机标定方法的另一种具体实施方式的流程图；

图4为本发明实施例提供的视觉导航无人机的摄像机标定装置的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明所提供的视觉导航无人机的摄像机标定方法的一种具体实施方式的流程图如图1所示，该方法包括：

步骤S101：将多相机视觉导航无人机中相邻的两个单目摄像机分为一组，作为双目摄像机组，确定所述双目摄像机组中各单目摄像机的相对位置关系；

具体地，本发明实施例利用棋盘格标定的方法，标定出每个摄像机的内部参数，分别确定每个摄像机相对于棋盘的姿态，进一步确定各单目摄像机的相对位置关系。

步骤S102：采用双目摄像机构，构建所述双目摄像机组的全局SLAM地图，并确定各所述双目摄像机组相对于参考坐标系的转换关系；

如图2所示，本申请构建所述双目摄像机组的全局SLAM地图的步骤可以具体为：

步骤S1021：对于双目摄像机组{C_i,C_i+1}，选定C_i为分组摄像机S_i的基准，建立视觉里程计地图，利用稀疏光束平差法优化相机位置信息；

步骤S1022：选定C_i为进行回环检测的相机，利用DBoW2词袋的方法，构建词袋树，确定回环信息；

步骤S1023：在回环检测完成图的构建之后，利用图优化的方法根据已建立的约束关系求解最优的位姿序列。

确定各所述双目摄像机组相对于参考坐标系的转换关系包括：采用手眼标定方法，确定各所述双目摄像机组相对于参考坐标系的转换关系。

步骤S103：将分组相机得到的多个地图合并为完整的地图；

步骤S104：对所述地图进行优化，得到优化后的输出参数。

本发明所提供的多机无人机模型的一种具体实施方式示意图如图2所示，方案实施中选用四目无人机进行验证，安装方式为在支架前后两端各两个相机的方式。单目相机分组标定是多相机的标定基础，能够建立无人机相机之间的内部参数的转换关系。相机组视觉融合标定为外部标定的一种方法，基于SLAM技术进行构图，通过一系列的优化方式建立整体的连续增量地图，在校正相机外部参数的同时，优化内部与外部参数，达到标定的效果。

本发明所提供的视觉导航无人机的摄像机标定方法，通过将多相机视觉导航无人机中相邻的两个单目摄像机分为一组，作为双目摄像机组，确定双目摄像机组中各单目摄像机的相对位置关系；采用双目摄像机构，构建双目摄像机组的全局SLAM地图，并确定各双目摄像机组相对于参考坐标系的转换关系；将分组相机得到的多个地图合并为完整的地图；对地图进行优化，得到优化后的输出参数。本发明所提供的方法，简单易行，避免了复杂的标定块选取过程，标定过程中建立的连续全局地图可以用于无人机的视觉定位与导航，减少了系统实时计算的算法复杂度，简化了传统标定方法的操作流程。

在上述实施例的基础上，本发明所提供的视觉导航无人机的摄像机标定方法可以具体分为两个部分：单目相机分组标定以及相机组视觉融合标定。

其中，单目相机分组标定的过程可以具体为：

定义每个单独的单目相机编号为{C_i,i＝1,2,3,...n}，其中n为偶数。将相邻的两个单目相机视为一组，并依次进行编号。当n＝2时，即只有两个单目相机C₁和C₂，则分组编号为S₁；当n＞2时，对相邻两个单目相机进行编号，组号分别为S₁(包括C₁和C₂)，S₂(包括C₃和C₄)，……，S_n/2(包括C_n-1和C_n)。

定义每个单独的单目相机C_i(i＝1,2,3,...,n)的内部参数分别为

(i＝1,2,3,...,n)。当n＝2时，只存在相机组S₁，利用棋盘格标定的方法，标定出相机C₁和C₂的内部参数，并确定相机C₁和C₂相对于棋盘的姿态，从而表示出C₁和C₂的相对位置关系；当n＞2时，利用棋盘格标定的方法，标定每个相机的内部参数，分别确定每个相机相对于棋盘的姿态，从而确定C₁和C₂，C₃和C₄，……，C_n-1和C_n的相对位置关系。

如图3所示，相机组视觉融合标定的过程可以具体包括：

步骤S201：建立视觉里程计地图；

定义对于分组摄像机{C_i,C_i+1}，选定C_i为分组摄像机S_i的基准。当n＝2时，只存在相机组S₁，故选定C₁作为相机组S₁的基准；当n＞2时，分别选定单目相机C₁，C₃，……，C_n-1作为相机组S₁，S₂，……，S_n/2的基准，以便于将多个摄像机坐标系统一到同一坐标系下。

将获取的图像序列，经过CensurE算法特征提取，完成特征匹配与跟踪，恢复视野的景深信息，利用稀疏光束平差法优化相机位置信息。

步骤S202：进行回环检测；

限定对于分组摄像机{C_i,C_i+1}，选定C_i为进行回环检测的相机。利用DBoW2词袋的方法，构建词袋树，确定回环信息。

步骤S203：进行图优化；

当n＝2时，在回环检测完成图的构建之后，利用图优化的方法根据已建立的约束关系求解最优的位姿序列，并跳过步骤S204-S208；直接执行步骤S209；

当n＞2时，回环检测完成图的构建之后，选定S_i摄像机组的位置作为图的节点，选定边为六自由度的从节点到节点的变换。利用图优化根据已知约束求解最优的位姿序列，并依次执行步骤S204-S209。

步骤S204：使用光束平差法调节；

使用光束平差法进行调节，将从S₁一直到S_n/2之间的得到位置信息进行优化，生成多幅连续完整的地图。

步骤S205：手眼标定；

对于分组摄像机{C_i,C_i+1}，同S201选定C_i为手眼标定的基准。将生成的优化之后的相机位置作为输入，优化方法使用手眼标定法，输出相机组从S₁到S_n/2的转换关系约束。通过相机组和相机之间的转换关系，可以得到相机与相机之间的转换约束。

步骤S206：地图合并；

将前后多对相机组得到的地图进行拼接合并。选定相机组S₁作为基准，乘以S₁位置约束求逆的方式，将其他相机组S_i位置信息，原始3D坐标系转换到以S₁为基准的新的地图中。

步骤S207：对地图进行回环检测；

步骤S208：对地图进行图优化；

步骤S209：全局光束平差调节。

运用全局的光束平差法对相机系统的内部参数、外部参数、相机位置信息和3D图像等全局变量进行优化。

给定需要进行优化的相机系统的误差代价函数，包括两部分，形式如下

其中，ω_p为权重调节系数，ρ为鲁棒的系统代价函数，π₁为点X_p在相机c下的坐标估计的投影函数，K_c为相机内部参数变量，P_i为相机系统的位置，T_c为图像帧到相机系统帧的转化关系约束，p_cip为点X_p在相机c下的观测坐标；π₂为棋盘格上的点Y_q在相机c下的坐标估计的投影函数，Q_j为相机系统的位置，p_cjq为棋盘格上的点Y_q在相机c下的观测坐标。

下面对本发明实施例提供的视觉导航无人机的摄像机标定装置进行介绍，下文描述的视觉导航无人机的摄像机标定装置与上文描述的视觉导航无人机的摄像机标定方法可相互对应参照。

图4为本发明实施例提供的视觉导航无人机的摄像机标定装置的结构框图，参照图4视觉导航无人机的摄像机标定装置可以包括：

分组模块100，用于将多相机视觉导航无人机中相邻的两个单目摄像机分为一组，作为双目摄像机组，确定所述双目摄像机组中各单目摄像机的相对位置关系；

构建模块200，用于采用双目摄像机构，构建所述双目摄像机组的全局SLAM地图，并确定各所述双目摄像机组相对于参考坐标系的转换关系；

合并模块300，用于将分组相机得到的多个地图合并为完整的地图；

优化模块400，用于对所述地图进行优化，得到优化后的输出参数。

作为一种具体实施方式，本发明所提供的视觉导航无人机的摄像机标定装置中，所述分组模块具体用于：利用棋盘格标定的方法，标定出每个摄像机的内部参数，分别确定每个摄像机相对于棋盘的姿态，进一步确定各单目摄像机的相对位置关系。

进一步地，所述构建模块具体用于：采用手眼标定方法，确定各所述双目摄像机组相对于参考坐标系的转换关系。

此外，本发明实施例还可以包括：

回环检测模块，用于在将分组相机得到的多个地图合并为完整的地图之后，对所述地图进行回环检测。

本实施例的视觉导航无人机的摄像机标定装置用于实现前述的视觉导航无人机的摄像机标定方法，因此视觉导航无人机的摄像机标定装置中的具体实施方式可见前文中的视觉导航无人机的摄像机标定方法的实施例部分，例如，分组模块100，构建模块200，合并模块300，优化模块400，分别用于实现上述视觉导航无人机的摄像机标定方法中步骤S101，S102，S103和S104，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。

下面对本发明所提供的视觉导航无人机的参数标定过程进行进一步详细阐述，其具体实施步骤为：

1)选定图2所示采用前后各两对双目的四目无人机系统，无人机轴距为350mm，飞控采用PIXHAWK控制单元，芯片单元采用Firefly-RK3288，结合FPGA处理单元。

2)利用棋盘格标定板标定双目相机的内部参数；

3)利用运动捕捉系统估计自标定方法的准确性。保持无人机定高匀速飞行，飞行轨迹为“8”字行。保持无人机持续飞行90s，利用运动捕捉系统记录飞行器六自由度的飞行变化，飞行轨迹和飞行距离。通过图2方式，对无人机四目摄像机进行外部参数标定。

4)验证构建SLAM效果，修正SLAM系统参数，比对融合地图的效果，修正融合参数，直至满足精度要求。

5)修正全局优化参数，得到相机标定外部参数的最优解。

综上，本申请提供了一种无人机系统的多相机标定方法，简单易行，适用于镜头安装需要经常改变、相机之间没有重合图像范围以及相机不能保持绝对静止条件下的标定方法。本申请采用SLAM构图方式对相机外部参数标定方法，简化了传统的标定板标定相机外部参数的转换。另外，采用SLAM构图方式可以为后续无人机视觉导航提供定位与导航信息，实现了无人机相机系统标定和导航系统的地图构建与定位进行了融合，方便了无人机成品的开发流程。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的视觉导航无人机的摄像机标定方法以及装置进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (9)

1.一种视觉导航无人机的摄像机标定方法，其特征在于，包括：

将多相机视觉导航无人机中相邻的两个单目摄像机分为一组，作为双目摄像机组，确定所述双目摄像机组中各单目摄像机的相对位置关系；

采用双目摄像机构，构建所述双目摄像机组的全局SLAM地图，并确定各所述双目摄像机组相对于参考坐标系的转换关系；

将分组相机得到的多个地图合并为完整的地图；

对所述地图进行优化，得到优化后的输出参数；

其中，对所述地图进行优化，得到优化后的输出参数包括：

运用全局的光束平差法对包含相机系统的内部参数、外部参数、相机位置信息和3D图像的全局变量进行优化，得到优化后的输出参数；

其中，进行优化的相机系统的误差代价函数为：

ω_p为权重调节系数，ρ为鲁棒的系统代价函数，π₁为点X_p在相机c下的坐标估计的投影函数，K_c为相机内部参数变量，P_i为相机系统的位置，T_c为图像帧到相机系统帧的转化关系约束，p_cip为点X_p在相机c下的观测坐标；π₂为棋盘格上的点Y_q在相机c下的坐标估计的投影函数，Q_j为相机系统的位置，p_cjq为棋盘格上的点Y_q在相机c下的观测坐标。

2.如权利要求1所述的视觉导航无人机的摄像机标定方法，其特征在于，所述确定所述双目摄像机组中各单目摄像机的相对位置关系包括：

利用棋盘格标定的方法，标定出每个摄像机的内部参数，分别确定每个摄像机相对于棋盘的姿态，进一步确定各单目摄像机的相对位置关系。

3.如权利要求1所述的视觉导航无人机的摄像机标定方法，其特征在于，所述采用双目摄像机构，构建所述双目摄像机组的全局SLAM地图包括：

对于双目摄像机组{C_i,C_i+1}，选定C_i为分组摄像机S_i的基准，建立视觉里程计地图，利用稀疏光束平差法优化相机位置信息；

选定C_i为进行回环检测的相机，利用DBoW2词袋的方法，构建词袋树，确定回环信息；

在回环检测完成图的构建之后，利用图优化的方法根据已建立的约束关系求解最优的位姿序列。

4.如权利要求3所述的视觉导航无人机的摄像机标定方法，其特征在于，所述确定各所述双目摄像机组相对于参考坐标系的转换关系包括：

采用手眼标定方法，确定各所述双目摄像机组相对于参考坐标系的转换关系。

5.如权利要求1所述的视觉导航无人机的摄像机标定方法，其特征在于，在所述将分组相机得到的多个地图合并为完整的地图之后还包括：

对所述地图进行回环检测。

6.一种视觉导航无人机的摄像机标定装置，其特征在于，包括：

分组模块，用于将多相机视觉导航无人机中相邻的两个单目摄像机分为一组，作为双目摄像机组，确定所述双目摄像机组中各单目摄像机的相对位置关系；

构建模块，用于采用双目摄像机构，构建所述双目摄像机组的全局SLAM地图，并确定各所述双目摄像机组相对于参考坐标系的转换关系；

合并模块，用于将分组相机得到的多个地图合并为完整的地图；

优化模块，用于对所述地图进行优化，得到优化后的输出参数；

其中，优化模块的工作方法包括：

运用全局的光束平差法对包含相机系统的内部参数、外部参数、相机位置信息和3D图像的全局变量进行优化，得到优化后的输出参数；

其中，进行优化的相机系统的误差代价函数为：

ω_p为权重调节系数，ρ为鲁棒的系统代价函数，π₁为点X_p在相机_c下的坐标估计的投影函数，K_c为相机内部参数变量，P_i为相机系统的位置，T_c为图像帧到相机系统帧的转化关系约束，p_cip为点X_p在相机c下的观测坐标；π₂为棋盘格上的点Y_q在相机c下的坐标估计的投影函数，Q_j为相机系统的位置，p_cjq为棋盘格上的点Y_q在相机c下的观测坐标。

7.如权利要求6所述的视觉导航无人机的摄像机标定装置，其特征在于，所述分组模块具体用于：利用棋盘格标定的方法，标定出每个摄像机的内部参数，分别确定每个摄像机相对于棋盘的姿态，进一步确定各单目摄像机的相对位置关系。

8.如权利要求7所述的视觉导航无人机的摄像机标定装置，其特征在于，所述构建模块具体用于：采用手眼标定方法，确定各所述双目摄像机组相对于参考坐标系的转换关系。

9.如权利要求8所述的视觉导航无人机的摄像机标定装置，其特征在于，还包括：

回环检测模块，用于在将分组相机得到的多个地图合并为完整的地图之后，对所述地图进行回环检测。

Images