CN112489118A - 一种无人机机载传感器组外参快速标定方法 - Google Patents

Abstract

本发明公开一种无人机机载传感器组外参快速标定方法，其特征在于，包括如下步骤：步骤1，采集原始样本集；步骤2，对原始样本集进行优化与人工标注，得到标签样本集；步骤3，建立传感器组外参的优化目标函数，并基于标签样本集对传感器组外参进行迭代优化，得到精确的传感器组外参。针对无人机机载摄像机‑云台‑里程计传感器组，提出了一种外参数快速标定方法，依托最优化理论设计了外参数优化目标函数，实现了在重建误差平方和指标下的机载摄像机‑云台‑里程计传感器组外参数的最优估计，相比传统的人工辅助方法，在保证一定标定精度的前提下大幅提升了参数标定的效率。

Description

一种无人机机载传感器组外参快速标定方法

技术领域

本发明涉及无人机机载感知技术领域，具体是一种无人机机载传感器组外参快速标定方法。

背景技术

在无人机飞行过程中，机载传感器是当前无人机感知自身或环境信息的主要设备。当前，摄像机-云台-里程计是构成无人机感知系统的基本传感器组配置，精确获取各传感器坐标系之间的空间位置和姿态转换关系，即标定传感器组外部参数，是融合各传感器数据的必要前提。目前，针对摄像机-里程计系统的外参数标定相关研究较多，而摄像机-云台-里程计系统加入了云台系统，其外参数标定涉及到3个坐标系，相比之下难度更大，迄今研究成果较少。因此，迫切需要设计一种适用于摄像机-云台-里程计系统的外参数快速标定方法。

发明内容

针对上述现有技术中存在的一项或多项不足，本发明提供一种无人机机载传感器组外参快速标定方法，可快速进行机载摄像机-云台-里程计传感器组的外参数标定。

为实现上述目的，本发明提供一种无人机机载传感器组外参快速标定方法，包括如下步骤：

步骤1，采集原始样本集；

步骤2，对原始样本集进行优化与人工标注，得到标签样本集；

步骤3，建立传感器组外参的优化目标函数，并基于标签样本集对传感器组外参进行迭代优化，得到精确的传感器组外参。

作为上述技术方案的进一步改进，步骤1中，所述原始样本集的采集过程为：

步骤1.1，将无人机围绕地面标靶进行盘旋飞行，并通过机载云台持续运动使得地面标靶始终处于机载摄像机视野中；

步骤1.2，在盘旋过程中，无人机实时记录目标图像、云台姿态以及无人机位姿数据，并按时间戳存储，形成原始样本集。

作为上述技术方案的进一步改进，步骤2中，所述对原始样本集进行优化与人工标注，具体为：

步骤2.1，对原始样本集中的无效样本进行删除，得到优化样本集，其中，无效样本为目标图像中没有标靶的样本；

步骤2.2，人工在优化样本集的样本中标注出标靶的图像位置，即目标图像中标靶矩形框的位置和长宽，从而形成标签数据集。

作为上述技术方案的进一步改进，步骤2中，所述建立传感器组外参的优化目标函数，具体为：

无人机机载传感器组包括机载摄像机-云台-里程计，其具体涉及摄像机坐标系Φ^c、云台坐标系Φ^g、云台基座坐标系Φ^g’和里程计坐标系Φ^o；

云台与云台基座坐标系之间的关系可直接由云台自带陀螺仪获取，因此，可以将无人机机载传感器组的外参数标定问题转化为摄像机坐标系Φ^c与云台坐标系Φ^g之间、云台基座坐标系Φ^g’与里程计坐标系Φ^o之间的转换关系求解，等价为估计以下两组欧拉角

以及平移向量

式中，

θ和ψ分别表示两个坐标系之间的滚转角、俯仰角和偏航角，共同构成欧拉角Eu，具体坐标系由上标和下标指代；x、y和z分别表示两个坐标系之间平移向量t在X、Y和Z轴方向的分量，具体坐标系由上标和下标指代；

根据无人机机载传感器组设计的硬件架构，坐标系Φ^c、Φ^g、Φ^g’、Φ^o原点之间的距离均处于厘米级，无人机应用场景中目标的运动范围和速度皆处于米级，因此，无人机机载传感器组的外参数中的平移向量部分可通过机械安装参数进行粗略估计，即无人机机载传感器组的外参数的标定工作将简化为对如下所示的两组欧拉角的标定：

进而采用地面标靶的重建误差平方和作为传感器组外参的优化目标函数：

式中，

表示目标函数，m表示标签样本集中的样本数量，

为标靶在世界坐标系Φ^w的真实位置；(x_j ^w，y_j ^w，z_j ^w)表示通过标靶图像位置标签求解的标靶绝对位置。

作为上述技术方案的进一步改进，所述标靶绝对位置(x_j ^w，y_j ^w，z_j ^w)的获取过程为：

对于标签样本集中的第j个样本，标靶位于图像位置(u_j，v_j)；根据相似三角形原理，存在如下关系：

式中，f、d_x、d_y、c_x和c_y均为摄像机内参数，(x_j ^c，y_j ^c，z_j ^c)表示标靶在摄像机坐标系Φ^c中的位置；

根据摄像机-云台的安装参数可粗略获得部分外参数，其中，包括坐标系Φ^o同Φ^g’之间的平移向量

结合标靶在世界坐标系Φ^w的真实位置

可推知标靶位于载体里程计坐标系Φ^o的位置

式中，T表示两个坐标系之间的齐次转换矩阵，由上标和小标分别指代两个坐标系，其具体形式如下：

式中，R_3x3表示旋转矩阵，可由欧拉角唯一确定，t_3x1表示平移向量；

由此可知标靶同云台基座的物理距离

由于摄像机距离云台基座较近，故：

得到标靶在摄像机坐标系Φ^c中的位置(x_j ^c，y_j ^c，z_j ^c)，从而得到标靶绝对位置(x_j ^w，y_j ^w，z_j ^w)，为：

其中，

和

由无人机机载传感器组的外参数决定：

与现有技术相比，本发明提出的一种无人机机载传感器组外参快速标定方法的有益效果为：针对无人机机载摄像机-云台-里程计传感器组，提出了一种外参数快速标定方法，依托最优化理论设计了外参数优化目标函数，实现了在重建误差平方和指标下的机载摄像机-云台-里程计传感器组外参数的最优估计，相比传统的人工辅助方法，在保证一定标定精度的前提下大幅提升了参数标定的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明实施例中标定方法的流程示意图；

图2为本发明实施例中原始样本集采集示意图；

图3为本发明实施例中无人机机载摄像机-云台-里程计传感器组各坐标系关系示意图；

图4为本发明实施例中基于小孔成像模型的标靶位置推导几何关系示意图；

图5为本发明实施例中机载摄像机-云台-里程计系统外参数标定验证流程示意图；

图6为本发明实施例中基于初始和优化外参数的目标定位误差分布示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接，还可以是物理连接或无线通信连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

本实施例提出的一种无人机机载传感器组外参快速标定方法，具体是无人机机载摄像机-云台-里程计传感器组外参数快速标定，参考图1，其过程包括三个步骤：

步骤1为原始样本集采集与构建；即，输入：无；输出：原始样本集。

原始样本集采集流程如图2所示，无人机通过全方位地围绕地面标靶运动拍摄包含标靶的图像集，同时记录对应时刻的目标图像、云台姿态以及无人机位姿数据，生成原始样本集，其中，无人机位姿数据即里程计数据。整个流程在机载处理器上完成，包括传感器数据的读取、数据的时间对齐以及数据的存储。以t时刻为例，机载处理器获取摄像机拍摄的包含标靶的目标图像、云台输出的姿态以及载体里程计数据，并根据时戳将数据对齐，存储在处理器上。假设样本采集步长设为d，在完成t时刻的样本采集后，后续将以d为间隔周期继续样本采集。在完成一次样本集的采集后，需要为样本集保存相关静态参数，包括摄像机内参数、标靶的真实位置、云台姿态初始值等，用于后续的外参数优化过程。

无人机盘旋过程中，为了使地面标靶始终处于视野之内，根据标靶的真实位置以及载体的实时位姿，实时解算云台的期望姿态，并对云台进行实时控制。驱使无人机全方位围绕标靶运动的目的是为了增加云台的转动，使得样本集中的云台姿态角尽可能覆盖其有效范围，增强样本的覆盖度。

步骤2为原始样本集人工标注；即，输入：原始样本集；输出：标签样本集。

样本集人工标注主要包括两部分：样本集优化以及标靶图像位置标注。样本集优化是指对处理器存储的原始样本集中的无效样本进行删除，无效样本主要包括图像中无标靶的样本。虽然通过云台的转动使摄像机始终对准目标，但由于控制响应时间、控制误差等原因可能造成目标短时间在视野中丢失，从而产生了不包含标靶的图像样本。标靶图像位置标注过程即针对优化后样本集中的图像集，人工在其中标注出地面标靶的图像位置，即地面标靶矩形框的位置和长宽，从而形成标签数据集，用于后续的外参数优化。

步骤3为传感器组外参数优化；即，输入：标签样本集、外参数初始值；输出：传感器组外参数。

如图3所示，机载摄像机-云台-里程计系统涉及摄像机坐标系Φ^c、云台坐标系Φ^g、云台基座坐标系Φ^g’和里程计坐标系Φ^o。其中，云台与云台基座坐标系之间的关系可直接由云台自带陀螺仪获取，因此，摄像机-云台-里程计系统的外参数标定问题可转化为求解摄像机坐标系Φ^c与云台坐标系Φ^g之间、云台基座坐标系Φ^g’与里程计坐标系Φ^o之间的转换关系，等价为估计以下两组欧拉角

以及平移向量

式中，

θ和ψ分别表示两个坐标系之间的滚转角、俯仰角和偏航角，共同构成欧拉角Eu，具体坐标系由上标和下标指代；x、y和z分别表示两个坐标系之间平移向量t在X、Y和Z轴方向的分量，具体坐标系由上标和下标指代。

根据坐标系转换原理，坐标系之间平移向量的误差仅对目标在新坐标系的3D位置精度造成影响，且误差传播过程是线性的。根据无人机机载传感器组设计的硬件架构，坐标系Φ^c、Φ^g、Φ^g’、Φ^o原点之间的距离均处于厘米级，而在无人机应用场景中，目标的运动范围和速度皆处于米级。因此，外参数中的平移向量部分可通过机械安装参数进行粗略估计，造成的误差对欧拉角的标定以及后续的目标位姿估计结果影响甚微。换言之，外参数的标定工作将简化为对如下所示的两组欧拉角的标定：

在标签样本集的基础上，设计以外参数为变量的目标函数，通过迭代优化获取最优外参数。本实施例中采用地面标靶的重建误差平方和作为目标函数：

式中，

表示目标函数，m表示标签样本集中的样本数量，P_t ^w为标靶在世界坐标系Φ^w的真实位置；(x_j ^w，y_j ^w，z_j ^w)表示通过标靶图像位置标签求解的标靶绝对位置。如图4所示，对于第j个样本，标靶位于图像位置(u_j，v_j)。根据相似三角形原理，存在如下关系：

式中，f、d_x、d_y、c_x和c_y均为摄像机内参数。根据单目无法估计目标深度的特性可知，仅凭借目标的图像位置无法还原目标的空间位置。要求解标靶在摄像机坐标系Φ^c中的位置(x_j ^c，y_j ^c，z_j ^c)，除了上式包含的两个方程，至少还需要一个方程。故需利用目标的先验知识构建方程。根据摄像机-云台的安装参数可粗略获得部分外参数，其中，包括坐标系Φ^o同Φ^g’之间的平移向量

结合标靶在世界坐标系Φ^w的真实位置P_t ^w，可推知标靶位于载体里程计坐标系Φ^o的位置

由此可知标靶同云台基座的物理距离

由于摄像机距离云台基座较近，故：

可求解出

从而推导出(x_j ^w，y_j ^w，z_j ^w)：

其中

和

由外参数决定：

上述目标函数

在迭代过程中，满足以下任意一个条件时迭代终止：

1.迭代次数大于最大迭代次数10000次；

2.连续3次迭代过程中，相邻迭代的欧拉角欧式距离小于0.2°。

以一个具体应用实例进行说明。构建微型固定翼无人机平台，搭载可见光摄像机、2自由度云台以及里程计模块(GPS+IMU)，构成机载视觉系统。验证流程如图5所示，无人机通过围绕位置精确已知的地面靶车盘旋采集样本，结合人工标注和优化过程，实现机载视觉系统外参数的精确估计。假设样本采集开始于时刻k，且样本采集间隔为1。在k+n时刻结束样本采集后，导出无人机上存储的样本集，并进行人工标注，生成由n个标签样本构成的样本集。随后基于标签样本集进行外参数优化。

首先，通过5组在线实验验证参数优化的收敛性。根据收敛曲线，皆快速地实现了6个外参数的收敛。随后，选取两组实验数

据分析标定精度。分别基于优化前的外参数和优化后的外参数计算目标重建误差，在X和Y轴上的重建误差如图6所示。在两组实验中，以初始外参数为基础的重建误差包含了近似正弦波的成分，而经过优化后该成分基本消失。从理论上分析，由外参数误差导致的重建误差分量向量在摄像机坐标系中是基本恒定的。由于无人机通过盘旋的方式跟踪目标，也就是说，摄像机坐标系在与Z轴近似垂直的平面上绕Z轴做周期性的转动，从而导致上述误差分量在X和Y轴上的分量呈现正弦波轨迹。采用优化外参数计算的重建误差基本消除了周期性的类正弦波分量。由此可知，提出的相机-云台-里程计外参数标定方法很大程度上消除了外参数由于机械安装等因素造成的误差。

综上所述，本发明面向无人机机载摄像机-云台-里程计系统外参数标定需求，提出了一种外参数快速标定方法，实现了无人机机载摄像机-云台-里程计系统外参数的快速且精确标定。该方法表现出了较高的时效性和较好的便捷性，可应用于大规模无人机集群机载视觉系统的外参数标定，为无人机集群视觉目标协同探测、跟踪相关研究提供了有力的技术支撑，具有较强的实用价值。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (5)

1.一种无人机机载传感器组外参快速标定方法，其特征在于，包括如下步骤：

步骤1，采集原始样本集；

步骤2，对原始样本集进行优化与人工标注，得到标签样本集；

步骤3，建立传感器组外参的优化目标函数，并基于标签样本集对传感器组外参进行迭代优化，得到精确的传感器组外参。

2.根据权利要求1所述无人机机载传感器组外参快速标定方法，其特征在于，步骤1中，所述原始样本集的采集过程为：

步骤1.1，将无人机围绕地面标靶进行盘旋飞行，并通过机载云台持续运动使得地面标靶始终处于机载摄像机视野中；

步骤1.2，在盘旋过程中，无人机实时记录目标图像、云台姿态以及无人机位姿数据，并按时间戳存储，形成原始样本集。

3.根据权利要求2所述无人机机载传感器组外参快速标定方法，其特征在于，步骤2中，所述对原始样本集进行优化与人工标注，具体为：

步骤2.1，对原始样本集中的无效样本进行删除，得到优化样本集，其中，无效样本为目标图像中没有标靶的样本；

步骤2.2，人工在优化样本集的样本中标注出标靶的图像位置，即目标图像中标靶矩形框的位置和长宽，从而形成标签数据集。

4.根据权利要求2所述无人机机载传感器组外参快速标定方法，其特征在于，步骤2中，所述建立传感器组外参的优化目标函数，具体为：

无人机机载传感器组包括机载摄像机-云台-里程计，其具体涉及摄像机坐标系Φ^c、云台坐标系Φ^g、云台基座坐标系Φ^g’和里程计坐标系Φ^o；

云台与云台基座坐标系之间的关系可直接由云台自带陀螺仪获取，因此，可以将无人机机载传感器组的外参数标定问题转化为摄像机坐标系Φ^c与云台坐标系Φ^g之间、云台基座坐标系Φ^g’与里程计坐标系Φ^o之间的转换关系求解，等价为估计以下两组欧拉角

以及平移向量

式中，

θ和ψ分别表示两个坐标系之间的滚转角、俯仰角和偏航角，共同构成欧拉角Eu，具体坐标系由上标和下标指代；x、y和z分别表示两个坐标系之间平移向量t在X、Y和Z轴方向的分量，具体坐标系由上标和下标指代；

根据无人机机载传感器组设计的硬件架构，坐标系Φ^c、Φ^g、Φ^g’、Φ^o原点之间的距离均处于厘米级，无人机应用场景中目标的运动范围和速度皆处于米级，因此，无人机机载传感器组的外参数中的平移向量部分可通过机械安装参数进行粗略估计，即无人机机载传感器组的外参数的标定工作将简化为对如下所示的两组欧拉角的标定：

进而采用地面标靶的重建误差平方和作为传感器组外参的优化目标函数：

式中，

表示目标函数，m表示标签样本集中的样本数量，

为标靶在世界坐标系Φ^w的真实位置；

表示通过标靶图像位置标签求解的标靶绝对位置。

5.根据权利要求4所述无人机机载传感器组外参快速标定方法，其特征在于，所述标靶绝对位置

的获取过程为：

对于标签样本集中的第j个样本，标靶位于图像位置(u_j，v_j)；根据相似三角形原理，存在如下关系：

式中，f、d_x、d_y、c_x和c_y均为摄像机内参数，

表示标靶在摄像机坐标系Φ^c中的位置；

根据摄像机-云台的安装参数可粗略获得部分外参数，其中，包括坐标系Φ^o同Φ^g’之间的平移向量

结合标靶在世界坐标系Φ^w的真实位置

可推知标靶位于载体里程计坐标系Φ^o的位置

式中，T表示两个坐标系之间的齐次转换矩阵，由上标和小标分别指代两个坐标系，其具体形式如下：

式中，R_3x3表示旋转矩阵，可由欧拉角唯一确定，t_3x1表示平移向量；

由此可知标靶同云台基座的物理距离

由于摄像机距离云台基座较近，故：

得到标靶在摄像机坐标系Φ^c中的位置

从而得到标靶绝对位置

为：

其中，

和

由无人机机载传感器组的外参数决定：

Images