CN112268564A - 一种无人机降落空间位置和姿态端到端估计方法 - Google Patents

Abstract

本发明公开一种无人机降落空间位置和姿态端到端估计方法，包括如下步骤：步骤1，获取地基视觉拍摄的无人机降落实时图像序列，并基于各帧无人机降落实时图像之间的时域关联，得到无人机相对地基相机的位姿；步骤2，基于地基相机与世界坐标系的转换矩阵，将无人机相对地基相机的位姿转换为在世界坐标系下的空间位姿。依托机器学习理论，充分借鉴深度学习在计算机视觉领域的优秀成果，通过设计一种无人机目标相对空间位姿深度神经网络，实现了无人机降落过程中由图像到无人机空间位姿的端到端直接估计，相比传统的多模块串行方法大幅提升了无人机降落过程中位姿估计对环境光照、视觉背景以及观测视角等因素适应性。

Description

一种无人机降落空间位置和姿态端到端估计方法

技术领域

本发明涉及无人机自主降落技术领域，具体是一种无人机降落过程中根据地基视觉图像端到端估计无人机空间位置和姿态的方法。

背景技术

在无人机自主起降过程中，根据全球卫星定位系统以及惯性导航系统实时获取无人机自身位置和姿态信息，是当前无人机在降落过程中实现自主定位和定姿的主要手段。考虑到环境中诸如磁场、温度的因素容易造成对机载定位系统的干扰，在整个无人机降落过程中，仅仅依赖机载定位系统无法保证为无人机提供稳定的精准位姿信息。利用地基单目视觉系统对无人机降落过程进行观测，可利用计算机视觉技术实现对无人机空间位置和姿态的实时估计，辅助机载定位系统为无人机提供更加准确和稳定的实时空间位姿信息。目前，利用双目测距原理、PnP问题求解等传统方法根据二维图像估计目标的空间位置和姿态，往往需要经过无人机目标检测、点/线/面特征提取以及位姿解算等多个独立的串行流程，位姿估计精度容易受到光照、背景、视角变化等因素的影响，在鲁棒性方面存在不足。当前，通过深度神经网络端到端估计无人机位姿的相关方法虽然相比传统方法实现了环境鲁棒性的提升，但这类方法仅仅利用了无人机单帧图像，忽略了无人机降落序列图像中蕴含的时域依赖关系，因而位姿估计精度不高。因此，迫切需要设计一种环境适应性较强且估计精度较高的无人机降落位姿估计方法。

发明内容

针对上述现有技术中存在的一项或多项不足，本发明提供一种无人机降落空间位置和姿态端到端估计方法，具有强鲁棒与高精度。

为实现上述目的，本发明提供一种无人机降落空间位置和姿态端到端估计方法，包括如下步骤：

步骤1，获取地基视觉拍摄的无人机降落实时图像序列，并基于各帧无人机降落实时图像之间的时域关联，得到无人机相对地基相机的位姿；

步骤2，基于地基相机与世界坐标系的转换矩阵，将无人机相对地基相机的位姿转换为在世界坐标系下的空间位姿。

作为上述技术方案的进一步改进，步骤1中，所述基于各帧无人机降落实时图像之间的时域关联，得到无人机相对地基相机的位姿，具体为：

步骤1.1，对当前帧无人机降落实时图像进行特征提取与区域分割，输出当前帧的目标区域特征图；

步骤1.2，将当前帧的目标区域特征图与上一帧的目标区域特征图叠加后进行选择性记忆和遗忘，得到当前帧目标图像中的目标相对于第1帧目标图像中目标的位姿；

其中，若当前帧为第1帧，则将当前帧的目标区域特征图复制叠加后进行选择性记忆和遗忘。

作为上述技术方案的进一步改进，步骤1中，采用无人机位姿端到端估计神经网络得到无人机相对地基相机的位姿，所述无人机位姿端到端估计神经网络包括：

特征提取网络，用于对目标图像进行特征提取，输出目标图像的特征图；

区域生成网络，用于对目标图像的特征图进行检测与分割，输出目标区域特征图；

位姿回归网络，用于将当前帧的目标区域特征图与上一帧的目标区域特征图叠加后进行选择性记忆和遗忘，得到当前帧目标图像中的目标相对于第1帧目标图像中目标的位姿。

作为上述技术方案的进一步改进，所述位姿回归网络中，采用长短期记忆网络LSTM单元进行选择性记忆和遗忘，所述LSTM单元具有遗忘门、输入门和输出门。

作为上述技术方案的进一步改进，所述LSTM单元进行选择性记忆和遗忘的具体过程为：

式中，i _j 、f _j 和o _j 分别表示输入门、遗忘门和输出门；σ为sigmod函数；ε _i 、ε _f 和ε _o 分别表示输入门、遗忘门和输出门的偏差因子；W _i 、W _f 和W _o 分别表示输入门、遗忘门和输出门的云运算子的参数集合；X _j 表示LSTM单元的输入，即第j帧叠加后的目标区域特征图；C _j 为记忆单元，通过不断地获取新的记忆并遗忘较为久远的记忆，存储一定步长范围内的信息；h为隐层状态，用于相邻帧的LSTM单元传递信息；

其中，若当前帧为第1帧，则上式中的h _j-1和C _j-1皆省略。

作为上述技术方案的进一步改进，所述无人机位姿端到端估计神经网络需进行训练，其训练过程为：取连续J帧无人机降落实时图像作为输入，对J帧无人机降落实时图像的检测、分割以及位姿估计，并基于位姿估计的损失函数更新无人机位姿端到端估计神经网络的网络参数，完成训练。

作为上述技术方案的进一步改进，所述损失函数F _loss 由loss ^p 和loss ^m 组成：

其中α ^p 和α ^m 为比例因子；loss ^m 由3部分构成：

其中

、

和

为比例因子；

假设网络输出的目标概率值为p，则L _cls 定义为：

假设网络输出的目标区域图像位置按照左上角横坐标、左上角纵坐标、矩形框宽和矩形框长的顺序表示为（t _x ，t _y ，t _w ，t _h ），目标的真实图像位置为（g _x ，g _y ，g _w ，g _h ），则L _box 定义为：

L _mask 定义为网络输出的目标像素区域二值化图像与真实目标像素区域二值化图像的交叉熵；

loss ^p 定义为网络输出的4维位姿向量同真实位姿向量之间的2范式距离，其中，4维位姿向量由3维李代数空间向量和1维目标距离构成。

与现有技术相比，本发明提出的一种无人机降落空间位置和姿态端到端估计方法的有益效果在于：

依托机器学习理论，充分借鉴深度学习在计算机视觉领域的优秀成果，通过设计一种无人机目标相对空间位姿深度神经网络，实现了无人机降落过程中由图像到无人机空间位姿的端到端直接估计，相比传统的多模块串行方法大幅提升了无人机降落过程中位姿估计对环境光照、视觉背景以及观测视角等因素适应性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明实施例中LieNet以及MaskRCNN结构图；

图2为本发明实施例中 SPoseNet网络结构图；

图3为本发明实施例中第i步网络详细结构图；

图4为本发明实施例中无人降落过程中地基视觉系统各坐标系示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明，本发明实施例中所有方向性指示（诸如上、下、左、右、前、后……）仅用于解释在某一特定姿态（如附图所示）下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接，还可以是物理连接或无线通信连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

本实施例公开了一种无人机降落空间位置和姿态端到端估计方法，包括两个阶段：

第一阶段为无人机-地基相机之间相对位姿端到端估计；即，输入：地基视觉无人机降落图像；输出：无人机与地基相机的相对位置和姿态。

近年来，大量研究成果表明，使用人工神经网络实现端到端的目标分类、检测和分割，相比传统的多模块思路在各方面性能均得到了提升，尤其在鲁棒性和精确性方面的提升更为显著。虽然神经网络在目标分类、检测和分割取得了显著的成果，但是这些任务仅仅停留在图像信息提取、抽象的层面，即目标的2D识别。根据图像估计目标空间位姿的研究目前仍以传统的多模块组合框架为主，本实施例中阶段通过设计一种深度神经网络作为无人机位姿端到端估计神经网络，实现从地基图像到无人机相对位姿的端到端估计。

LieNet是迄今为止实现了对单帧图像中目标位姿端到端估计的网络。图1展示了LieNet以及MaskR-CNN（区域分割卷积神经网络，Mask Region-Convolutional NeuralNetwork）（虚线框内）的基本结构，该网络在MaskR-CNN的基础上，通过并联由3层全连接层组成的位姿回归网络，实现了目标的位姿回归。

为了深入挖掘目标在序列图像中的时域依赖关系，从而更加准确地估计目标位姿，本实施例在MaskR-CNN的基础上嵌入LSTM（长短期记忆网络，Long Short-TermMemory），实现目标位姿信息的选择性记忆，并构建位姿回归网络对目标位姿进行回归估计。在此基础上，从浮点运算量和内存访问量的角度综合评估网络的运行效率，对网络结构进行整体优化，构建以地基视觉拍摄的无人机降落实时图像序列为输入的无人机位姿端到端估计神经网络SPoseNet，其网络结构如图2所示。取地基视觉拍摄的无人机降落实时图像序列的历史J帧作为一组输入，各帧图像通过特征图提取网络CN和区域生成网络PN获得目标区域特征图，随后利用MaskR-CNN的目标检测和分割网络实现目标检测分割，与此同时，目标区域特征图同上一时刻的目标区域特征图进行叠加，即将当前帧的目标区域特征图与上一帧的目标区域特征图叠加；并经过循环神经网络RN，最后通过位姿回归网络FN完成位姿估计，其中，循环神经网络RN即为上述的长短期记忆网络。图2中的虚线框区域作为SPoseNet的核心模块，体现了利用目标在序列图像中的时域关联估计位姿的核心思想。网络通过RN构建了各帧之间的时域关联，使得后续的位姿回归不光取决于当前帧，同时也受到历史帧的影响。由于首帧无法获取历史帧目标区域特征图，对首帧目标区域特征图进行复制叠加操作。

在无人机位姿端到端估计神经网络训练过程中，对J步网络进行整体训练，即取连续J帧序列图像作为输入，对J帧的检测、分割以及位姿估计，并基于位姿估计的损失函数进行反向传播，更新无人机位姿端到端估计神经网络的网络参数，并重复上述过程，完成训练。

实际应用过程同训练过程有所区别，仅针对当前帧进行位姿估计。假设当前为第i帧，此时利用i-1帧的目标区域特征图和RN输出，进行第i步前向传播，并同时存储目标区域特征图和RN输出，用于下一帧的前向传播。第i步的网络详细结构如图3所示。采用了ResNet-34作为特征提取网络，经过RPN（区域生成网络，Region Proposal Network）提取目标区域特征图并与i-1帧目标区域特征图叠加后，利用512维的LSTM对目标区域特征图进行选择性记忆和遗忘，最后利用由1层卷积层和3层全连接层组成的位姿回归网络FN _i 输出目标位姿。其中，FN _i 的全连接层维度分别为1024、256和4。同LieNet类似，4维目标位姿由3维李代数空间向量和1维目标距离构成。

SPoseNet采用了具有遗忘门的标准LSTM单元。该类LSTM具备了遗忘门、输入门和输出门。对于第j步，其内部的基本操作如下式所示：

（1）

式中，i _j 、f _j 和o _j 分别表示输入门、遗忘门和输出门；σ为sigmod函数；ε _i 、ε _f 和ε _o 分别表示输入门、遗忘门和输出门的偏差因子；W _i 、W _f 和W _o 分别表示输入门、遗忘门和输出门的云运算子的参数集合；X _j 表示LSTM单元的输入，即第j帧叠加后的目标区域特征图；C _j 为记忆单元，通过不断地获取新的记忆并遗忘较为久远的记忆，存储一定步长范围内的信息；h为隐层状态，用于相邻帧的LSTM单元传递信息，其中，若当前帧为第1帧，则上式中的h _j-1和C _j-1皆省略。

多任务网络模型通过不同任务间的网络信息共享，有效提升网络的泛化能力。SPoseNet同时输出目标的图像位置、目标类别、目标像素区域以及目标空间位姿。其中前3类输出即为MaskR-CNN的输出。网络训练的损失函数F _loss 主要由loss ^p 和loss ^m 组成：

（2）

其中α ^p 和α ^m 为比例因子。根据MaskR-CNN对损失函数的定义，loss ^m 由3部分构成：

（3）

其中

、

和

为对应的比例因子。假设网络输出的目标概率值为p，则L _cls 定义为：

（4）

假设网络输出的目标区域图像位置按照左上角横坐标、左上角纵坐标、矩形框宽和矩形框长的顺序表示为（t _x ，t _y ，t _w ，t _h ），目标的真实图像位置为（g _x ，g _y ，g _w ，g _h ），则L _box 定义为：

（5）

（6）

相比常用的以2范式距离为基础的损失函数定义，上述方式降低了损失函数对异常值的敏感性。网络的目标像素区域输出为与目标矩形框相同尺寸的二值化单通道图像。其中属于目标的像素赋值为1，其余为0。L _mask 定义为网络输出的目标像素区域二值化图像与真实目标像素区域二值化图像的交叉熵。与位姿估计结果相关的损失函数loss ^p 定义为网络输出的4维位姿向量同真实位姿向量之间的2范式距离。

第二阶段为无人机空间位姿转换；即，输入：无人机与地基相机的相对位姿、地基视觉系统实时参数；输出：无人机绝对空间位姿。

在获得无人机相对摄像机的位姿T _c 后，需要将其转换至世界坐标系w中，从而获得无人机的绝对位姿。图4展示了摄像机坐标系c与世界坐标系w的转换关系，无人机在世界坐标系w中的位置t _w 以及姿态旋转矩阵

可通过以下转换公式获得：

（7）

其中，T表示坐标系之间的转换齐次矩阵：

（8）

T表示坐标系之间的平移向量，而R表示坐标系之间的旋转矩阵。首先，云台坐标系g与云台基座坐标系g’之间的转换矩阵

以及云台基座坐标系g’与世界坐标系w之间的转换矩阵

固定不变且可通过标定的方式精确获得。在初始状态下，摄像机坐标系c与云台坐标系g之间的转换矩阵

亦可通过标定的方式精确获得。随着云台的转动，转换矩阵

可根据云台姿态反馈实时推算。因此，无人机在世界坐标系w中的位置t _w 以及姿态旋转矩阵

可通过式(7)实时推导获得。

以一个具体应用实例进行说明，构建地基视觉实物系统，使用本实施例的方法对无人机降落过程中的空间位姿进行实时估计。为了验证本实施例的方法相较经典端到端估计网络的优势，采用经典位姿端到端估计网络LieNet与本实施例提出的SPoseNet进行比较。表1统计了SPoseNet和LieNet在各方向上的位姿估计均方根误差。根据误差在各个方向的分布情况可知，Y轴方向的估计误差明显高于另外两个方向，而姿态估计误差在3个欧拉角方向分布较为均匀。总体来说，SPoseNet相比LieNet在估计精度上的实现了约17.9%的提升。显然，引入了序列图像目标时域依赖关系的SPoseNet实现了更精准的目标位姿估计。根据无人机降落过程对离地高度的精度需求，LieNet在Z轴方向上的均方根误差达到了约4.2m，SPoseNet有所提升，但距离实际精度要求仍然存在一定的差距。SPoseNet对目标姿态角的估计均方根误差相比仿真试验稍有增加，但误差主体分布在0~5º的范围内，这对于无人机降落过程的自身姿态精确测量是非常有实际意义的。

表1 无人机目标位姿估计实验均方根误差对比

综上所述，本实施例面向无人机降落过程中的空间位置和姿态估计需求，构建了基于深度学习的无人机降落空间相对位姿端到端估计网络，通过结合类循环神经网络LSTM，引入了序列图像目标时域依赖关系，相较经典的目标位姿端到端估计网络实现了无人机位姿估计精确性的提升，为构建无人机自主降落地基视觉辅助系统提供了有力的技术支撑，具有较强的实用价值。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (6)

1.一种无人机降落空间位置和姿态端到端估计方法，其特征在于，包括如下步骤：

步骤1，获取地基视觉拍摄的无人机降落实时图像序列，并基于各帧无人机降落实时图像之间的时域关联，得到无人机相对地基相机的位姿；

步骤2，基于地基相机与世界坐标系的转换矩阵，将无人机相对地基相机的位姿转换为在世界坐标系下的空间位姿；

步骤1中，所述基于各帧无人机降落实时图像之间的时域关联，得到无人机相对地基相机的位姿，具体为：

步骤1.1，对当前帧无人机降落实时图像进行特征提取与区域分割，输出当前帧的目标区域特征图；

步骤1.2，将当前帧的目标区域特征图与上一帧的目标区域特征图叠加后进行选择性记忆和遗忘，得到当前帧目标图像中的目标相对于第1帧目标图像中目标的位姿；

其中，若当前帧为第1帧，则将当前帧的目标区域特征图复制叠加后进行选择性记忆和遗忘。

2.根据权利要求1所述无人机降落空间位置和姿态端到端估计方法，其特征在于，步骤1中，采用无人机位姿端到端估计神经网络得到无人机相对地基相机的位姿，所述无人机位姿端到端估计神经网络包括：

特征提取网络，用于对目标图像进行特征提取，输出目标图像的特征图；

区域生成网络，用于对目标图像的特征图进行检测与分割，输出目标区域特征图；

位姿回归网络，用于将当前帧的目标区域特征图与上一帧的目标区域特征图叠加后进行选择性记忆和遗忘，得到当前帧目标图像中的目标相对于第1帧目标图像中目标的位姿。

3.根据权利要求2所述无人机降落空间位置和姿态端到端估计方法，其特征在于，所述位姿回归网络中，采用长短期记忆网络LSTM单元进行选择性记忆和遗忘，所述LSTM单元具有遗忘门、输入门和输出门。

4.根据权利要求3所述无人机降落空间位置和姿态端到端估计方法，其特征在于，所述LSTM单元进行选择性记忆和遗忘的具体过程为：

式中，i _j 、f _j 和o _j 分别表示输入门、遗忘门和输出门；σ为sigmod函数；ε _i 、ε _f 和ε _o 分别表示输入门、遗忘门和输出门的偏差因子；W _i 、W _f 和W _o 分别表示输入门、遗忘门和输出门的云运算子的参数集合；X _j 表示LSTM单元的输入，即第j帧叠加后的目标区域特征图；C _j 为记忆单元，通过不断地获取新的记忆并遗忘较为久远的记忆，存储一定步长范围内的信息；h为隐层状态，用于相邻帧的LSTM单元传递信息；

其中，若当前帧为第1帧，则上式中的h _j-1和C _j-1皆省略。

5.根据权利要求2所述无人机降落空间位置和姿态端到端估计方法，其特征在于，所述无人机位姿端到端估计神经网络需进行训练，其训练过程为：取连续J帧无人机降落实时图像作为输入，对J帧无人机降落实时图像的检测、分割以及位姿估计，并基于位姿估计的损失函数更新无人机位姿端到端估计神经网络的网络参数，完成训练。

6.根据权利要求5所述无人机降落空间位置和姿态端到端估计方法，其特征在于，所述损失函数F _loss 由loss ^p 和loss ^m 组成：

其中α ^p 和α ^m 为比例因子；loss ^m 由3部分构成：

其中

、

和

为比例因子；

假设网络输出的目标概率值为p，则L _cls 定义为：

假设网络输出的目标区域图像位置按照左上角横坐标、左上角纵坐标、矩形框宽和矩形框长的顺序表示为（t _x ，t _y ，t _w ，t _h ），目标的真实图像位置为（g _x ，g _y ，g _w ，g _h ），则L _box 定义为：

L _mask 定义为网络输出的目标像素区域二值化图像与真实目标像素区域二值化图像的交叉熵；

loss ^p 定义为网络输出的4维位姿向量同真实位姿向量之间的2范式距离，其中，4维位姿向量由3维李代数空间向量和1维目标距离构成。

Images