CN111338383B - 基于gaas的自主飞行方法及系统、存储介质 - Google Patents

Abstract

本发明公开一种基于GAAS的自主飞行方法及系统、存储介质，方法主要包括：基于SLAM对无人机中多融合传感器和双目/深度/单目相机采集的多种待处理信息进行位姿估计，优化无人机飞控过程中的位置姿态；(结合基于满足动力学约束的A‑star算法和基于双目/单目/深度摄像头的障碍物检测算法进行飞控过程中的路径规划；采用基于梯度(Gradient)的轨迹优化算法对轨迹进行优化，生成具有动力学可行性的轨迹(Trajectory)；基于单应性矩阵恢复无人机降落时视距传感器和降落目标之间的旋转和平移关系，指导无人机降落至目标地。采用本发明，可以实现无人机基于计算机视觉的全自主导航，在没有通信或通信补偿的情况下，仍能弥补系统故障所带来的问题，确保系统长时间良好运行。

Description

基于GAAS的自主飞行方法及系统、存储介质

技术领域

本发明涉及无人机控制技术领域，尤其涉及一种基于GAAS的自主飞行方法及系统、存储介质。

背景技术

自动化是指“系统运行无需或者很少需要人工操作，但系统功能仅局限于设定的具体行动”。应用飞行器系统的自动化还包括飞行控制系统所用的电传操作技术、将多个传感器信息进行整合的数据融合技术、制导与导航自动化技术 (如飞行管理系统)、地面防撞自动回收技术等。可以说，这些系统只是在一种或多种功能上实现了不同程度的自动化(从低级到复杂)，属于半自主性。

自主总的来说是指“在更为广泛的作战条件、环境因素和更为多样的任务或行动中，使用更多的传感器和更为复杂的软件，提供更高层次自动化的行为”。自主性的特征通常体现在系统独立完成任务目标的程度。也就是说，自主性系统要在极其不确定的条件下，能够完全排除外界干扰，即使在没有通信或通信补偿的情况下，仍能弥补系统故障所带来的问题，并确保系统长时间良好运行。

发明内容

本发明实施例提供一种基于GAAS的自主飞行方法及系统、存储介质，可以实现无人机基于计算机视觉的全自主导航，在没有通信或通信补偿的情况下，仍能弥补系统故障所带来的问题，确保系统长时间良好运行。

本发明实施例第一方面提供了一种基于GAAS的自主飞行方法，可包括：

基于SLAM对无人机中多融合传感器和双目/深度/单目相机采集的多种待处理信息进行位姿估计，优化无人机飞控过程中的位置姿态，所述多融合传感器至少包括惯性测量单元IMU、GPS绝对位置定位传感器和气压计；

结合基于满足动力学约束的A-star算法和基于双目/单目/深度摄像头的障碍物检测算法进行飞控过程中的路径规划；

采用基于梯度(Gradient)的轨迹优化算法对轨迹进行优化，生成具有动力学可行性的轨迹(Trajectory)；

基于单应性矩阵恢复无人机降落时视距传感器和降落目标之间的旋转和平移关系，指导无人机降落至目标地。

本发明实施例第二方面提供了一种基于GAAS的自主飞行系统，可包括：

位姿估计模块，用于基于SLAM对无人机中多融合传感器和双目/深度/单目相机采集的多种传感器信息进行位姿估计，优化无人机飞控过程中的位置姿态，所述多融合传感器至少包括惯性测量单元IMU、GPS绝对位置定位传感器和气压计；

路径规划模块，用于结合基于满足动力学约束的A-star算法和基于双目/单目/深度摄像头的障碍物检测算法进行飞控过程中的路径规划；

轨迹生成模块，用于采用基于梯度(Gradient)的轨迹优化算法对轨迹进行优化，生成具有动力学可行性的轨迹(Trajectory)；

降落实现模块，用于基于单应性矩阵恢复无人机降落时视距传感器和降落目标之间的旋转和平移关系，指导无人机降落至目标地。

本发明实施例第三方面提供了一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行以下步骤：

基于SLAM对无人机中多融合传感器和双目/深度/单目相机采集的多种待处理信息进行位姿估计，优化无人机飞控过程中的位置姿态，所述多融合传感器至少包括惯性测量单元IMU、GPS绝对位置定位传感器和气压计；

结合基于满足动力学约束的A-star算法和基于双目/单目/深度摄像头的障碍物检测算法进行飞控过程中的路径规划；

采用基于梯度(Gradient)的轨迹优化算法对轨迹进行优化，生成具有动力学可行性的轨迹(Trajectory)；

基于单应性矩阵恢复无人机降落时视距传感器和降落目标之间的旋转和平移关系，指导无人机降落至目标地。

本发明的有益效果：通过设计一种开源的GAAS系统框架，融合无人机中多种传感器采集的信息实现了集三维空间感知、三维空间避障、飞行航线重构、复杂任务规划、视觉里程计、实时建模、目标跟踪、目标检测、语音控制、自主飞行、自动起飞、自动降落、室内无GPS悬停等功能于一体自主飞行系统。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种基于GAAS的自主飞行方法的流程示意图；

图2是本发明实施例提供的采用SLAM算法实现位置姿态优化的过程示意图；

图3是本发明实施例提供的二维码匹配示意图；

图4是本发明实施例提供的一种基于GAAS的自主飞行系统的结构示意图；

图5是本发明实施例提供的位姿估计模块的结构示意图；

图6是本发明实施例提供的路径规划模块的结构示意图；

图7是本发明实施例提供的轨迹生成模块的结构示意图；

图8是本发明实施例提供的累计误差消除模块的结构示意图；

图9是本发明实施例提供的特征提取模块的结构示意图；

图10是本发明实施例提供的一种基于GAAS的自主飞行无人机的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

如图1所示，基于GAAS的自主飞行方法至少包括以下步骤：

S101，基于SLAM对无人机中多融合传感器和双目/深度/单目相机采集的多种传感器信息进行位姿估计，优化无人机飞控过程中的位置姿态。

需要说明的是，无人机中的多融合传感器至少可以包括MEMS惯性器件(如惯性测量单元IMU)、GPS绝对位置定位传感器、气压计、雷达等低成本传感器。双目/深度/单目相机可以是全局曝光或卷帘曝光灰度摄像头、深度相机、鱼眼相机。优选的，系统可以配合基于G2O的后端Bundle Adjustment优化算法，实现在ARM、X86等低功耗移动计算单元上的无人机自身位置及环境感知能力。特别的，G2O是一个开源且基于图的优化框架，在本申请中采用G2O实现SLAM 算法的后端优化。

在一种优选的实现方式中，采用SLAM算法实现位置姿态优化的过程如图 2所示：

具体的，可以将双目/深度/单目相机与IMU进行联合标定，实现无人机的视觉定位。通过联合标定，相机运动时可以根据ICP(Iterative Closest Point，是根据前后两帧图像中匹配好的特征点在相机坐标系下的三维坐标，求解相机帧间运动的一种算法)或者PnP(Perspective-n-Point，是根据图像中特征点的二维像素坐标及其对应的三维空间坐标，来估计相机在参考坐标系中位姿的一类算法)得到相对帧间的R和t，其中R和t代表两帧之间的相对位姿关系；进一步的，在得到相对帧间的R和t的基础上行可以根据视差计算图像空间深度。同时，通过联合标定，可以基于IMU采样，预积分得到R和t。进一步的，系统可以联合上述得到的空间深度、预积分得到的R和t、由GPS确定的相对位置估计以及气压计确定的相对位置来确定无人机的位置姿态、路标点、路标点的重投影误差以及位置姿态误差，进而可以通过G20初始化后将问题用图表示，并采用LM算法输出优化后的位置姿态。

在本申请实施例中，无人机的姿态估计速度可以达到100Hz以上，位置估计累计误差可以降低到1m/Km，姿态估计误差可以降低到0.5度。需要说明的是，由于在SLAM算法框架中，不仅使用了视觉信息、还使用了GPS信息，GPS 是一种没有累计误差的绝对位置定位传感器，而GPS的测量误差一般在米级， SLAM在小范围运动时的测量误差一般为厘米级，两者的融合结果可以显著降低GPS的测量误差，取消SLAM的累计误差，最终实现低于1m/Km的位置估计累计误差。

在一种可选的实现方式中，还可以采用基于DBoW的词袋模型消除SLAM 在位姿估计中的累计误差。需要说明的是，Bag of Words用于文本检索及图像检索等，可以直接使用K-means对局部描述符进行聚类，获得一定数量的视觉单词，然后量化再统计词频或TF-IDF加权之后的权重系数。DBoW是一种对BoW 的改进，它基于Vocabulary Tree(VT)，相对于K-means极大地提高了检索效率。它可以通过计算BoW向量之间的距离(汉明距离或者余弦距离)来计算图像之间相似度。具体实现中，SLAM在运行的过程中会实时保存历史环境的信息，如果SLAM发现当前图像的BoW向量和历史环境中的某一个向量的汉明距离小于预设值，可以认为两个场景是一致的，那么对于上述两个场景可以得到两个时刻的位置变换以及旋转变换，以及两个场景相对的位置变换以及相对的旋转变换。进而可以通过判断两个相对变换之间的差异来消除SLAM运行过程中的累计误差。

在一种可选的实现方式中，还可以采用优化的Fast特征点检测算法对视觉定位中的图像数据进行特征提取，实现了在轻量型无人机上的高帧率视觉定位方法。具体实现中，可以对双目/深度/单目相机采集的图像数据进行网格化处理，对各网格内的图像进行特征点检测，进而基于网格内特征点周围的灰度变化确定各网格内的最优特征点。这种检测方法可以更加均匀的提取特征点，使得前端追踪效果更加优秀。

特别的，GPS作为一种绝对位置测量传感器，在室内以及市内等封闭环境无法得到准确测量值，而在视野开阔的地方，针对两个时刻，可以得到一个物体的相对位置变化关系；气压计作为一种高度测量传感器，可以用来判断两个时刻一个物体的相对高度变化关系；SLAM作为一种基于视觉以及IMU的状态估计算法。综上所述，对于任意一个3D空间内的机器人移动问题，任意两个时刻之间的位置可以得到多组测量值：即GPS测量结果、SLAM测量结果以及气压计测量结果。进一步的，有了上述多组相对移动的测量结果，再结合各个传感器的协方差矩阵来进行多组结果的加权平均，就得到每两个时刻之间的最优相对移动。因此，在室内或市内，当GPS信号不稳定时，可以通过判断GPS传感器接收到的卫星数量以及协方差矩阵来判断GPS的有效性，若GPS无效可以只采用基于视觉的SLAM以及气压计进行无人机导航。

综上所述，系统通过结合MEMS惯性器件的加速度及角速度数值、GPS的经纬度定位信息、气压计的高度定位信息，通过G20实现了无人机多传感器融合的鲁邦定位估计。可以在无GPS的高楼密布的市内及室内环境下使用，极大地拓展了无人机使用场景，并增强了无人机适用安全性及鲁棒性。

S102，结合基于满足动力学约束的A-star算法和基于双目/单目/深度摄像头的障碍物检测算法进行飞控过程中的路径规划。

S103，采用基于梯度(Gradient)的轨迹优化算法对轨迹进行优化，生成具有动力学可行性的轨迹(Trajectory)。

具体实现种，无人机自主导航需要路径规划模块和轨迹生成模块生成其飞行轨迹，系统可以基于满足动力学约束的A-star算法和基于双目/单目/深度摄像头的障碍物检测算法进行飞控过程中的路径规划，然后使用基于梯度(Gradient) 的轨迹优化算法对轨迹进行优化，生成具有动力学可行性的轨迹(Trajectory)。主要流程包含如下三个部分：

(1)轨迹生成：无人机根据当前规划出的轨迹和途径点(waypoint)，给定一段优化距离，基于梯度(Gradient)的轨迹优化算法进行局部路径的轨迹优化，生成一条局部的多项式轨迹(Trajectory)。

(2)执行轨迹：给定一段执行距离(执行距离一般小于优化距离)，将执行距离内的多项式轨迹进行多阶求导，得到规划速度，加速度等信息，传入飞机的控制模块，控制飞机执行该轨迹。

(3)轨迹更新：每执行一段轨迹，根据更新的地图，更新路径并更新轨迹。

在一种可选的实现方式中，还可以根据双目/深度/单目相机采集到的图像，使用SfM(Structure from Motion)算法，恢复出目标建筑物的3D形状。此过程可以根据给定建筑物的位置配合提供的人机交互软件自动实现。

S104，基于单应性矩阵恢复无人机降落时视距传感器和降落目标之间的旋转和平移关系，指导无人机降落至目标地。

需要说明的是，在计算机视觉中一个平面的两张图片可以通过一个名为单应性矩阵的变换矩阵联系在一起，此矩阵包含了两张关于同一平面的图片的旋转以及平移信息。通常，为了获得两张图片的单应性矩阵，需要两张图片的超过三对不共线的匹配好的特征点。也就是说，需要在两张图片中找到超过三组匹配好的特征，而通过二维码解析出来的四角位置可以用来进行单应性矩阵的计算。

具体实现中，通过两张图片恢复出相对旋转以及位移的过程可以分为以下几步：

(1)给定目标地对应的目标图片，并给定目标图片中目标二维码的四个角在目标图片中的第一位置，其中，目标图片包含一个目标二维码。

(2)基于双目/深度/单目相机不断接收环境图像，并检测环境图像中的二维码；

(3)解析环境图像中二维码的四个角在环境图像中的第二位置；

(4)根据第一位置和第二位置计算相应的单应性矩阵。例如，可以通过第一位置和第二位置匹配到四对特征点如图3所示，然后通过opencv的 getPerspectiveTransform函数来计算单应性矩阵。需要说明的是，通过opencv的decomposeHomographyMat函数来分解上述单应性矩阵，通常会得到四组不同的解，每组解包含一个旋转、平移以及目标二维码在当前相机坐标系的法线向量。

可以理解的是，由于目标二维码被平放在水平地面上，所以它在当前图像坐标系中的法线向量应该为(0，-1，0)，那么对应的旋转以及平移即可指导无人机降落到目标地。也就是说，对应的旋转以及平移是当前降落目标相对于当前无人机的位置变化以及旋转变化关系，可以通过简单地无人机控制逻辑控制无人机移动相应的距离，并做出相应的旋转。

在本申请实施例中，通过设计一种开源的GAAS系统框架，融合无人机中多种传感器采集的信息实现了集三维空间感知、三维空间避障、飞行航线重构、复杂任务规划、视觉里程计、实时建模、目标跟踪、目标检测、语音控制、自主飞行、自动起飞、自动降落、室内无GPS悬停等功能于一体自主飞行系统。

下面将结合附图4-附图9，对本发明实施例提供的基于GAAS的自主飞行系统进行详细介绍。需要说明的是，附图4-附图9所示的自主飞行系统，用于执行本发明图1-图3所示实施例的方法，为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明图1-图3所示的实施例。

请参见图4，为本发明实施例提供了一种基于GAAS的自主飞行系统的结构示意图。如图4所示，本发明实施例的所述自主飞行系统10可以包括：位姿估计模块101、路径规划模块102、轨迹生成模块103、降落实现模块104、累计误差消除模块105、特征提取模块106、目标信息给定模块107、二维码检测模块108、二维码解析模块109和矩阵计算模块120。其中，位姿估计模块101 如图5所示，包括视觉定位单元1011、相对位置估计单元1012和位姿优化单元 1013；路径规划模块102如图6所示，包括环境构建单元1021、路径规划单元 1022和反馈校正单元1023；轨迹生成模块103如图7所示，包括轨迹生成单元 1031、轨迹执行单元1032和轨迹更新单元1033；累计误差消除模块105如图8 所示，包括环境一致性确定单元1051、变换确定单元1052和累计误差消除单元 1053；特征提取模块106如图9所示，包括网格处理单元1061和最优特征确定单元1062。

位姿估计模块101，用于基于SLAM对无人机中多融合传感器和双目/深度/ 单目相机采集的多种待处理信息进行位姿估计，优化无人机飞控过程中的位置姿态，其中，多融合传感器至少包括惯性测量单元IMU、GPS绝对位置定位传感器和气压计。

路径规划模块102，用于基于满足动力学约束的A-star算法和基于双目/单目/深度摄像头的障碍物检测算法进行飞控过程中的路径规划。

轨迹生成模块103，用于基于梯度(Gradient)的轨迹优化算法对轨迹进行优化，生成具有动力学可行性的轨迹(Trajectory)。

降落实现模块104，用于基于单应性矩阵恢复无人机降落时视距传感器和降落目标之间的旋转和平移关系，指导无人机降落至目标地。

在可选实施例中，位姿估计模块101包括如下单元：

视觉定位单元1011，用于采用双目/深度/单目相机和IMU进行联合标定，实现无人机的视觉定位。

相对位置估计单元1012，用于基于GPS绝对位置定位传感器采集的GPS 信息以及气压计采集的气压信息进行相对位置的估计。

位姿优化单元1013，用于根据视觉定位和相对位置估计得到的位置姿态、路标点、路标点的重投影误差以及位置姿态误差确定优化后的位置姿态。

在一种可选的实现方式中，系统10还包括：

累计误差消除模块105，用于采用基于DBoW的词袋模型消除SLAM在位姿估计中的累计误差。可选的，累计误差消除模块105包括以下单元：

环境一致性确定单元1051，用于在基于SLAM的位姿估计中，若当前图像的BoW向量与历史环境中的一向量的汉明距离小于预设值，确定当前环境与上述历史环境是一致的。

变换确定单元1052，用于根据当前时刻和历史时刻的位置变换和旋转变换，确定当前环境和历史环境的相对位置变换和相对旋转变换。

累计误差消除单元1053，用于根据相对位置变换和相对旋转变换之间的差异，消除SLAM运行过程中的累计误差。

在一种可选的实现方式中，系统10还包括：

特征提取模块106，用于采用优化的Fast特征点检测算法对视觉定位中的图像数据进行特征提取。可选的，特征提取模块106包括以下单元：

网格处理单元1061，用于对双目/深度/单目相机采集的图像数据进行网格化处理，对各网格内的图像进行特征点检测。

最优特征确定单元1062，用于基于网格内特征点周围的灰度变化确定各网格内的最优特征点。

在一种可选的实现方式中，路径规划模块102包括以下单元：

环境构建单元1021，用于无人机每运行一定的距离，根据视觉传感器采集的环境信息构建周围环境的障碍地图。

路径规划单元1022，用于根据当前地图和自身运动状态采用满足动力学约束的A-star算法规划出一条全局路径。

反馈校正单元1023，用于无人机每运行一定的距离，便通过传感器信息更新周围环境，为下一次的局部路径规划提供最新的环境信息。

在一种可选的实现方式中，轨迹生成模块103包括以下单元：

轨迹生成单元1031，用于根据A-star路径规划的对应的路径得到无人机将要经过的途径点(waypoint)，使用基于梯度(Gradient)的轨迹优化算法优化所述路径并生成一条能够被无人机执行的多项式轨迹。

轨迹执行单元1032，用于对上述多项式轨迹进行给定时间段求导数，得到该时段的一阶导数(速度)，二阶导数(加速度)，将各项数值传入加速度控制器控制无人机沿轨迹飞行。

轨迹更新单元1033，用于针对未知环境，无人机每走过一段预设距离，根据更新的地图重新进行规划路径，并更新轨迹。

在一种可选的实现方式中，系统10还包括：

目标信息给定模块107，用于给定目标地对应的目标图片，并给定目标图片中目标二维码的四个角在目标图片中的第一位置，目标图片包含一个目标二维码。

二维码检测模块108，用于基于双目/深度/单目相机不断接收环境图像，并检测环境图像中的二维码。

二维码解析模块109，用于解析环境图像中二维码的四个角在环境图像中的第二位置；

矩阵计算模块120，用于根据第一位置和第二位置计算相应的单应性矩阵，单应性矩阵对应四组不同的解，每组解包含一个旋转、平移以及目标二维码在当前相机坐标系的法线向量。

需要说明的是，上述系统中各单元和模块的详细执行过程可以参见上述方法实施例中的描述，处不再赘述。

在本申请实施例中，通过设计一种开源的GAAS系统框架，融合无人机中多种传感器采集的信息实现了集三维空间感知、三维空间避障、飞行航线重构、复杂任务规划、视觉里程计、实时建模、目标跟踪、目标检测、语音控制、自主飞行、自动起飞、自动降落、室内无GPS悬停等功能于一体自主飞行系统。

本发明实施例还提供了一种计算机存储介质，所述计算机存储介质可以存储有多条指令，所述指令适于由处理器加载并执行如上述图1-图3所示实施例的方法步骤，具体执行过程可以参见图1-图3所示实施例的具体说明，在此不进行赘述。

请参见图10，为本发明实施例提供了一种基于GAAS的自主飞行无人机的结构示意图。如图10所示，所述无人机1000可以包括：至少一个处理器1001，例如CPU，至少一个网络接口1004，存储器1005，至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。还可以包括用户接口 1003该接口可以是无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图10所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于GAAS的自主飞行应用程序。

在图10所示的无人机1000中，网络接口1004用于与用户终端进行数据通信；而处理器1001可以用于调用存储器1005中存储的自主飞行应用程序，并具体执行以下操作：

基于SLAM对无人机中多融合传感器和双目/深度/单目相机采集的多种待处理信息进行位姿估计，优化无人机飞控过程中的位置姿态，所述多融合传感器至少包括惯性测量单元IMU、GPS绝对位置定位传感器和气压计；

结合基于满足动力学约束的A-star算法和基于双目/单目/深度摄像头的障碍物检测算法进行飞控过程中的路径规划；

使用基于梯度(Gradient)的轨迹优化算法对轨迹进行优化，生成具有动力学可行性的轨迹(Trajectory)；

基于单应性矩阵恢复无人机降落时视距传感器和降落目标之间的旋转和平移关系，指导无人机降落至目标地。

在一些实施例中，所述处理器1001在基于SLAM对无人机中多融合传感器和双目/深度/单目相机采集的多种待处理信息进行位姿估计时，具体执行以下操作：

采用双目/深度/单目相机和IMU进行联合标定，实现无人机的视觉定位；

基于GPS绝对位置定位传感器采集的GPS信息以及气压计采集的气压信息进行相对位置的估计；

根据所述视觉定位和所述相对位置估计得到的位置姿态、路标点、路标点的重投影误差以及位置姿态误差确定优化后的位置姿态。

在一些实施例中，所述处理器1001还用于执行以下操作：

采用基于DBoW的词袋模型消除SLAM在位姿估计中的累计误差。

在一些实施例中，所述处理器1001在采用基于DBoW的词袋模型消除 SLAM在位姿估计中的累计误差时，具体执行以下操作：

在基于SLAM的位姿估计中，若当前图像的BoW向量与历史环境中的一向量的汉明距离小于预设值，确定当前环境与上述历史环境是一致的；

根据当前时刻和历史时刻的位置变换和旋转变换，确定当前环境和历史环境的相对位置变换和相对旋转变换；

根据所述相对位置变换和相对旋转变换之间的差异，消除SLAM运行过程中的累计误差。

在一些实施例中，所述处理器1001还用于执行以下操作：

采用优化的Fast特征点检测算法对视觉定位中的图像数据进行特征提取。

在一些实施例中，所述处理器1001在采用优化的Fast特征点检测算法对视觉定位中的图像数据进行特征提取时，具体执行以下操作：

对双目/深度/单目相机采集的图像数据进行网格化处理，对各网格内的图像进行特征点检测；

基于网格内特征点周围的灰度变化确定各网格内的最优特征点。

在一些实施例中，所述处理器1001在基于满足动力学约束的A-star算法和基于双目/单目/深度摄像头的障碍物检测算法进行飞控过程中的路径规划时，具体执行以下操作：

无人机每运行一定的距离，根据视觉传感器采集的环境信息构建周围环境的障碍地图；

根据当前地图和自身运动状态采用满足动力学约束的A-star算法规划出一条全局路径；

无人机每运行一定的距离，便通过传感器信息更新周围环境，为下一次的局部路径规划提供最新的环境信息。

在一些实施例中，所述处理器1001在使用基于梯度(Gradient)的轨迹优化算法对轨迹进行优化，生成具有动力学可行性的轨迹(Trajectory)时，具体执行以下操作：

根据SA-star在路径规划的结果确定最优通过障碍物的最优路径，和途径点(waypoint)，使用基于梯度(Gradient)的轨迹优化算法优化所述路径并生成一条能够被无人机执行的多项式轨迹；

对所述多项式轨迹进行给定时间段求导数，得到该时段的一阶导数(速度)，二阶导数(加速度)，将各项数值传入加速度控制器控制无人机沿轨迹飞行；

针对未知环境，无人机每运行一定的距离，根据更新的地图重新进行规划路径，并更新轨迹。

在一些实施例中，所述处理器1001还用于执行以下操作：

给定目标地对应的目标图片，并给定所述目标图片中目标二维码的四个角在目标图片中的第一位置，所述目标图片包含一个目标二维码；

基于双目/深度/单目相机不断接收环境图像，并检测所述环境图像中的二维码；

解析环境图像中二维码的四个角在环境图像中的第二位置；

根据所述第一位置和所述第二位置计算相应的单应性矩阵，所述单应性矩阵对应四组不同的解，每组解包含一个旋转、平移以及所述目标二维码在当前相机坐标系的法线向量。

在本发明实施例中，通过设计一种开源的GAAS系统框架，融合无人机中多种传感器采集的信息实现了集三维空间感知、三维空间避障、飞行航线重构、复杂任务规划、视觉里程计、实时建模、目标跟踪、目标检测、语音控制、自主飞行、自动起飞、自动降落、室内无GPS悬停等功能于一体自主飞行系统。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory， ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (9)

1.一种基于GAAS的自主飞行方法，其特征在于，包括：

基于SLAM对无人机中多融合传感器和双目/深度/单目相机采集的多种待处理信息进行位姿估计，优化无人机飞控过程中的位置姿态，所述多融合传感器至少包括惯性测量单元IMU、GPS绝对位置定位传感器和气压计；

所述基于SLAM对无人机中多融合传感器和双目/深度/单目相机采集的多种待处理信息进行位姿估计，包括：

采用双目/深度/单目相机和IMU进行联合标定，实现无人机的视觉定位，包括：所述相机运动时根据ICP或者PnP得到相对帧间的R和t，其中R和t代表两帧之间的相对位姿关系，根据视差计算图像空间深度，基于IMU采样，预积分得到R和t；

根据所述空间深度、预积分得到的R和t、由所述GPS绝对位置定位传感器确定的相对位置估计和所述气压计确定的相对位置确定所述无人机的位置姿态、路标点、路标点的重投影误差以及位置姿态误差；

通过G20初始化后将问题用图表示，并采用LM算法输出优化后的位置姿态;

结合基于满足动力学约束的A-star算法和基于双目/单目/深度摄像头的障碍物检测算法进行飞控过程中的路径规划；

采用基于梯度的轨迹优化算法对轨迹进行优化，生成具有动力学可行性的轨迹；

基于单应性矩阵恢复无人机降落时视距传感器和降落目标之间的旋转和平移关系，指导无人机降落至目标地。

2.根据权利要求1所述的基于GAAS的自主飞行方法，其特征在于，所述方法还包括：

采用基于DBoW的词袋模型消除SLAM在位姿估计中的累计误差。

3.根据权利要求2所述的基于GAAS的自主飞行方法，其特征在于，所述采用基于DBoW的词袋模型消除SLAM在位姿估计中的累计误差，包括：

在基于SLAM的位姿估计中，若当前图像的BoW向量与历史环境中的一向量的汉明距离小于预设值，确定当前环境与上述历史环境是一致的；

根据当前时刻和历史时刻的位置变换和旋转变换，确定当前环境和历史环境的相对位置变换和相对旋转变换；

根据所述相对位置变换和相对旋转变换之间的差异，消除SLAM运行过程中的累计误差。

4.根据权利要求1所述的基于GAAS的自主飞行方法，其特征在于，所述方法还包括：

采用优化的Fast特征点检测算法对视觉定位中的图像数据进行特征提取。

5.根据权利要求4所述的基于GAAS的自主飞行方法，其特征在于，所述采用优化的Fast特征点检测算法对视觉定位中的图像数据进行特征提取，包括：

对双目/深度/单目相机采集的图像数据进行网格化处理，对各网格内的图像进行特征点检测；

基于网格内特征点周围的灰度变化确定各网格内的最优特征点。

6.根据权利要求1所述的基于GAAS的自主飞行方法，其特征在于，所述结合基于满足动力学约束的A-star算法和基于双目/单目/深度摄像头的障碍物检测算法进行飞控过程中的路径规划，包括：

无人机每运行一定的距离，根据视觉传感器采集的环境信息构建周围环境的障碍地图；

根据当前地图和自身运动状态采用满足动力学约束的A-star算法规划出一条全局路径；

无人机每运行一定的距离，便通过传感器信息更新周围环境，为下一次的局部路径规划提供最新的环境信息。

7.根据权利要求6所述的基于GAAS的自主飞行方法，其特征在于，所述采用基于梯度的轨迹优化算法对轨迹进行优化，生成具有动力学可行性的轨迹，包括：

根据A-star路径规划的对应的路径得到无人机将要经过的途径点，使用基于梯度的轨迹优化算法优化所述路径并生成一条能够被无人机执行的多项式轨迹；

对所述多项式轨迹进行给定时间段求导数，得到该时段的一阶导数，二阶导数，将各项数值传入加速度控制器控制无人机沿轨迹飞行；

针对未知环境，无人机每运行一定的距离，根据更新的地图重新进行规划路径，并更新轨迹。

8.根据权利要求1所述的基于GAAS的自主飞行方法，其特征在于，所述方法还包括：

给定目标地对应的目标图片，并给定所述目标图片中目标二维码的四个角在目标图片中的第一位置，所述目标图片包含一个目标二维码；

基于双目/深度/单目相机不断接收环境图像，并检测所述环境图像中的二维码；

解析环境图像中二维码的四个角在环境图像中的第二位置；

根据所述第一位置和所述第二位置计算相应的单应性矩阵，所述单应性矩阵对应四组不同的解，每组解包含一个旋转、平移以及所述目标二维码在当前相机坐标系的法线向量。

9.一种基于GAAS的自主飞行系统，其特征在于，包括：

位姿估计模块，用于基于SLAM对无人机中多融合传感器和双目/深度/单目相机采集的多种传感器信息进行位姿估计，优化无人机飞控过程中的位置姿态，所述多融合传感器至少包括惯性测量单元IMU、GPS绝对位置定位传感器和气压计；

所述基于SLAM对无人机中多融合传感器和双目/深度/单目相机采集的多种待处理信息进行位姿估计，包括：

采用双目/深度/单目相机和IMU进行联合标定，实现无人机的视觉定位，包括：所述相机运动时根据ICP或者PnP得到相对帧间的R和t，其中R和t代表两帧之间的相对位姿关系，根据视差计算图像空间深度，基于IMU采样，预积分得到R和t；

根据所述空间深度、预积分得到的R和t、由所述GPS绝对位置定位传感器确定的相对位置估计和所述气压计确定的相对位置确定所述无人机的位置姿态、路标点、路标点的重投影误差以及位置姿态误差；

通过G20初始化后将问题用图表示，并采用LM算法输出优化后的位置姿态;

路径规划模块，用于结合基于满足动力学约束的A-star算法和基于双目/单目/深度摄像头的障碍物检测算法进行飞控过程中的路径规划；

轨迹生成模块，用于采用基于梯度的轨迹优化算法对轨迹进行优化，生成具有动力学可行性的轨迹；

降落实现模块，用于基于单应性矩阵恢复无人机降落时视距传感器和降落目标之间的旋转和平移关系，指导无人机降落至目标地。