CN214586562U - 一种基于视觉的四旋翼无人机自主飞行系统 - Google Patents

Abstract

本实用新型属于智能机器人技术领域，公开了一种基于视觉的四旋翼无人机自主飞行系统，包括飞行平台、深度相机、双目相机；飞行平台包括机架、飞行控制器、信号传输设备、机载计算机、动力设备；深度相机、双目相机、飞行控制器、信号传输设备、机载计算机和动力设备均安装在机架上。本实用新型能够实现无人机的自主飞行，提高了定位的鲁棒性。

Description

一种基于视觉的四旋翼无人机自主飞行系统

技术领域

本实用新型属于智能机器人技术领域，更具体地，涉及一种基于视觉的四旋翼无人机自主飞行系统。

背景技术

无人机是一种无需飞行员控制、可复用的有动力航空器。无人机相较于地面机器人，拥有更加灵活的运动性和更加广阔的探测范围，在线路巡检、测绘以及三维重建等领域被广泛应用。四旋翼无人机是一类由电驱动,能垂直起降的无人机。这种飞行器具有构造简易、稳定性好、负载能力强等优势。近年来，随着信息技术的飞跃发展,无人机系统正在向感知外界环境以实现适应环境并自我控制的自主飞行无人机方向发展。在自主飞行的无人机领域，对无人机下达起飞命令后，在不对其进行进一步操控的情况下，机载传感器可以帮助无人机精确地定位周边障碍，感知周围景物分布状况，以达到无人机自主控制的目的。

四旋翼无人机在复杂环境中的自主飞行问题主要有两个难点，一方面环境中存在不利于飞行控制的外部干扰，另一方面无人机缺少对环境的先验信息，需要在运行过程中建立环境地图以满足位姿估计和运动规划需要。为此，研究人员在机器人科学中针对未知环境的运动问题提出了即时定位与建图(Simultaneous Localization And Mapping,SLAM)概念。传统的无人机自主飞行方法都是在获取充足的传感器信息的基础上建立起精确的SLAM数学模型，从而实现无人机的自主飞行。但是在一些新的应用领域中对于无人机的性能要求更加苛刻。在应急救援、反恐等领域，往往对无人机的体积与载重有着严苛的要求，无人机传感器的选取受到了很大的限制。在救灾时往往需要无人机进入受损的建筑或矿洞探测内部情况。由于建筑废墟和矿洞内部空间狭小，要求无人机的体积不能太大，同时无人机的载重和电力负载也因此受限，这就限制了激光雷达等先进传感器在小轴距四旋翼无人机上的使用。此外，由于树木遮挡，难以获取GNSS信号以满足定位之需，IMU、气压计和磁力计作为飞控系统基本的传感器，具有体积小、低功耗的特点，且为被动传感器，其使用基本不会受到环境的制约。

由于图像具有丰富的色彩和几何信息，同时图像采集设备具有重量轻、负载低的优势，加之现代电子工艺对图像传感器的小型化集成，使得机载深度相机和双目相机成为自主无人机系统的首选图像传感设备。图像传感器对环境的几何感知最重要的一环在于获取物体的深度信息，单目相机需要通过运动，从具有一定重叠度的相邻两张影像中获取深度信息，其中涉及到复杂的计算过程，对获取的环境图像实时处理依赖机载计算设备的性能。双目相机减轻了这个计算过程的消耗。深度相机能直接获取物体的深度信息，相较于激光雷达等深度传感器，深度相机体积小、重量轻、电力负载小，适用于小轴距四旋翼无人机，但深度相机感知深度的距离有限。

实用新型内容

针对背景技术中存在的问题，本实用新型提供一种基于视觉的四旋翼无人机自主飞行系统。

本实用新型提供一种基于视觉的四旋翼无人机自主飞行系统，包括：飞行平台、深度相机、双目相机；

所述飞行平台包括机架、飞行控制器、信号传输设备、机载计算机、动力设备；

所述深度相机、所述双目相机、所述飞行控制器、所述信号传输设备、所述机载计算机和所述动力设备均安装在所述机架上。

优选的，所述基于视觉的四旋翼无人机自主飞行系统还包括：地面站计算机；所述地面站计算机与所述机载计算机通信。

优选的，所述基于视觉的四旋翼无人机自主飞行系统还包括：传感设备；所述传感设备包括惯性测量单元、气压计、磁力计。

优选的，所述机架采用3K碳纤维材料制作而成，无人机外接工件与所述机架为一体结构，所述无人机外接工件包括桨叶保护器、起降脚架；所述机架的纵向结构分为三层，第一层安装有所述动力设备和所述双目相机，第二层安装有所述飞行控制器和所述信号传输设备，第三层安装有所述机载计算机和所述深度相机。

优选的，所述动力设备包括电机、螺旋桨、电子调速器；所述电机采用22毫米1600KV无刷电机，所述螺旋桨采用6英寸三叶螺旋桨，所述电子调试器采用一体式四合一电子调速器。

优选的，所述飞行平台的轴距为290mm。

优选的，所述基于视觉的四旋翼无人机自主飞行系统还包括：供电设备；所述供电设备包括电源、电流计、双路UBEC；所述电源采用6S 3300mAh Li-PO电池，所述电流计采用PM02 V3；所述双路UBEC为所述机载计算机、所述深度相机和所述双目相机供电。

优选的，所述信号传输设备包括：遥测回传模块、遥控信号接收器；所述遥测回传模块使用915MHz频段，所述遥控信号接收器使用2.4GHz的频段；所述机载计算机的WIFI模块使用2.4GHz的频段。

优选的，所述机架在所述飞行控制器、所述信号传输设备、所述机载计算机、动力设备的安装位置处设置有散热风道。

优选的，所述深度相机采用Intel RealSense D435i，所述双目相机采用IntelRealSense T265，所述机载微型计算机采用NVIDIA JETSON TX2，所述飞行控制器采用Durandal H7。

本实用新型中提供的一个或多个技术方案，至少具有如下技术效果或优点：

在实用新型中，相较于传统的“光流计+超声”的定位设置，本实用新型采用“深度相机+双目相机”的环境感知策略，能够减小无人机在低空飞行时灰尘对定位效果的影响，同时多传感器赋予系统更高的外部可靠性，可抵抗粗差对定位精度的影响，且在一个传感器出现问题时，可以及时发现并调整该传感器数据的权重，有效提升定位系统的鲁棒性，实现四旋翼无人机的自主飞行。

附图说明

图1为本实用新型实施例提供的一种基于视觉的四旋翼无人机自主飞行系统的框架示意图；

图2为本实用新型实施例提供的一种基于视觉的四旋翼无人机自主飞行系统中飞行平台的主要板层结构示意图。

具体实施方式

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

本实施例提供了一种基于视觉的四旋翼无人机自主飞行系统，主要包括：飞行平台、深度相机、双目相机；所述飞行平台包括机架、飞行控制器、信号传输设备、机载计算机、动力设备；所述深度相机、所述双目相机、所述飞行控制器、所述信号传输设备、所述机载计算机和所述动力设备均安装在所述机架上。

具体的，所述机架采用3K碳纤维材料制作而成，无人机外接工件与所述机架为一体结构，所述无人机外接工件包括桨叶保护器、起降脚架；所述机架的纵向结构分为三层，第一层安装有所述动力设备和所述双目相机，第二层安装有所述飞行控制器和所述信号传输设备，第三层安装有所述机载计算机和所述深度相机。所述飞行平台的轴距为290mm。

所述动力设备包括电机、螺旋桨、电子调速器；所述电机采用22毫米1600KV无刷电机，所述螺旋桨采用6英寸三叶螺旋桨，所述电子调试器采用一体式四合一电子调速器。

所述信号传输设备包括：遥测回传模块、遥控信号接收器；所述遥测回传模块使用915MHz频段，所述遥控信号接收器使用2.4GHz的频段；所述机载计算机的WIFI模块使用2.4GHz的频段。

此外，本实用新型提供的一种基于视觉的四旋翼无人机自主飞行系统还可包括：地面站计算机、传感设备、供电设备。所述地面站计算机与所述机载计算机通信。所述传感设备包括惯性测量单元、气压计、磁力计。所述供电设备包括电源、电流计、双路UBEC。具体的，所述电源采用6S 3300mAh Li-PO电池，所述电流计采用PM02 V3；所述双路UBEC为所述机载计算机、所述深度相机和所述双目相机供电

所述机架在所述飞行控制器、所述信号传输设备、所述机载计算机、动力设备的安装位置处设置有散热风道。

具体应用中，所述深度相机采用Intel RealSense D435i，所述双目相机采用Intel RealSense T265，所述机载微型计算机采用NVIDIA JETSON TX2，所述飞行控制器采用Durandal H7。

下面以最优实施方式为例，对本实用新型作进一步的说明。

本实用新型提供的一种基于视觉的四旋翼无人机自主飞行系统的框架如图1所示，具体包括以下几个部分：

一、飞行平台。

飞行平台是承载各硬件模块并执行飞行的无人机本体，主要包括机架、飞行控制器、机载计算机、信号传输设备、动力设备。具体设计如下：

1)在横向布设中，以3K碳纤维材料替代传统的聚合物塑料材料制作无人机框架，将必要的外接工件(如：桨叶保护器、起降脚架等)与横向结构一体化设计，有效提高了飞行平台的空间利用率和稳定性。在纵向布设中，以质量轻强度高的铜制单通柱与铝制中空螺纹柱为主要连接构件，将各层横向结构紧密地进行连接。

具体的，机架采用3K碳纤维材一体化设计，参见图2，常见的外接工件与机身融为一体，机臂龙骨一体化板厚度为3mm，桨叶保护器分两层厚度为2mm，起降脚架呈弧形，平均厚度为15mm。机架纵向结构分为三层，层间以质量轻、强度高的铜制单通柱和铝制中空螺纹柱紧密连接，一二层间距为30mm，二三层间距为25mm。自下往上，第一层安装电机、电子调速器、螺旋桨等动力装置以及斜下视的Intel RealSense T265双目相机，下视角度为45°，双层桨叶保护器下层与第一层处于同一平面；第二层仅在机臂龙骨一体化板上扩展，安装Pixhawk飞行控制器和遥测回传模块，飞行控制器与遥测回传模块通过UART接口连接，双层桨叶保护器上层与飞行控制器保持在一个平面；第三层与第二层类似，仅在机臂龙骨一体化板上扩展，主要安装NVIDIA JETSON TX2机载计算机和前视的Intel RealSense D435i深度相机，深度相机与双目相机通过USB接口与机载计算机连接。

2)弦长与载重配比方面，相较于常见的450mm及以上轴距的无人机飞行平台，本实用新型将轴距缩小到290mm，同时仍然保持载重性能。在布置所有必要设备后，本实用新型提供的飞行平台自重约1.6kg，仍可额外载重约0.5kg。

3)动力布置方面，本实用新型采用22毫米1600KV无刷电机和6英寸三叶螺旋桨的组合，降低噪声，提高桨叶效率；电子调速器选用一体式四合一电子调速器，缩小设备布置所需空间。

4)系统供电上，采用6S 3300mAh Li-PO电池作为电源，6S电池提供的高电压有效地增加了电机的拉力，而3300mah的电池容量则很好地平衡了电池的自重和容量；系统通过PM02V3分电电流计与双路UBEC进行分隔供电，PM02V3为飞行控制器与飞行控制器外接的模块(如遥测信号回传模块)提供所需的5V电压，UBEC则采用线性稳压的方式给机载计算机及视觉传感器(T265相机、D435i相机)进行供电，这样有效避免了用电器功耗变化对飞行控制器或机载计算机的影响。

5)考虑到存在的主要通信设备有遥控信号接收器、遥测回传模块和机载计算机的WIFI模块三类，本实用新型对于无线通信链路的设计，遥控信号接收器采用2.4GHz的S.BUS协议，有效减少对WIFI模块所使用的信道的影响；遥测回传模块使用915MHz频段，避免与其他无线设备的之间可能产生的相互干扰；WIFI模块与遥控信号接收器一样采用2.4GHz的频段，主要利用其较为出色的穿透性和数据载荷性。

6)考虑到各电子设备之间的电磁干扰与散热问题，为信号传输设备、电子调速器、飞行控制器和机载计算机的安装位置都预留了散热风道。

7)在飞行控制上，本实用新型选用Durandal H7飞行控制器，并在其中刷写开源社区中提供的PX4无人飞行器固件的多旋翼版本。

二、感知定位子系统。

由深度相机加双目相机为主要传感器构建四旋翼无人机的感知定位系统，实现无人机对环境的感知、定位定点等功能；此外，所涉及的传感设备还包括惯性测量单元(Inertial Measurement Unit,IMU)、气压计和磁力计等，用以辅助视觉系统定位和定高。

采用深度相机加双目相机实现对外界环境的感知和无人机自身的定位等功能。深度相机所用型号为Intel RealSense D435i，该相机可以30fps的帧率获取环境彩色图像和深度图像，获取数据供无人机自主飞行决策所用；双目相机选用Intel RealSense T265双目鱼眼相机，该相机可提供两幅相近的超广角图像和IMU获取的位姿数据，与飞控内置部分传感器共同组成视觉惯性里程计(Visual Inertial Odometry,VIO)，在没有GNSS信号的环境中，实现相对精确的定位和导航。

感知定位子系统实现无人机对外界环境的感知和对自身的定位等功能。感知方面，使用深度相机获取彩色图像和深度图像，并对获取图像进行一系列的处理，实现对外界环境的感知；定位方面，使用双目相机结合飞控内置部分传感器，共同组成视觉惯性里程计，从而在没有GNSS信号的室内等环境中，实现相对精确的定位和导航。

三、决策子系统。

决策子系统硬件部分由NVIDIA JETSON TX2机载计算机组成；软件部分集成了Teach-Repeat-Replan算法，可对相机获取的环境图像及IMU数据进行处理，从而指导无人机自主规划路径和执行飞行。

选用NVIDIA JETSON TX2机载计算机作为决策系统核心，TX2具有质量小、性能高、功耗小的特点，其算力满足实时建图、路径规划等要求。在机载计算机中部署Teach-Repeat-Replan算法，这是一个完整的、鲁棒的自主四旋翼高机动飞行运动规划系统，可以将任意快速飞行轨迹转换为拓扑等效轨迹，代替了命令无人机精确跟踪教学轨迹。生成的轨迹保证是平滑的、安全的和动力学可行的，具有人类特有的高机动性。同时，为了避免飞行过程中出现未建图或动态障碍物，在系统中引入了滑动窗口局部感知和重规划方法，以生成安全的在线局部轨迹。通过在机载计算机中部署的Teach-Repeat-Replan系统，地面人员可以导航操作虚拟控制无人机，然后系统自动生成非常有效的重复轨迹并自动执行。在飞行过程中，通过机载感应/重新规划避免了意外碰撞。需要说明的是，本实用新型不涉及算法的改进。

本实用新型实施例提供的一种基于视觉的四旋翼无人机自主飞行系统至少包括如下技术效果：

(1)相较于传统的“光流计+超声”的定位方法，本实用新型采用以双目相机和深度相机为主的多传感器的定位方法，减小了无人机在低空飞行时灰尘对定位效果的影响，同时多传感器赋予系统更高的外部可靠性，可抵抗粗差对定位精度的影响，且在一个传感器出现问题时，可以及时发现并调整该传感器数据的权重，有效提升了定位系统的鲁棒性。

(2)合理选配硬件模块，通过紧凑的飞行平台架构设计，将各硬件模块集成到轴距仅290mm的飞行平台上，实现了自主无人飞行平台的小型化、轻量化，突出小型四旋翼无人机的灵活性，同时保证了一定的载重能力。

最后所应说明的是，以上具体实施方式仅用以说明本实用新型的技术方案而非限制，尽管参照实例对本实用新型进行了详细说明，本领域的普通技术人员应当理解，可以对本实用新型的技术方案进行修改或者等同替换，而不脱离本实用新型技术方案的精神和范围，其均应涵盖在本实用新型的权利要求范围当中。

Claims (10)

1.一种基于视觉的四旋翼无人机自主飞行系统，其特征在于，包括：飞行平台、深度相机、双目相机；

所述飞行平台包括机架、飞行控制器、信号传输设备、机载计算机、动力设备；

所述深度相机、所述双目相机、所述飞行控制器、所述信号传输设备、所述机载计算机和所述动力设备均安装在所述机架上。

2.根据权利要求1所述的基于视觉的四旋翼无人机自主飞行系统，其特征在于，还包括：地面站计算机；所述地面站计算机与所述机载计算机通信。

3.根据权利要求1所述的基于视觉的四旋翼无人机自主飞行系统，其特征在于，还包括：传感设备；所述传感设备包括惯性测量单元、气压计、磁力计。

4.根据权利要求1所述的基于视觉的四旋翼无人机自主飞行系统，其特征在于，所述机架采用3K碳纤维材料制作而成，无人机外接工件与所述机架为一体结构，所述无人机外接工件包括桨叶保护器、起降脚架；所述机架的纵向结构分为三层，第一层安装有所述动力设备和所述双目相机，第二层安装有所述飞行控制器和所述信号传输设备，第三层安装有所述机载计算机和所述深度相机。

5.根据权利要求1所述的基于视觉的四旋翼无人机自主飞行系统，其特征在于，所述动力设备包括电机、螺旋桨、电子调速器；所述电机采用22毫米1600KV无刷电机，所述螺旋桨采用6英寸三叶螺旋桨，所述电子调速器采用一体式四合一电子调速器。

6.根据权利要求1所述的基于视觉的四旋翼无人机自主飞行系统，其特征在于，所述飞行平台的轴距为290mm。

7.根据权利要求1所述的基于视觉的四旋翼无人机自主飞行系统，其特征在于，还包括：供电设备；所述供电设备包括电源、电流计、双路UBEC；所述电源采用6S 3300mAh Li-PO电池，所述电流计采用PM02 V3；所述双路UBEC为所述机载计算机、所述深度相机和所述双目相机供电。

8.根据权利要求1所述的基于视觉的四旋翼无人机自主飞行系统，其特征在于，所述信号传输设备包括：遥测回传模块、遥控信号接收器；所述遥测回传模块使用915MHz频段，所述遥控信号接收器使用2.4GHz的频段；所述机载计算机的WIFI模块使用2.4GHz的频段。

9.根据权利要求1所述的基于视觉的四旋翼无人机自主飞行系统，其特征在于，所述机架在所述飞行控制器、所述信号传输设备、所述机载计算机、动力设备的安装位置处设置有散热风道。

10.根据权利要求1所述的基于视觉的四旋翼无人机自主飞行系统，其特征在于，所述深度相机采用Intel RealSense D435i，所述双目相机采用Intel RealSense T265，所述机载计算机采用NVIDIA JETSON TX2，所述飞行控制器采用Durandal H7。

Images