CN210258861U

CN210258861U - 一种基于arm与fpga的航拍无人机

Info

Publication number: CN210258861U
Application number: CN201920877969.5U
Authority: CN
Inventors: 徐海荣
Original assignee: Shanghai University of Engineering Science
Current assignee: Shanghai University of Engineering Science
Priority date: 2019-06-12
Filing date: 2019-06-12
Publication date: 2020-04-07
Anticipated expiration: 2029-06-12

Abstract

本实用新型涉及一种基于ARM与FPGA的航拍无人机，包括图像传感器子系统、FPGA图像处理加速子系统、ARM图像应用子系统、电源管理系统、ARM飞控子系统、电机控制子系统、GPS通信子系统和WIFI子系统，图像传感器子系统与FPGA图像处理加速子系统连接，FPGA图像处理加速子系统与ARM图像应用子系统连接，ARM图像应用子系统与ARM飞控子系统连接，电机控制子系统的一端连接ARM飞控子系统，另一端连接云台、舵机，WIFI子系统与ARM图像应用子系统连接，GPS通信子系统连接ARM飞控子系统，电源管理系统与分别连接FPGA图像处理加速子系统、ARM图像应用子系统和ARM飞控子系统。与现有技术相比，本实用新型具有节省资源，操作方便，可自动巡航等优点。

Description

一种基于ARM与FPGA的航拍无人机

技术领域

本实用新型涉及一种航拍无人机，尤其是涉及一种基于ARM与FPGA的航拍无人机。

背景技术

随着越来越多的航拍无人机被用于电影的拍摄、节目的录制及重要场合的视频录制等，且普通人对航拍无人机的消费也在不断增加。利用无人机拍出高质量的视频不仅需要优良的飞行技巧，丰富的摄影知识，优异的机载相机性能，同时还需要良好的大气状况。

使用无人机进行航拍时总是希望拍摄到的视频清晰、质量高。但是由于国内污染的加剧，国内大部分区域常出现雾霾天气、大气质量不高，雾霾天成为常态。为了获取清晰的航拍图像，航拍人员往往通过PC端软件进行后期的图像除雾处理，这样往往失去了时效性，航拍人员不能实时的查看到清晰的航拍图像。

现有的航拍无人机只能设置曝光模式、曝光补偿、ISO、白平衡、对焦等参数，不能实时的对航拍视频进行除雾、亮化增强、去噪声等处理。对视频进行除雾等算法运算需要消耗大量的计算资源，一般的航拍无人机对外设的兼容性较差，且CPU无法负担繁重的计算任务，且在无人机的控制上仍然不够智能，操作不便，稳定性差。

实用新型内容

本实用新型的目的就是为了克服上述现有技术存在的缺陷而提供一种基于ARM与FPGA的航拍无人机。

本实用新型的目的可以通过以下技术方案来实现：

一种基于ARM与FPGA的航拍无人机，包括设置在六旋翼无人机上的图像传感器子系统、FPGA图像处理加速子系统、ARM图像应用子系统、电源管理系统、ARM飞控子系统、电机控制子系统、GPS通信子系统和WIFI通信子系统，所述的图像传感器子系统与FPGA图像处理加速子系统连接，所述的FPGA图像处理加速子系统与ARM图像应用子系统连接，所述的ARM图像应用子系统与ARM飞控子系统连接，所述的电机控制子系统的一端连接ARM飞控子系统，另一端连接云台、舵机，所述的WIFI通信子系统与ARM图像应用子系统连接，所述的GPS通信子系统连接ARM飞控子系统，所述的电源管理系统与分别连接FPGA图像处理加速子系统、ARM图像应用子系统和ARM飞控子系统。

优选地，所述的ARM图像应用子系统采用四核心ARM CPU，四核心ARM CPU连接2GBDDR3动态存储器，并通过PCIE高速接口与FPGA图像处理加速子系统连接，四核心ARM CPU通过WIFI通信子系统与地面站连接。

优选地，所述的FPGA图像处理加速子系统采用Kintex-7XC7K410T，Kintex-7XC7K410T通过片外Nor Flash对FPGA进行配置，Kintex-7XC7K410T外接2GB DDR3存储器。

优选地，所述的Kintex-7XC7K410T上设有DDR Controller模块、HDMI RX IP模块、UART IP模块、PCIe IP模块和图像除雾算法块，所述的图像除雾算法块设有多类图像处理加速算法IP。

优选地，所述的ARM飞控子系统包括ATSAME70Q21处理器、STM32F303微控制器、主控CPU和惯性测量单元，所述的ATSAME70Q21处理器通过SPI接口连接ARM图像应用子系统，所述的ATSAME70Q21处理器通过SPI接口与STM32F303微控制器进行数据通信，所述的STM32F303微控制器与电机控制子系统连接，所述的主控CPU通过I2C总线连接惯性测量单元。

优选地，所述的惯性测量单元包括三轴陀螺仪、三轴加速度计、三轴地磁传感器、气压计和电子罗盘。

优选地，所述的电机控制子系统包括云台控制器和舵机控制器，所述的STM32F303通过三颗MP6536芯片分别控制云台控制器和舵机控制器。

优选地，所述的WIFI通信子系统采用AR1021X WIFI通信模块。

优选地，所述的电源管理系统包括作为整机电源的11.4伏锂电池、用以为各个子系统进行供电的LM26480电源管理芯片以及用以对锂电池实现充电的BQ25700升压充电芯片，所述的电源管理系统由CPU芯片STM32F30控制。

优选地，所述的图像传感器子系统包括PLK310K云台相机和3D传感器，PLK310K云台相机、3D传感器分别连接Kintex-7XC7K410T，PLK310K云台相机通过HDMI接口传输图像数据，并通过UART接口连接PLK301K云台，3D传感器采用DCAM100模组，通过USB接口与FPGA图像处理加速子系统连接。

与现有技术相比，本实用新型具有以下优点：

一、本实用新型采用异构多核心计算平台，通过异构核心的结构设计可提供强大的计算能力，硬件采用了模块化设计方法，对外提供标准的图像、传感器、控制信号等标准接口，可以兼容不同的外设如图像传感器、3D传感器等；

二、本实用新型采用多种架构、多种处理器分别实现ARM飞控子系统、ARM图像应用子系统、FPGA图像处理加速子系统以及电源管理系统，其中，FPGA图像处理加速子系统采用Kintex-7XC7K410T来完成图像处理的加速任务，PLK310K云台相机模块通过HDMI2.0接口传送实时图像数据至FPGA芯片中，FPGA芯片完成图像的采集、缓存、以及图像分辨率的调整、图像算法的加速等工作，本实用新型的结构设计将实时视频处理等繁重任务独立于CPU之外，可负担繁重的计算任务，节省资源；

三、本实用新型提供了一种基于ARM+FPGA的航拍无人机，在ARM芯片上运行图像应用系统并通过FPGA实现图像处理，从而实现视频的实时除雾功能，同时可以利用FPGA的可重配置的特点，在FPGA上实现航拍图像实时去噪声、目标识别及跟踪等功能，有助于无人机在雾霾以及大气通透性不好的环境下进行航拍，提供清晰稳定的实时航拍图像；

四、本实用新型无人机设有WIFI通信子系统，WIFI通信子系统连接ARM飞控子系统，用户可以通过地面站发送飞行控制指令到无人机，通过ARM飞控子系统控制无人机的飞行，操作方便、智能；

五、本实用新型的无人机设有GPS通信子系统，GPS通信子系统与ARM飞控子系统连接，GPS通信子系统可提供高精度的GPS定位功能，无人机可以通过GPS获取无人机所在的位置、任务的位置和距离等信息，ARM飞控子系统可设定无人机的目标及出发位置，并根据GPS数据实现自动巡航；

六、本实用新型的无人机为六旋翼无人机，通过多旋翼结构提高了飞行器的负载能力和稳定性，相对于传统的四旋翼结构有着更好的稳定性，进而提升了航拍中姿态的稳定性。

附图说明

图1为本实用新型基于ARM与FPGA的航拍无人机的结构框图；

图2为本实用新型中FPGA图像处理加速子系统的结构框图；

图3为本实用新型中ARM图像应用子系统的主要结构框图；

图4为本实用新型中ARM飞控子系统的结构框图。

具体实施方式

下面结合附图和具体实施例对本实用新型进行详细说明。显然，所描述的实施例是本实用新型的一部分实施例，而不是全部实施例。基于本实用新型中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本实用新型保护的范围。

如图1所示，本实用新型涉及一种基于ARM与FPGA的航拍无人机，包括设置在六旋翼无人机上的图像传感器子系统、FPGA图像处理加速子系统、ARM图像应用子系统、电源管理系统、ARM飞控子系统、电机控制子系统、GPS通信子系统和WIFI通信子系统。

图像传感器子系统与FPGA图像处理加速子系统连接，FPGA图像处理加速子系统与ARM图像应用子系统连接，ARM图像应用子系统与ARM飞控子系统连接；电机控制子系统的一端连接ARM飞控子系统，另一端连接云台、舵机。WIFI通信子系统与ARM图像应用子系统连接；GPS通信子系统连接ARM飞控子系统；电源管理系统与分别连接FPGA图像处理加速子系统、ARM图像应用子系统和ARM飞控子系统。

ARM飞控子系统硬件主要由两个处理器组成：一个处理器型号为ATSAME70Q21，该芯片为单核心ARM芯片，最大主频为300MHZ，芯片内程序存储空间2MB，处理通过SPI接口与STM32F303进行数据通信，STM32F303通过PWM信号来控制三颗MP6536芯片驱动电机控制子系统，电机控制子系统包括云台控制器和舵机控制器，用来驱动云台和舵机的运动。另一个处理器为主控CPU，其通过I2C总线连接惯性测量单元，惯性测量单元包括三轴陀螺仪、三轴加速度计、三轴地磁传感器、气压计和电子罗盘组成。三轴陀螺仪、三轴加速度计、三轴地磁传感器采用芯片MPU9150，气压计采用MS5611，两种芯片通过I2C和CPU进行通信。

ARM图像应用子系统运行OPENCV跨平台计算机视觉库以及机器学习框架Tensorflow，用来实现各类图像处理应用以及目标识别等功能，并通过FPGA图像处理加速子系统实现各类图像应用的加速，从而达到实时性。由于ARM图像应用子系统需要运行大型的图像处理程序，所以需要一个强劲的CPU来运行各类复杂的图像应用程序，ARM图像应用子系统采用四核心ARM CPU，系统程序存储在EMMC上，2GB DDR3动态存储器作为程序运行存储器以及图像的缓冲存储器。ARM图像应用子系统提供SATA接口以扩充大容量图像永久存储外设，系统通过PCIE高速接口和FPGA图像处理加速子系统通信，PCIE提供了高速通信通道，可以承载各种分辨率各种码流的实时图像数据，IMX6Q通过AR1021X WIFI通信子系统和地面站进行图像的实时传输，IMX6Q通过可编程电源管理芯片MMPF0100对ARM图像应用子系统进行精细化的电源管理。IMX6Q上运行Linux操作系统，为大型的图像库系统OpenCV以及机器学习框架Tensorflow等程序提供平台，Linux系统之上运行图像处理应用程序，以及图像传输应用程序，图像处理应用程序，用于实现各种图像处理如：图像除雾、图像锐化、图像去噪声、目标识别与分类、目标跟踪等。图像传输应用程序控制图像向地面站的传输。视频中实时性要求高、运算量大的图像处理算法交由FPGA图像处理加速子系统来完成。

图像传感器子系统包括PLK310K云台相机和3D传感器。PLK310K云台相机通过HDMI接口传输图像数据，并通过UART接口实现云台控制。3D传感器采用DCAM100模组，通过USB接口和FPGA图像处理加速子系统通信，通过深度视觉算法进行物体的识别与3D扫描从而实现飞行中的避障功能。

传统的CPU无论是ARM架构还是X86架构都不适合进行大量的图像运算，FPGA图像处理加速子系统采用Kintex-7XC7K410T来完成图像处理的加速任务，XC7K410T通过片外Nor Flash对FPGA进行配置。外接2GB DDR3存储器，存储大量的图像数据以及计算中间过程中产生的数据。系统通过PCIE高速接口向IMX6Q传输大量的数据。PLK310K云台相机模块通过HDMI2.0接口传送实时图像数据至FPGA芯片中，FPGA芯片完成图像的采集、缓存、以及图像分辨率的调整、图像算法的加速等工作。FPGA内配置有DDR Controller、HDMI RX IP、UART IP、PCIe IP等IP模块。占用FPGA最多资源的是图像除雾算法块，该模块设有各类图像处理加速算法IP，采用动态可重配置的技术加载不同的图像处理算法到FPGA划定的可配置区域。FPGA内配置有MicroBlaze嵌入式软核，用于FPGA内部简单的逻辑控制。

电源管理系统采用11.4伏的锂电池作为电源，采用BQ25700升压充电芯片，配合4颗MOS管，实现通过5V的充电器对电池进行充电。电源管理系统通过单独一颗32位的CPU芯片STM32F303来对整个无人机系统的电源进行管理，通过STM32F303来控制两颗LM26480电源管理芯片为各子系统供电。STM32F303芯片上运行前后台程序，每个子系统的主控芯片通过GPIO维持心跳节奏，如果没有接收到心跳信号，则对对应的主控芯片进行复位。STM32F303每隔10秒钟通过SPI接口获取每个单元的运行状态，在电源管理系统CPU内部维持每个单元的运行状态机，每个子系统的状态进入idle时，电源管理CPU负责关闭部分外设电源以节省功耗，当子系统进入工作状态时，电源管理系统负责为外设打开电源。电源管理CPU上同时运行电池电量的监控程序，以保证系统化有充足的电源返航，同时电源管理系统需要管理充电和放电的过程，进行充放电过程的电量计算。

GPS通信子系统采用SKG12D提供高精度的GPS定位功能，无人机可以通过GPS数据计算出无人机所在的位置、任务的位置和距离等信息，可由ARM飞控子系统的飞控程序设定无人机的目标及出发位置，然后根据GPS数据实现自动巡航。ARM飞控子系统的软件采用PX4开源飞控软件，运行在高效的实时操作系统Nuttx之上，Nuttx提供了可移植的操作系统接口从而方便了飞控软件的集成。飞控软件每隔极短的时间间隔获取飞行器的飞行、悬停以及姿态变化的数据，通过运算和判断下达控制指令，由舵机控制器完成飞行姿态调整。

WIFI通信子系统连接ARM飞控子系统，用户可以通过地面站发送飞行控制指令到无人机，通过ARM飞控子系统控制无人机的飞行。WIFI通信子系统优先采用AR1021X WIFI通信模块。

以上所述，仅为本实用新型的具体实施方式，但本实用新型的保护范围并不局限于此，任何熟悉本技术领域的工作人员在本实用新型揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本实用新型的保护范围之内。因此，本实用新型的保护范围应以权利要求的保护范围为准。

Claims

1.一种基于ARM与FPGA的航拍无人机，其特征在于，包括设置在六旋翼无人机上的图像传感器子系统、FPGA图像处理加速子系统、ARM图像应用子系统、电源管理系统、ARM飞控子系统、电机控制子系统、GPS通信子系统和WIFI通信子系统，所述的图像传感器子系统与FPGA图像处理加速子系统连接，所述的FPGA图像处理加速子系统与ARM图像应用子系统连接，所述的ARM图像应用子系统与ARM飞控子系统连接，所述的电机控制子系统的一端连接ARM飞控子系统，另一端连接云台、舵机，所述的WIFI通信子系统与ARM图像应用子系统连接，所述的GPS通信子系统连接ARM飞控子系统，所述的电源管理系统与分别连接FPGA图像处理加速子系统、ARM图像应用子系统和ARM飞控子系统。

2.根据权利要求1所述的一种基于ARM与FPGA的航拍无人机，其特征在于，所述的ARM图像应用子系统采用四核心ARM CPU，四核心ARM CPU连接2GB DDR3动态存储器，并通过PCIE高速接口与FPGA图像处理加速子系统连接，四核心ARM CPU通过WIFI通信子系统与地面站连接。

3.根据权利要求2所述的一种基于ARM与FPGA的航拍无人机，其特征在于，所述的FPGA图像处理加速子系统采用Kintex-7 XC7K410T，Kintex-7 XC7K410T通过片外Nor Flash对FPGA进行配置，Kintex-7 XC7K410T外接2GB DDR3存储器。

4.根据权利要求3所述的一种基于ARM与FPGA的航拍无人机，其特征在于，所述的Kintex-7 XC7K410T上设有DDR Controller模块、HDMI RX IP模块、UART IP模块、PCIe IP模块和图像除雾算法块，所述的图像除雾算法块设有多类图像处理加速算法IP。

5.根据权利要求1所述的一种基于ARM与FPGA的航拍无人机，其特征在于，所述的ARM飞控子系统包括ATSAME70Q21处理器、STM32F303微控制器、主控CPU和惯性测量单元，所述的ATSAME70Q21处理器通过SPI接口连接ARM图像应用子系统，所述的ATSAME70Q21处理器通过SPI接口与STM32F303微控制器进行数据通信，所述的STM32F303微控制器与电机控制子系统连接，所述的主控CPU通过I2C总线连接惯性测量单元。

6.根据权利要求5所述的一种基于ARM与FPGA的航拍无人机，其特征在于，所述的惯性测量单元包括三轴陀螺仪、三轴加速度计、三轴地磁传感器、气压计和电子罗盘。

7.根据权利要求5所述的一种基于ARM与FPGA的航拍无人机，其特征在于，所述的电机控制子系统包括云台控制器和舵机控制器，所述的STM32F303通过三颗MP6536芯片分别控制云台控制器和舵机控制器。

8.根据权利要求2所述的一种基于ARM与FPGA的航拍无人机，其特征在于，所述的WIFI通信子系统采用AR1021X WIFI通信模块。

9.根据权利要求1所述的一种基于ARM与FPGA的航拍无人机，其特征在于，所述的电源管理系统包括作为整机电源的11.4伏锂电池、用以为各个子系统进行供电的LM26480电源管理芯片以及用以对锂电池实现充电的BQ25700升压充电芯片，所述的电源管理系统由CPU芯片STM32F30控制。

10.根据权利要求3所述的一种基于ARM与FPGA的航拍无人机，其特征在于，所述的图像传感器子系统包括PLK310K云台相机和3D传感器，PLK310K云台相机、3D传感器分别连接Kintex-7 XC7K410T，PLK310K云台相机通过HDMI接口传输图像数据，并通过UART接口连接PLK301K云台，3D传感器采用DCAM100模组，通过USB接口与FPGA图像处理加速子系统连接。