CN108733064A - 一种无人机的视觉定位避障系统及其方法 - Google Patents

Abstract

本发明涉及无人机技术领域，特别涉及一种无人机的视觉定位避障系统及其方法，该系统包括在无人机上装载有双目视觉系统、传感器模块及飞行控制系统；该方法包括双目视觉系统获取无人机飞行环境的视觉信息，并经处理得到障碍物信息；传感器模块获取无人机的状态信息；飞行控制系统接收障碍物信息和无人机状态信息，建立飞行路径，生成飞行控制指令并向无人机发送；无人机根据飞行控制指令规避障碍物飞行。本发明将视觉信息与传感器模块信息相融合，感知飞行环境信息，进行飞行路径控制和路径规划以对障碍物进行规避，有效地解决了无人机视觉避障的问题，使其具备利用机载摄像机完成视觉避障的能力。

Description

一种无人机的视觉定位避障系统及其方法

技术领域

本发明涉及无人机技术领域，特别涉及一种无人机的视觉定位避障系统及其方法。

背景技术

由于近年来微电子技术和传感器技术的发展，使得完全自主控制的无人飞行器的实现成为可能。目前自主飞行器设计的关键问题集中于信息获取，导航与远程控制系统设计。对于传统的高空飞行无人机，采用GPS与惯性测量单元(IMU)相结合的方法，可以获取相应的位置姿态，高度，航向信息，以实现飞行控制和路径点导航。但是对于主要应用于低空近地环境的微小型无人机，其飞行环境要复杂的多，因此飞行器不仅要估计自身的位姿，还要感知周围的实际环境。为了实现微小型无人机在低空环境的自主飞行，必需选择合适的传感器获取无人机位姿及周围环境信息。目前应用较多的传感器包括超声波传感器，激光雷达以及视觉相机等。由于微小无人机具有较为严格的载重约束和能源约束，使用相机作为传感器通过视觉的方法获取信息具有明显的优点。相机具有成本低，重量较轻，并且被动成像，包含飞行器运动和周围环境的大量信息。由于GPS信号在杂乱的低空环境和室内稳定性较差，因此很多试验系统不使用GPS信号。

视觉方法在微小型无人机系统得到了广发的应用。例如南加州大学基于视觉实现无人机的自动降落，基于视觉的反馈控制，基于光流算法的视觉避障等。视觉算法主要包括基本的特征识别跟踪，光流场计算，以及视觉定位和环境实时绘图等。MITACL在室内未知环境下基于视觉的四旋翼飞行器控制和导航的研究，分析说明了视觉方法在小型无人机自主控制方面的应用。

尽管计算机视觉经过几十年的发展，一些算法已经相当成熟，但是无人机作为一个全新的应用平台，会有较多的实际问题有待解决，比如由于飞行震动引起的图形模糊，因飞行速度较快需要视觉处理算法有较强的实时性等，同时由于无人机载重量和计算能力的约束，导致在现有的条件下尽量多和全面的提取出飞行器自身姿态和周围境信息比较困难。

发明内容

本发明的目的在于，提供一种无人机的视觉定位避障系统及其方法，该检测系统能够在满足无人机对功耗及载重的需求前提下，获得实时的较高精度的飞行环境三维信息从而实现视觉定位和避障。

发明解决其技术问题所采用的技术方案是：一种无人机的视觉定位避障系统，无人机，在无人机上装载有双目视觉系统、传感器模块及飞行控制系统；

所述双目视觉系统由两台机载摄像机、视觉采集处理单元构成，所述两台机载摄像机用于获取无人机的视觉信息，所述视觉采集处理单元处理视觉数据建立三维飞行环境信息，该视觉采集处理单元由完成图像的并行算法的现场可编程门阵列FPGA模块和完成图像的串行算法以及结果发布的嵌入式处理器ARM模块构成；

所述传感器模块包含惯性测量单元IMU、全球定位系统GPS、磁罗盘及气压计；所述飞行控制系统接收来自于双目视觉系统及传感器模块的视觉信息和无人机飞行状态数据，通过融合处理生成飞行控制指令，用于控制无人机飞行；所述无人机根据飞行控制系统的飞行控制指令进行飞行，实现对障碍物规避飞行功能。

作为优选，所述视觉采集处理单元的具体结构为：所述嵌入式处理器ARM模块通过AMBA与外部IO单元进行连接，通过AMBA实现对静态内存单元的控制；现场可编程门阵列FPGA模块包括标准IO接口与外部设备进行连接，对机载摄像机进行同步控制，通过GigE模块实现GigE摄像机的视频采集，通过PCIe接口进行内部数据传输；所述嵌入式处理器ARM模块与现场可编程门阵列FPGA模块通过AXI接口进行信息交互。

作为优选，所述双目视觉系统分别与传感器模块、飞行控制系统之间采用CAN总线的方式进行通信。

作为优选，所述系统还包括遥控器和地面站，所述遥控器、地面站与飞行控制系统及无人机之间以无线链路的方式进行通信。

发明解决其技术问题所采用的技术方案是：一种无人机的视觉定位避障方法，包括以下步骤：

步骤1、双目视觉系统获取无人机飞行环境的视觉信息，并经处理得到障碍物信息；

步骤2、传感器模块获取无人机的状态信息；

步骤3、飞行控制系统接收障碍物信息和无人机状态信息，建立飞行路径，生成飞行控制指令并向无人机发送；

步骤4、无人机根据飞行控制系统的飞行控制指令规避障碍物飞行。

作为优选，所述步骤1双目视觉系统获取无人机飞行环境的视觉信息的具体方法为：现场可编程门阵列FPGA模块通过控制同步触发单元产生同步信号，控制机载摄像机同步采集图像，并将图像传输给嵌入式处理器ARM模块，利用时间戳标识图像，用于后续处理分析。

作为优选，所述步骤3飞行控制系统接收障碍物信息和无人机状态信息，建立飞行路径的方法为：飞行控制系统根据障碍物信息判断无人机的原飞行路径上是否存在障碍物；进而根据障碍物信息和无人机状态信息生成新的飞行路径；根据传感器模块的数据和新的飞行路径生成飞行控制指令。本发明的优点和积极效果是：1、本发明利用所述双目视觉系统实现了无人机对所在飞行环境中存在的障碍物进行有效避障的功能，且本发明可行性好，实时性高且算法复杂度低，同时具有较好的鲁棒性，可以有效防止噪声的影响，进而准确获取障碍物的种类、尺寸、形状及运动状态等信息，实现无人机对障碍物的有效避障功能。

2、本发明将视觉信息与传感器模块信息相融合，感知飞行环境信息，进行飞行路

径控制和路径规划以对障碍物进行规避，有效地解决了无人机视觉避障的问题，使其具备利用机载摄像机完成视觉避障的能力。

3、本发明的视觉采集处理单元采用FPGA与ARM相结合设计方案，具有处理速度快、低功耗、小体积及低重量的特点，因此能够适用于无人机领域。

4、本发明的飞行控制系统、遥控器、地面站及无人机之间采用无线链路的方式进行无线通信，实现了更方便的控制功能。

附图说明

图1是本发明的无人机自主障碍物检测系统的结构示意图；

图2是本发明的基于FPGA及ARM的嵌入式系统架构图；

图3是本发明的双目视觉系统架构图；

图4是本发明的实时双目视觉系统的障碍物检测过程算法流程示意图；

具体实施方式

一种基于双目视觉的无人机自主障碍物检测系统，如图1所示，包括：双目视觉系统101：包括两台机载摄像机1011和视觉采集处理单元1012，所述两台机载摄像机1011获得无人机106的环境视觉信息，并将该数据传送到视觉采集处理单元1012，所述视觉采集处理单元1012对视觉信息进行理解分析，最终获得环境信息，同时判断并给出障碍物信息，所述障碍物信息通过CAN总线107发送给飞行控制系统103。

传感器模块102：包括惯性测量单元IMU1021、全球定位系统GPS1022、磁罗盘1023及气压计1024，用于获取无人机106的飞行高度、飞行航向、飞行速度、飞行姿态等飞行状态信息；传感器模块102所获得的传感器信息通过CAN总线107发送给飞行控制系统103。

飞行控制系统103：飞行控制系统103通过CAN总线107接收来自于双目视觉系统101及传感器模块102的视觉感知信息和无人机飞行状态数据，通过融合后，将结果发送至飞行控制器1032，以根据视觉感知信息得到无人机106所在的飞行环境中的障碍物信息，以及根据障碍物信息和无人机状态信息规划无人机106的飞行路径，并根据飞行路径生成飞行控制指令，用于控制无人机106的障碍物规避飞行。所述飞行控制系统103通过控制无人机106机载舵机组实现对无人机运动的控制功能。所述的障碍物信息包括但不限于：障碍物与所述无人机之间的相对位姿、所述障碍物的种类、尺寸、形状及运动状态等信息。

飞行控制系统103包括数据融合模块1031和飞行控制器1032及数据传输模块未在示例图中标注。所述飞行控制系统103中具有可拓展的模块化数据融合处理功能，即利用无人机机载双目视觉系统101进行视觉感知，同时通过无人机机载传感器模块102中IMU单元1021获取惯导数据，通过三轴磁罗盘单元1022获取航向角信息，通过GPS单元1023获取飞行位置、速度、航向及高度数据，通过气压计单元1024获取无人机高度数据，并在飞行控制系统中利用融合模块1031将各传感器数据与视觉感知相融合处理，以便向无人机发送飞行路径控制和路径规划指令以对障碍物进行规避。

飞行控制系统103还用于根据视觉感知信息判断障碍物是否位于无人机106的原飞行路径上，且在判断障碍物位于无人机106的原飞行路径上时根据障碍物信息和无人机状态信息建立新的飞行路径，并根据新的飞行路径生成飞行控制指令。

遥控器104：通过无线链路108直接控制无人机106运行，或者通过无线链路108经飞行控制系统103对无人机106进行控制。

地面站105：通过无线链路108经飞行控制系统103对无人机106进行控制，并可以接收无人机106的飞行状态信息。

无人机106：通过双目视觉系统101获取无人机的视觉信息，并根据飞行控制系统103的飞行控制指令进行飞行，实现对障碍物的规避。

在本实施例中，飞行控制系统103、遥控器104、地面站105及无人机106之间以无线链路108的方式进行无线通信。具体地，将无人机106的数据通过无线链路传递给地面站进行显示，同时当设定为手动或远程控制时，遥控器104及地面站105通过无线链路108将控制指令发送给飞行控制器103及无人机106。

需要说明的是，无人机不同于其他地面机器人系统，其需要考虑飞行过程中的载重及供电等约束，因此，本发明将视觉信息与传感器模块信息相融合，感知飞行环境信息，进行飞行路径控制和路径规划以对障碍物进行规避。可以解决无人机视觉避障的问题，使其具备利用机载摄像机完成视觉避障的能力，可行性好、载重小，同时功耗较低。

双目视觉系统101内部的视觉采集处理单元1012采用FPGA202与ARM201相结合设计，由完成图像的并行算法的现场可编程门阵列FPGA模块202和完成图像的串行算法以及结果的发布的嵌入式处理器ARM模块201构成。图2给出了FPGA及ARM的嵌入式系统架构图。其中，ARM嵌入式系统通过AMBA2012与外部IO单元205进行连接，包括SPI2051、IIC2052、CAN2053、UART2054、GPIO2055、SDIO2056、USB2057及GigE2058接口，同时可通过AMBA2012实现对静态内存单元203的控制，支持多种接口的能力使本发明的嵌入式系统可以扩展连接多种机载摄像机设备。FPGA202模块内含有标准IO接口2021，与外部设备进行，可以实现本发明机载摄像机1011的同步控制，通过GigE模块2022，也可实现GigE摄像机的视频采集，并通过PCIe接口2025进行内部数据传输。本实施例中，ARM201与FPGA202通过AXI接口2011进行信息交互，通过AXI接口2011，ARM201可将视频流快速的传输给FPGA202模块进行处理。

需要说明的是，在对图像数据的操作中，单位时间内数据量很大，要求数据运算速度快，且为了获得较快的处理速度，需采用并行的方式对双目摄像机获取的图像进行分析理解，因此，本实施例中ARM模块101在采集完视频数据后通过AXI接口2011高速的传递给FPGA模块202，并在FPGA模块中对获得到的两路图像数据进行并行处理，并将处理结果通过AXI接口2025返回给ARM模块进行图像数据的进一步处理。

图3给出了双目视觉系统101的框架图。本发明的ARM模块201通过USB接口采集两路机载摄像机302的图像数据，通过AXI接口2011高速的将视频流传输给FPGA模块202，进行两路视觉信息的并行处理，并将处理结果反馈给ARM模块201，进行后续处理，处理结果通过CAN总线等传输接口发送给飞行控制系统103。需要说明的是，两路机载摄像机302的同步控制信号，由FPGA控制同步触发单元301产生。

一种基于双目视觉的无人机自主障碍物检测方法，包括以下步骤：

步骤1、双目视觉系统获取无人机飞行环境的视觉信息，并经处理得到障碍物信息；

步骤2、传感器模块获取无人机的状态信息；

步骤3、飞行控制系统接收障碍物信息和无人机状态信息，建立飞行路径，生成飞行控制指令并向无人机发送；

步骤4、无人机根据飞行控制系统的飞行控制指令规避障碍物飞行。

在上述步骤中，步骤1双目视觉系统获取无人机飞行环境的视觉信息，并经处理得到障碍物信息是本发明的关键。如图4所示，ARM201模块创建四个线程分别进行图像获取401、图像矫正402、环境信息三维重建405及规避决策407FPGA202模块对立体矫正后的图像进行立体匹配生成差视图。具体包括以下步骤：

步骤⑴，视觉采集处理单元1012获取同步图像。具体方法为：视觉采集处理单元1012中的FPGA202模块通过控制同步触发单元301产生同步信号，控制机载摄像机302同步采集图像，并通过USB接口将图像传输给视觉采集处理单元1012的ARM201模块，同时利用时间戳标识图像，用于后续处理分析。

步骤⑵，视觉采集处理单元1012对两路图像信息进行校正。具体方法为：视觉采集处理单元1012的ARM201模块获取带有时间戳标识的图像后，根据摄像机的标定结果对图像进行失真校正及立体匹配矫正，处理结果通过AXI接口2011传递给FPGA202模块。

步骤⑶，视觉采集处理单元1012处理获取视差图像。具体方法为：视觉采集处理单元1012中的FPGA202模块，利用并行处理技术，分别对矫正后的图像进行半全域演算分析，并生成视差图。

步骤⑷，利用视差图进行环境信息的三维重建。具体方法为：结合图像特征4051与视差图像进行3D特征点重建，根据特征算子关联两路图像，并利用RANSAC方法去除野点，利用计算机视觉模型解算相对位姿并进行在线优化，获得更接近真值的相对位姿结果，从而获得障碍物信息。进一步地，障碍物信息包括但不限于：所述障碍物与所述无人机之间的相对位姿、所述障碍物的种类、尺寸、形状及运动状态等信息。

在上述步骤3、飞行控制系统接收障碍物信息和无人机状态信息，建立飞行路径，生成飞行控制指令并向无人机发送。在本步骤中，飞行控制系统根据障碍物信息和无人机位置信息规划无人机的飞行路径，并根据传感器模块数据和飞行路径生成飞行控制指令。更具体的，飞行控制系统首先根据所述视觉信息判断所述无人机的原飞行路径上是否存在所述障碍物；进而根据所述障碍物信息和所述无人机状态信息生成新的飞行路径；和根据所述传感器模块数据和新的飞行路径生成飞行控制指令。

本实施例中，所述的图像获取401模块，包含从机载摄像机302获取的两路视频信息，同时利用时间戳402对视频信息进行标记。

本实施例中，所述的图像矫正401模块，包含对两路视频信息进行消除畸变、双目校正及图像裁剪，校正后左右视图的边角区域往往是不规则的，且对应的视差无效，这样会对立体匹配求取视差产生影响，所以需要在校正后对图像进行裁剪。一旦双目摄像机的结构确定后，该映射表也就固定了，不需要实时计算。因此在线处理双目图像时只需调用映射函数校正图像，即可进行后续立体匹配，减少后续处理的计算量。

以上述依据发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改，本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (7)

1.一种无人机的视觉定位避障系统，无人机，在无人机上装载有双目视觉系统、传感器模块及飞行控制系统；

所述双目视觉系统由两台机载摄像机、视觉采集处理单元构成，所述两台机载摄像机用于获取无人机的视觉信息，所述视觉采集处理单元处理视觉数据建立三维飞行环境信息，该视觉采集处理单元由完成图像的并行算法的现场可编程门阵列FPGA模块和完成图像的串行算法以及结果发布的嵌入式处理器ARM模块构成；

所述传感器模块包含惯性测量单元IMU、全球定位系统GPS、磁罗盘及气压计；所述飞行控制系统接收来自于双目视觉系统及传感器模块的视觉信息和无人机飞行状态数据，通过融合处理生成飞行控制指令，用于控制无人机飞行；所述无人机根据飞行控制系统的飞行控制指令进行飞行，实现对障碍物规避飞行功能。

2.根据权利要求1所述的无人机的视觉定位避障系统，其特征在于：所述视觉采集处理单元的具体结构为：所述嵌入式处理器ARM模块通过AMBA与外部IO单元进行连接，通过AMBA实现对静态内存单元的控制；现场可编程门阵列FPGA模块包括标准IO接口与外部设备进行连接，对机载摄像机进行同步控制，通过GigE模块实现GigE摄像机的视频采集，通过PCIe接口进行内部数据传输；所述嵌入式处理器ARM模块与现场可编程门阵列FPGA模块通过AXI接口进行信息交互。

3.根据权利要求1所述的无人机的视觉定位避障系统，其特征在于：所述双目视觉系统分别与传感器模块、飞行控制系统之间采用CAN总线的方式进行通信。

4.根据权利要求1或2所述的无人机的视觉定位避障系统，其特征在于：所述系统还包括遥控器和地面站，所述遥控器、地面站与飞行控制系统及无人机之间以无线链路的方式进行通信。

5.一种无人机的视觉定位避障方法，其特征在于：包括以下步骤：

步骤1、双目视觉系统获取无人机飞行环境的视觉信息，并经处理得到障碍物信息；

步骤2、传感器模块获取无人机的状态信息；

步骤3、飞行控制系统接收障碍物信息和无人机状态信息，建立飞行路径，生成飞行控制指令并向无人机发送；

步骤4、无人机根据飞行控制系统的飞行控制指令规避障碍物飞行。

6.根据权利要求5所述的无人机的视觉定位避障方法，其特征在于：所述步骤1双目视觉系统获取无人机飞行环境的视觉信息的具体方法为：现场可编程门阵列FPGA模块通过控制同步触发单元产生同步信号，控制机载摄像机同步采集图像，并将图像传输给嵌入式处理器ARM模块，利用时间戳标识图像，用于后续处理分析。

7.根据权利要求5所述的无人机的视觉定位避障方法，其特征在于：所述步骤3飞行控制系统接收障碍物信息和无人机状态信息，建立飞行路径的方法为：飞行控制系统根据障碍物信息判断无人机的原飞行路径上是否存在障碍物；进而根据障碍物信息和无人机状态信息生成新的飞行路径；根据传感器模块的数据和新的飞行路径生成飞行控制指令。