CN107450577A - 基于多传感器的无人机智能感知系统和方法 - Google Patents

Abstract

本发明涉及传感器、无人机智能感知控制技术，为实现无人机对周围环境的智能感知。还可通过该系统对其它自主定位算法及目标识别算法进行验证，提高智能感知技术的研究效率。本发明，基于多传感器的无人机智能感知系统和方法，包括激光雷达、RGB‑D视觉传感器、IMU惯性测量单元、嵌入式机载处理器和飞行控制器，激光雷达用于测量周围环境的距离信息；RGB‑D视觉传感器采集周围环境的距离信息和图像信息，激光雷达采集的为2D点云数据，而RGB‑D视觉传感器采集的为3D点云数据，IMU惯性测量单元是测量自身三轴姿态角及加速度的设备，嵌入式机载处理器包括自主定位和目标识别两个独立模块。本发明主要应用于无人机控制场合。

Description

基于多传感器的无人机智能感知系统和方法

技术领域

本发明涉及计算机视觉领域、传感器领域、嵌入式系统领域、无人机领域，尤其涉及一种基于多传感器的无人机智能感知系统。具体讲,涉及基于多传感器的无人机智能感知系统。

背景技术

无人机是一种远程操控或者通过程序控制的无人驾驶飞机。近年来，由于在军用和民用领域有着十分广阔的应用前景，四旋翼无人机引起了人们的广泛关注；四旋翼无人机具有体积小、重量轻、机动性强、结构简单、安全性好等优点，这使得无人机在地形测绘，航拍，目标跟踪与监视及灾难救援等实际任务中起到重要作用。因此，随着无人机相关技术的发展和应用场景的复杂化，在四旋翼无人机上搭载多种传感器设备，对周围环境进行感知显得尤为关键。

无人机智能感知技术主要解决在未知环境中无人机的自主定位和目标识别两大问题。自主定位是无人机在未知环境中执行复杂任务的基础与关键。传统的无人机定位方法是采用GPS、北斗等全球卫星导航定位系统，定位精度较低，误差较大，而且在复杂环境中通常存在着噪声干扰、信号遮挡等问题，GPS信号不稳定。为解决无GPS环境下的无人机精准定位问题，常采用基于激光雷达，双目摄像头或RGB-D摄像头等传感器设备进行无人机自主定位，或者通过OptiTrack等运动捕捉系统进行定位。目标识别是实现无人机智能感知的另一重要技术。主要基于视觉传感器采集环境图像信息，通过对图像信息的处理，提取图像特征进行目标识别。

针对无人机智能感知问题，目前美国宾夕法尼亚大学的GRASP实验室、麻省理工学院、瑞士苏黎世联邦理工大学、德国慕尼黑工业大学等国家的科研团队都在进行深入研究；近年来，国内的清华大学，北京航空航天大学，天津大学等高校也开展了相关研究。由此可见智能感知是国际无人机领域研究的前沿热点问题。因此，设计一套易扩展、稳定性强、能够实现自主定位和目标识别的无人机智能感知系统具有极高的实际价值和应用意义。

发明内容

为克服现有技术的不足，本发明旨在提出一种基于多传感器的无人机智能感知系统，并在此基础上提出了一种基于SLAM的无人机自主定位方法和一种基于RGB-D传感器的目标识别方法，通过设计无人机的自主定位模块及目标识别模块并运行相应算法，实现无人机对周围环境的智能感知。还可通过该系统对其它自主定位算法及目标识别算法进行验证，有利于算法的修正与改进，提高了智能感知技术的研究效率，具有极大的应用价值。本发明采用的技术方案是，基于多传感器的无人机智能感知系统，包括激光雷达、RGB-D视觉传感器、IMU惯性测量单元、嵌入式机载处理器和飞行控制器，激光雷达用于测量周围环境的距离信息；RGB-D视觉传感器采集周围环境的距离信息和图像信息，激光雷达采集的为2D点云数据，而RGB-D视觉传感器采集的为3D点云数据，IMU惯性测量单元是测量自身三轴姿态角及加速度的设备，飞行控制器主要用于控制无人机的飞行，嵌入式机载处理器包括自主定位和目标识别两个独立模块，分别通过处理点云数据，获得无人机自身位姿并进行目标识别。

自主定位模块采用基于SLAM的无人机自主定位，由以下三个步骤完成：第一步先通过处理激光雷达的点云数据获取周围环境的初始地图；第二步通过高斯牛顿法进行扫描匹配估计无人机在水平面内的位置；第三步通过融合IMU的姿态数据和无人机的高度数据获取无人机在三维空间内的位置姿态。

基于多传感器的无人机智能感知方法，利用激光雷达、RGB-D视觉传感器和嵌入式机载处理器实现，利用激光雷达测量周围环境的距离信息；利用RGB-D视觉传感器采集周围环境的距离信息和图像信息，激光雷达采集的为2D点云数据，而RGB-D视觉传感器采集的为3D点云数据，利用嵌入式机载处理器运行自主定位和目标识别两个独立模块，分别通过处理点云数据，获得无人机自身位姿并进行目标识别。

目标识别模块基于RGB-D传感器进行目标识别的具体步骤是，首先对RGB-D传感器获取的点云数据进行预处理，然后通过支持向量机进行离线建模，建立模型数据库，最后进行在线目标识别，具体地：

第一步：本发明采用双线性插值法得到占据栅格地图概率值V(P_m)建立初始环境地图，P_m为地图坐标(x,y)，双线性插值法的公式如下：

其中(x_i,y_i)，i＝0为,(x,1y)附近的四个整数坐标点；

第二步：在获取初始环境地图之后，通过高斯牛顿法将激光光束端点和已有地图进行扫描匹配，为使激光束扫描得到的端点与已知地图相匹配，首先定义并求解刚体变换n_x,n_y为即世界坐标系坐标，即为朝向角，通过该变换使得达到最小，即求

其中，W_i(α)是关于激光光束端点即障碍物e_i＝(e_i,x,e_i,y)^T在世界坐标系中的坐标，即且

函数V(W_i(α))表示由W_i(α)给出的坐标所在栅格占用概率值；

利用高斯牛顿法对(1)式进行求解，先给定机器人初始位置α，通过加入Δα进行优化，使得残差趋近于0，进行整理最后得到Gauss-Newton方程(2)如下，

其中H为黑塞矩阵，

在初始位置上叠加增量Δα，即令α⁽²⁾＝α⁽¹⁾+Δα，不断重复k次上述过程进行迭代求解直至收敛，最终即可求得移动机器人在世界坐标系中的位置为α^k+1＝α^k+Δα；

第三步：最后通过EKF扩展卡尔曼滤波融合飞控中的惯性测量单元采集的高度数据实现三维空间内的无人机自主定位。

目标识别模块采用基于RGB-D传感器的目标识别方法，步骤如下：

第一步：目标识别模块首先对Realsense传感器采集的点云数据进行预处理，分别提取出位置、颜色、深度、法线、曲率特征；

第二步：离线建模模块通过支持向量机对目标点云进行训练，完成离线建模，建立模型数据库；

第三步：在线识别模块，首先利用支持向量机对目标检测模块输出及跟踪目标模型进行分类预测，引入自适应粒子滤波，通过对粒子滤波点云模板进行在线更新，克服目标漂移问题，最终实现在线目标识别。

本发明的特点及有益效果是：

(1)本发明提出的基于多传感器的无人机智能感知系统稳定可靠，能提高无人机的智能自主性。其中的自主定位模块和目标识别模块各自独立运行，互不干扰，着确保了整个系统可以高效稳定的运行。

(2)本发明中的自主定位模块所采用的激光SLAM方法实时性高，计算量较小，运算快。传统的激光SLAM算法采用就近点迭代算法(ICP)进行扫描匹配，ICP算法不稳定且计算量大，可能会无法获得正确解。而本发明采用高斯牛顿法进行扫描匹配，有效的改善了上述问题，使得本发明的自主定位模块能够达到较高实时性的要求，并具有通用性。

(3)本发明中的目标识别模块，本发明提出并采用的方法有效的解决了目标漂移和目标存在部分遮挡情况下的匹配识别问题，能够提高目标识别的精度，可有效的解决无人机的目标识别问题，具有较大的实用价值。

(4)本发明可扩展性强，除了激光雷达和视觉传感器设备外，还可根据开发者需要自行增添传感器设备，可以进行二次开发。

(5)本发明中自主定位模块和目标识别模块的软件算法部分可根据使用者的需要进行更换，有利于智能感知技术研究者对算法进行验证改进。

附图说明：

附图1基于多传感器的无人机智能感知系统总体结构图。

附图2自主定位模块结构框图。

附图3目标识别模块结构框图。

附图4自主定位效果图。

附图5目标识别效果图。

具体实施方式

本发明提出的基于多传感器的无人机智能感知系统，主要包括激光雷达、RGB-D视觉传感器、IMU惯性测量单元、嵌入式机载处理器和飞行控制器。激光雷达主要用于测量周围环境的距离信息，测量精度高，覆盖范围大，抗干扰性较强；RGB-D视觉传感器可以采集周围环境的距离信息和图像信息。激光雷达采集的为2D点云数据，而RGB-D视觉传感器采集的为3D点云数据，点云数据包含目标物体更丰富的特征信息，可提高目标识别系统的鲁棒性。IMU惯性测量单元是测量自身三轴姿态角及加速度的设备，本发明直接采用飞行控制器中的IMU传感器。飞行控制器主要用于稳定无人机的飞行姿态并控制无人机飞行。嵌入式机载处理器包括自主定位和目标识别两个独立模块，分别通过处理点云数据，获得无人机自身位姿并进行目标识别。

对于自主定位模块，本发明采用SLAM(同步定位与建图)技术来进行无人机的位姿估计，提出了一种基于SLAM的无人机自主定位方法。SLAM是指无人机在移动过程中利用传感器感知周围环境信息构建精确环境地图，再基此进行准确的位姿估计，达到自主定位和构建环境地图的效果。目前实现SLAM的方式主要分为基于激光雷达传感器和视觉传感器两类。本发明设计的无人机智能感知系统由于同时兼具激光雷达和RGB-D视觉传感器，因此两种方法均可采用。考虑到激光SLAM方法定位精度较高而且受光照影响较小，因此本发明智能感知系统中的自主定位模块主要基于激光SLAM方法实现。本发明提出了一种基于SLAM的无人机自主定位方法，该方法主要由以下三个步骤完成：第一步先通过处理激光雷达的点云数据获取周围环境的初始地图；第二步通过高斯牛顿法进行扫描匹配估计无人机在水平面内的位置；第三步通过融合IMU的姿态数据和无人机的高度数据获取无人机在三维空间内的位置姿态。

对于目标识别模块，常用的目标识别算法分为判别式方法和产生式方法，判别式方法对于漂移问题抑制效果较好，但无法对整个场景进行描述。产生式方法可以处理复杂背景下的状态估计，但模板在线更新存在困难。本发明提出的智能感知系统通过结合上述两种方法进行目标识别，提出了一种基于RGB-D传感器的目标识别方法。首先对RGB-D传感器获取的点云数据进行预处理，然后通过支持向量机进行离线建模，建立模型数据库，最后进行在线目标识别。

下面结合实施例和附图对本发明的基于多传感器的无人机智能感知系统给出详细说明。

基于多传感器的无人机智能感知系统总体结构图如附图1所示。针对无人机的智能感知问题，本发明设计了一种基于多传感器的无人机智能感知系统。首先对该系统的硬件组成进行详细介绍，该系统的硬件组成包括四旋翼无人机、激光雷达、RGB-D摄像头、嵌入式机载处理器和Pixhawk飞行控制器。考虑到该系统的可靠性和实用性，其中激光雷达采用SLAMTEC公司开发生产的新一代低成本二维激光雷达RPLIDAR A2，该雷达具有高达每秒4000次的高速激光测距采样能力，配备了SLAMTEC公司独有的光磁融合专利技术，克服了传统激光雷达的寿命限制，可长时间稳定可靠的运行。RPLIDAR A2能够实现二维平面6米半径范围内360度全方位的激光测距扫描，并产生所在空间的平面点云地图信息。这些点云地图信息可以用于地图测绘、机器人定位导航、物体建模等实际应用中。RPLIDAR A2的旋转频率为10hz，该款激光雷达在无日光直接照射的室外环境下和各种室内环境下表现出色。RPLIDAR采用激光三角测距技术，每次测距过程中发射经过调制的红外激光信号，在照射到目标物体后产生的反光被雷达的采集系统接收，经过内部的处理器实时解算，计算出被照射到的目标物体与激光雷达的距离值以及当前的夹角信息。在电机的驱动下RPLIDAR的测距模块进行旋转，实现对周围环境的360度扫描测距。然后激光雷达将采集到的点云数据通过USB接口发送给嵌入式机载控制器进行处理。

对于RGB-D视觉传感器，本发明采用英特尔Realsense实感摄像头，之所以选择这款传感器是因为它性价比高，具有全高清颜色和IR深度感知特性，支持各种应用。除了标准的全高清图像，此摄像头还允许从不同的角度和位置对颜色和深度进行操纵，开发者还可以通过将虚拟信息叠加到实时的图像数据上，创建各种不同的现实和虚拟现实环境。本发明主要用Realsense来采集周围环境的点云数据，它具有2个红外传感器、1个红外激光发射器和1个RGB标准摄像头，还集成有一个图像处理器，能够实现0.7-3.5米距离的深度信息。采用USB3.0接口，具有640*480的分辨率。

对于嵌入式机载处理器，考虑到需要处理多种传感器的数据，必须选择性能优异的嵌入式开发平台，本发明采用NVIDIA Jetson TX1作为机载处理器。Jetson TX1是全球首款模块化超级计算机，它以革命性的NVIDIA Maxwell架构为基础构建，含有256个CUDA核心，能够提高每秒超过一万亿次浮点运算的性能。具有64位CPU、4K视频编解码功能，还有1400兆/秒的相机接口。这些使它成为适合嵌入式计算机视觉、深度学习和GPU计算的优良系统平台。

对于机载控制器，本发明采用Pixhawk作为四旋翼无人机的机载飞行控制器，这是一款开源飞控，提供相应软件接口，研究者可根据自身需要进行开发，方便快捷，极大缩短了研发周期。

接下来对系统的软件组成和算法进行介绍。机载处理器内嵌Linux操作系统，负责接收传感器采集到的数据，通过设计自主定位模块和目标识别模块进行数据处理实现相应的功能，然后再将无人机自身的位置数据和对目标识别结果发送给飞行控制器。其中自主定位模块和目标识别模块基于ROS机器人操作系统进行开发，并采用C++语言编写。

自主定位模块的结构框图如附图2所示。该模块实时运行本发明提出的基于SLAM的无人机自主定位方法。该方法主要分为二维位置估计和三维位置估计两个部分，步骤如下：

第一步：本发明采用双线性插值法得到占据栅格地图概率值V(P_m)建立初始环境地图，P_m为地图坐标(x,y)，双线性插值法的公式如下：

其中(x_i,y_i)，i＝0为,(x,1y)附近的四个整数坐标点。

第二步：在获取初始环境地图之后，通过高斯牛顿法将激光光束端点和已有地图进行扫描匹配。为使激光束扫描得到的端点与已知地图相匹配，首先定义并求解刚体变换n_x,n_y为即世界坐标系坐标，即为朝向角。通过该变换使得达到最小，即求

其中，W_i(α)是关于激光光束端点(即障碍物)e_i＝(e_i,x,e_i,y)^T在世界坐标系中的坐标，即且

函数V(W_i(α))表示由W_i(α)给出的坐标所在栅格占用概率值。

利用高斯牛顿法对(1)式进行求解，先给定机器人初始位置α，通过加入Δα进行优化，使得残差趋近于0，进行整理最后得到Gauss-Newton方程(2)如下，

其中H为黑塞矩阵，

在初始位置上叠加增量Δα，即令α⁽²⁾＝α⁽¹⁾+Δα，不断重复k次上述过程进行迭代求解直至收敛，最终即可求得移动机器人在世界坐标系中的位置为α^k+1＝α^k+Δα。

第三步：最后通过EKF扩展卡尔曼滤波融合飞控中的惯性测量单元采集的高度数据实现三维空间内的无人机自主定位。

目标识别模块结构框图如附图3所示。本发明提出的智能感知系统中的目标识别模块主要含有3个部分，包括目标检测模块、离线建模模块和在线识别模块。该模块实时运行本发明提出的一种基于RGB-D传感器的目标识别方法，步骤如下：

第一步：目标识别模块首先对Realsense传感器采集的点云数据进行预处理，分别提取出位置、颜色、深度、法线、曲率等特征。

第二步：离线建模模块通过支持向量机对目标点云进行训练，完成离线建模，建立模型数据库。

第三步：在线识别模块，首先利用支持向量机对目标检测模块输出及跟踪目标模型进行分类预测，引入自适应粒子滤波，通过对粒子滤波点云模板进行在线更新，克服目标漂移问题，最终实现在线目标识别。

自主定位效果图如附图4所示。图中为利用本发明提出的自主定位方法进行的仿真效果图，由图可见四旋翼无人机在飞行过程中利用激光雷达获取周围环境的距离信息，通过对点云数据进行处理得到周围环境地图和无人机在水平面内的位置，通过融合高度信息获得无人机在三维空间内的位置，环境地图中颜色不同则表示无人机所处的高度不同。附图4表明通过本发明自主定位模块所采用的方法可有效的实现无人机的自主定位，该方法稳定可靠。

目标识别效果图如附图5所示。利用本发明提出的目标识别方法进行实验，结果表明通过对水壶和椅子进行特征提取，利用支持向量机进行分类预测，图5中前两个图得到了正确的预测结果，可以看出对漂移问题有良好的抑制效果，图5中最后一个图中两个水壶发生了重叠，通过自适应例子滤波解决了目标部分遮挡的问题，最终实现目标识别。

Claims (5)

1.一种基于多传感器的无人机智能感知系统，其特征是，包括激光雷达、RGB-D视觉传感器、IMU惯性测量单元、嵌入式机载处理器和飞行控制器，激光雷达用于测量周围环境的距离信息；RGB-D视觉传感器采集周围环境的距离信息和图像信息，激光雷达采集的为2D点云数据，而RGB-D视觉传感器采集的为3D点云数据，IMU惯性测量单元是测量自身三轴姿态角及加速度的设备，飞行控制器主要用于控制无人机的飞行，嵌入式机载处理器包括自主定位和目标识别两个独立模块，分别通过处理点云数据，获得无人机自身位姿并进行目标识别。

2.如权利要求1所述的基于多传感器的无人机智能感知系统，其特征是，自主定位模块采用基于SLAM的无人机自主定位，由以下三个步骤完成：第一步先通过处理激光雷达的点云数据获取周围环境的初始地图；第二步通过高斯牛顿法进行扫描匹配估计无人机在水平面内的位置；第三步通过融合IMU的姿态数据和无人机的高度数据获取无人机在三维空间内的位置姿态。

3.一种基于多传感器的无人机智能感知方法，其特征是，利用激光雷达、RGB-D视觉传感器和嵌入式机载处理器实现，利用激光雷达测量周围环境的距离信息；利用RGB-D视觉传感器采集周围环境的距离信息和图像信息，激光雷达采集的为2D点云数据，而RGB-D视觉传感器采集的为3D点云数据，利用嵌入式机载处理器运行自主定位和目标识别两个独立模块，分别通过处理点云数据，获得无人机自身位姿并进行目标识别。

4.如权利要求3所述的基于多传感器的无人机智能感知方法，其特征是，目标识别模块基于RGB-D传感器进行目标识别的具体步骤是，首先对RGB-D传感器获取的点云数据进行预处理，然后通过支持向量机进行离线建模，建立模型数据库，最后进行在线目标识别，具体地：

第一步：本发明采用双线性插值法得到占据栅格地图概率值V(P_m)建立初始环境地图，P_m为地图坐标(x,y)，双线性插值法的公式如下：

其中(x_i,y_i)，i＝0,为(x,y)附近的四个整数坐标点；

第二步：在获取初始环境地图之后，通过高斯牛顿法将激光光束端点和已有地图进行扫描匹配，为使激光束扫描得到的端点与已知地图相匹配，首先定义并求解刚体变换n_x,n_y为即世界坐标系坐标，即为朝向角，通过该变换使得达到最小，即求

<mrow> <msup> <mi>&amp;alpha;</mi> <mo>*</mo> </msup> <mo>=</mo> <munder> <mrow> <mi>arg</mi> <mi>min</mi> </mrow> <mi>&amp;alpha;</mi> </munder> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <msup> <mrow> <mo>&amp;lsqb;</mo> <mn>1</mn> <mo>-</mo> <mi>V</mi> <mrow> <mo>(</mo> <msub> <mi>W</mi> <mi>i</mi> </msub> <mo>(</mo> <mi>&amp;alpha;</mi> <mo>)</mo> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> </mrow> <mn>2</mn> </msup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>

其中，W_i(α)是关于激光光束端点即障碍物e_i＝(e_i,x,e_i,y)^T在世界坐标系中的坐标，即且

函数V(W_i(α))表示由W_i(α)给出的坐标所在栅格占用概率值；

利用高斯牛顿法对(1)式进行求解，先给定机器人初始位置α，通过加入Δα进行优化，使得残差趋近于0，进行整理最后得到Gauss-Newton方程(2)如下，

<mrow> <mi>&amp;Delta;</mi> <mi>&amp;alpha;</mi> <mo>=</mo> <msup> <mi>H</mi> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <msup> <mrow> <mo>&amp;lsqb;</mo> <mo>&amp;dtri;</mo> <mi>V</mi> <mrow> <mo>(</mo> <msub> <mi>W</mi> <mi>i</mi> </msub> <mo>(</mo> <mi>&amp;alpha;</mi> <mo>)</mo> <mo>)</mo> </mrow> <mfrac> <mrow> <mo>&amp;part;</mo> <msub> <mi>W</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>&amp;alpha;</mi> <mo>)</mo> </mrow> </mrow> <mrow> <mo>&amp;part;</mo> <mi>&amp;alpha;</mi> </mrow> </mfrac> <mo>&amp;rsqb;</mo> </mrow> <mi>T</mi> </msup> <mo>&amp;lsqb;</mo> <mn>1</mn> <mo>-</mo> <mi>V</mi> <mrow> <mo>(</mo> <msub> <mi>W</mi> <mi>i</mi> </msub> <mo>(</mo> <mi>&amp;alpha;</mi> <mo>)</mo> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>,</mo> </mrow>

其中H为黑塞矩阵，

在初始位置上叠加增量Δα，即令α⁽²⁾＝α⁽¹⁾+Δα，不断重复k次上述过程进行迭代求解直至收敛，最终即可求得移动机器人在世界坐标系中的位置为α^k+1＝α^k+Δα；

第三步：最后通过EKF扩展卡尔曼滤波融合飞控中的惯性测量单元采集的高度数据实现三维空间内的无人机自主定位。

5.如权利要求3所述的基于多传感器的无人机智能感知方法，其特征是，目标识别模块采用基于RGB-D传感器的目标识别方法，步骤如下：

第一步：目标识别模块首先对Realsense传感器采集的点云数据进行预处理，分别提取出位置、颜色、深度、法线、曲率特征；

第二步：离线建模模块通过支持向量机对目标点云进行训练，完成离线建模，建立模型数据库；

第三步：在线识别模块，首先利用支持向量机对目标检测模块输出及跟踪目标模型进行分类预测，引入自适应粒子滤波，通过对粒子滤波点云模板进行在线更新，克服目标漂移问题，最终实现在线目标识别。