CN109911188A

CN109911188A - 非卫星导航定位环境的桥梁检测无人机系统

Info

Publication number: CN109911188A
Application number: CN201910206658.0A
Authority: CN
Inventors: 阳媛; 张晶晶; 戴鹏; 李艺璇; 樊佛莉; 鲍小雨
Original assignee: Southeast University
Current assignee: Southeast University
Priority date: 2019-03-18
Filing date: 2019-03-18
Publication date: 2019-06-21
Anticipated expiration: 2039-03-18
Also published as: CN109911188B

Abstract

本发明公开了一种非卫星导航定位环境的桥梁检测无人机系统，包括无人机飞行平台、机载组合定位模块、机载监测模块和地面站控制系统。所述无人机飞行平台包括无人机本体、电源、动力模块、飞行控制器和机载无线通信终端，所述机载组合定位模块包括微惯性测量单元、超宽带导航定位模块、光流量测模块和气压计，所述机载监测模块包括机载环境监测传感器、视觉传感器和雷达传感器，所述地面站控制系统包括地面无线基础设施、地面站规划控制软件和地面站数据处理软件。本发明采用了基于UWB、MIMU、OF、RAR的组合导航定位方式，提高了无人机在全球卫星导航定位环境下的可定位性和导航定位精度，并且通过光流模块进行桥梁复杂环境近距离障碍物观测。

Description

非卫星导航定位环境的桥梁检测无人机系统

技术领域

本发明涉及桥梁检测、无人机导航定位技术领域，特别涉及一种非卫星导航定位环境的桥梁检测无人机系统。

背景技术

近年来，我国交通建设发展迅速，大规模桥梁相继完工。全球大跨度桥梁，我国占比已超过50％。桥梁的健康检测关系着交通运输的安全和人民的生命财产安全。当前常用的检测手段为人工目测或使用桥梁检测车，均有一定局限性：人工目测会存在检测盲区和监测效率低等问题，而使用桥梁检测车费用高、机动性差、影响桥梁使用。

目前，无人机技术不断发展，检测应用前景良好。针对传统桥梁检测手段的局限性，国内已提出多种用于桥梁检测的无人机。针对桥梁的钢索、桥墩、桥墩支座、桥塔、桥腹等部位部件损伤及结构变化的检测，无人机具备诸多的优势，如低成本、机动性、便携性、实时性等。现有的用于桥梁检测的无人机平台也不可避免地有一些局限，关键问题是解决无人机在桥梁复杂环境下的高精度定位和自主避障。无人机主要依靠GNSS技术获取全域绝对位置信息。在桥梁环境的卫星信号较少情况下，低成本GNSS定位收敛时间长，在无人机高速运动时导航定位信息滞后情况非常明显；尤其在桥梁的非空旷环境下，卫星信号会受到桥梁结构或障碍物的严重遮挡，致使定位精度下降甚至不能定位。避障技术是增加无人机安全飞行的保障，在桥梁环境下尤为需要；消费级无人机和航测无人机以正射影像拍摄为主，基本只基于 GNSS控制航迹，不能满足无人机桥梁复杂环境下的极高避障要求。

发明内容

针对现有的无人机平台在桥梁监测环境存在导航定位和自主避障的局限性，本发明提供一种桥梁检测无人机系统，设计桥下非GNSS环境的局域组合导航定位和避障方案。

为了实现上述目的，本发明所采用的技术方案为：

一种非卫星导航定位环境的桥梁检测无人机系统，包括无人机飞行平台、机载组合定位模块、机载监测模块和地面站控制系统，所述无人机飞行平台包括无人机本体、电源、动力模块、飞行控制器和机载无线通信终端，所述机载监测模块得到的信息通过机载无线通信终端实时传输至地面站控制系统；其特征在于：所述机载组合定位模块包括超宽带导航定位模块、微惯性导航系统、气压高度计和光流避障模块，所述机载监测模块包括机载环境监测传感器、视觉监测传感器和雷达建模传感器，所述飞行控制器分别与机载组合定位模块、机载监测模块和机载无线通信终端连接；所述机载无线通信终端包括机载数据传输模块、机载图像传输模块、遥控器接收器及UWB标签；所述微惯性导航系统用于获得无人机的角度和角速度；所述光流避障模块用于感知无人机与桥底面的相对运动速度、运动方向和距离；所述超宽带导航定位模块用于桥梁非GNSS空间的三维实时快速位置坐标解算；所述气压高度计用于高程位置的平滑滤波估计；

所述飞行控制器，基于组合位姿信息实现无人机三级闭环控制，第一级为姿态控制，第二级为位置控制，第三级为机载传感器监测任务控制；所述姿态控制通过所连接的微惯性导航系统，基于姿态扩展卡尔曼滤波获得无人机的角度、角速度；所述位置控制通过所连接的超宽带导航定位模块、微惯性导航系统、气压计和光流避障模块组合，基于组合位置互补滤波估计无人机的位置和速度；所述传感器监测任务控制，基于地面站控制系统传输的计划任务、实时规划任务和设备遥控管理指令，实现包括机载环境监测传感器、视觉监测传感器和雷达建模传感器的计划与在线监测任务控制功能。

所述地面站控制系统包括地面无线基础设施和地面站规划控制模块；所述地面无线基础设施包括对应机载无线通信终端的地面数据传输模块、地面图像传输模块、遥控发射器和UWB 基站；所述地面站规划控制模块，通过连接对应的机载无线通信终端以及地面无线基础设施，集中采集机载传感器数据，以及基于控制律解算地面站任务的控制要求，形成控制指令和参数，将控制指令和控制参数传输到无人机飞行控制器，从而执行动作、标定航迹及向操作员提供规划辅助；所述地面站任务包括飞行模式、航线规划、感知控制。

所述光流避障模块安装在无人机顶部，进行无人机顶部到桥梁底部的短距离测距和特征获取；利用图像序列中像素的时域变化以及相邻帧的差分，来测量其在桥梁底部成像平面上像素小运动的瞬时差异，从而估计平面方向的位移变化量、变化率和方向，实现无人机在桥梁下方的悬停自稳、定向飞行及定速飞行。

所述环境监测传感器包括空速计、温湿计和气体传感器，所述视觉监测传感器包括高清摄像机或红外摄像机，所述雷达建模传感器包括合成孔径雷达、高光谱成像仪和微波雷达。

所述UWB基站共有四个，分别采用碳纤杆固定在桥两侧，使得UWB基站信号和桥下机载接收机是直射视距路径或绕射路径。

本发明的有益效果有：提供一种桥梁检测系统，由无人机飞行平台、机载组合定位模块、机载监测模块、地面站控制系统组成，针对现有的无人机桥梁检测系统中存在的非GNSS环境定位和避障问题，提出了由超宽带、微惯性组合定位和光流避障的方法，有效解决传统桥梁检测手段具有的受限性，如减少桥梁检测中的盲区和对交通的影响。

附图说明

图1是本发明系统原理图；

图2是本发明系统组成框图；

图3是桥梁监测无人机三级控制算法流程图；

图4是第二级互补滤波采集与参数模型；

图5是桥梁监测无人机模型图。

具体实施方式

下面结合附图，对本发明作详细说明：

如图1所示，本发明一种非全球卫星导航定位(GNSS)环境的桥梁检测无人机系统，包括：无人机飞行平台、机载组合定位模块、机载监测模块、地面站控制系统；

所述无人机飞行平台包括无人机本体、电源、动力模块、飞行控制器、机载无线通信终端；

所述机载组合定位模块包括超宽带(UWB)导航定位模块、微惯性元件(MIMU)、气压高度计(BAR)、光流(OF)避障模块；

所述机载监测模块包括机载环境监测传感器、视觉监测传感器和雷达建模传感器；

所述地面站控制系统包括地面无线基础设施和地面站规划控制模块；

所述飞行控制器由ARM处理器组成，内置SD卡，可存储信息，分别与机载组合定位模块、机载监测模块和机载无线通信终端连接。

UWB组合定位方法

所述机载组合导航定位模块，采用基于UWB定位模块、微惯性元件(MIMU)和气压高度计(BAR)的组合技术，UWB标签和UWB基站(已知坐标)保持高频脉冲通信链路和量测飞行时间(TOF，Time of Flight)数据；九轴MIMU测量加速度、角速度和方向角信息；BAR获取气压高度信息；从而，进一步实现无人机在桥梁非GNSS环境下自主导航定位。

1)利用MIMU数据解算无人机在三维(3D)空间的相对位置(x、y、z绝对坐标)和运动信息(速度、加速度、角速度)推算位移和转向角；

2)利用UWB估计轨迹，利用位移和转向角修正UWB轨迹，利用UWB数据修正IMU误差；

3)利用MIMU实时估计姿态(滚转、俯仰、偏航角度)，进行INS导航误差，利用UWB 数据修正INS误差。

相比于独立改进UWB、MIMU、激光的软/硬件技术，融合GNSS/MIMU/激光组合导航定位算法能更好互补误差。由于松耦合在实际工程应用中的简单可行，且具有很强的适用性，本发明采用GNSS/MIMU松耦合方式，用扩展卡尔曼滤波对参数进行估计，在保证高效率的同时实现对非线性非正态分布系统的最优估计。由于小型无人机的高机动性和不稳定性，对融合定位轨迹进一步进行贝叶斯非线性平滑算法，从而提高对非线性/非高斯序贯轨迹点的拟合和平滑。

所述的UWB基站共有四个或以上，全部用碳纤杆固定在桥两侧，使得信号和机载接收机是直射视距路径或绕射路径。为了在三维空间中获取无人机的位置信息，需要事先预置四个以上UWB基站，UWB基站需放置尽量避免共面，并保证无人机在四个定位基站的范围内飞行。

由于在桥梁检测中，桥梁结构等障碍会带来多径(Multipath)、非视距(Non-Lineof Sight， NLOS)和干扰误差，因此，将UWB和MIMU进行组合，规避多径和NLOS带来的定位误差，二者以深组合的方式协同定位；同时鉴于UWB高程精度较低的缺点(UWB基站高程分布差异小)，本发明用机载气压计所得的绝对高度和超声波相对变化估计高度。

设UWB-TOF多边测距解算的无人机初始位置为(x₀，y₀，z₀)，以下为深组合扩展卡尔曼滤波算法的过程：

确定状态方程和观测方程：

状态方程为：

式中，为状态向量；为四个UWB基站的位置坐标向量，M_i为第i个基站的坐标，i＝1，2，3，4；为k时刻15维微惯导解算误差向量，f_k为姿态误差向量，为速度误差向量，为位置误差向量，为加速度计误差向量，为陀螺仪误差向量，且这5个误差向量均含有3个元素。ω_k为k时刻的系统噪声，其协方差矩阵为Q_k；为微惯导解算误差的状态转移矩阵；O为零矩阵，I为单位矩阵。

其中，为k时刻导航坐标系下东、北、天方向的比力值；T为采样周期；为载体坐标系到导航坐标系的坐标转换矩阵。

观测方程为：

式中，为速度误差的观测向量；为UWB的观测向量，为标签与各基站的距离测量值；为系统的观测噪声矩阵，其协方差矩阵为R_k。

使用深组合扩展卡尔曼滤波对实验数据进行融合处理，得到坐标的最优期望值。

根据以上组合定位算法可得到的UWB定位标签的位置。

所述UWB定位基站在系统工作前预置在不同平面，并保证无人机在四个UWB定位基站的范围内飞行。同时确定UWB基站坐标系的z轴与气压计所得高度与初始标定坐高程z₀之间的关系Δh(在can-bus总线的数据输出频率可调节，数据输出频率典型值为1Hz)：

z_k＝h_k+Δh

其中Δh为此UWB坐标系的z轴与气压计所得高度之间的相差，为固定值。所述无人机的位置可以通过以上组合定位算法得到，经过大地坐标系O_bx_ey_ez_e转换后为(x_k，y_k，z_k)。

基于光流避障

当光流传感器安装于四旋翼无人机顶部朝上面向桥底面时，可以感知无人机与桥底面的相对运动速度、运动方向和距离。假设摄像机坐标系与机体坐标系重合，用O_bx_by_bz_b表示，地面为大地坐标系O_ex_ey_ez_e且近似为平面，地面点p的高度记为d_sonar表示测距仪测量的摄像机中心距离地面点p的距离，为大地坐标系原点到机体系原点距离向量在大地坐标系下的表示。地面点p的归一化图像坐标表示为

p点位置的变化率为

地面点p在大地坐标系(p_e)和机体坐标系(p_b)中的关系如下

因为

ω_b为机体旋转角速度，v_e为飞行器在大地坐标系下的飞行速度，当地面点p静止时，有

由上式可知

即

最终写成如下形式

综上所述，对于地面点p，图像点为光流可以通过以上算法解算获得，而ω_b可以通过三轴陀螺仪测量得到，为p点在机体系z轴的投影，可以通过下列方程得出

为在大地坐标系z轴的投影，由此可得深度为

将上式写为

如果有M个可求光流的图像点，有

令那么v_b的估计可以采用下式得到

式中，ω_b为陀螺仪测量值，为陀螺仪偏移估计值，因此即消除偏移后的测量角速度。

因此，基于光流传感器的测速模型可以表示为：

式中n_cam为摄像头的测量噪声。基于运动模型(速度、方向)和超声波测距，可以控制无人机的运动和避障。

无人机三级控制过程

所述飞行控制器基于组合位姿信息，实现无人机三级闭环控制，第一级为姿态控制(转向方式)，第二级为位置控制(升降方式)，第三级为传感器控制(监测任务)。

基于地面站传输的计划任务、实时规划任何和设备遥控管理指令，实现机载测控设备的状态监测调整、遥测数据收集控制以及飞行性能管理等监测控制功能。

第一级：飞行控制器所连接的微惯性导航系统，基于姿态扩展卡尔曼滤波对加速度计进行非重力加速度分离，然后对加速度计进行一次和二次积分获取含有误差的角度、角速度，同时加速度/磁力计对俯仰角、滚动角和偏航角进行矫正。

第二级：飞行控制器所连接的气压计、光流传感器、UWB定位标签，基于组合位置深组合改进滤波算法，修正由加速度计积分带来的速度、位置估计误差，获得无人机的三维坐标、角度和速度。

第三级：飞行控制器通过所连的无线通信终端接受地面站传输的计划任务，和姿态控制器通过控制分配器控制电机和无人机的飞行状态，调整机载监测传感器任务流程。

所述OF避障模块安装在无人机顶部，进行无人机顶部到桥梁底部的短距离测距和特征获取，在桥梁下方探测到障碍物后，使无人机采取规避动作(定点控制、上升下降、地下跟随方式)，从而实现无人机在桥梁下方的防碰撞(避障)功能；所述OF模块利用图像序列中像素的时域变化以及相邻帧的差分，来测量其在桥梁底部成像平面上像素小运动的瞬时差异，从而估计平面方向的位移变化量、变化率和方向，实现无人机在桥梁下方的悬停自稳、定向飞行、定速飞行等。

所述的机载监测模块，与无人机飞行控制器连接，包括机载环境监测传感器、视觉监测传感器和雷达建模传感器。所述的环境监测传感器包括但不限于空速计、温湿计和气体传感器，所述的视觉监测传感器包括高清摄像机或红外摄像机，所述的雷达建模传感器包括合成孔径雷达(InSAR)、高光谱成像仪、微波雷达；所述的机载监测模块得到的信息通过机载无线通信终端实时传输至地面站控制系统。

飞行控制器所连接的微惯性导航系统，基于姿态扩展卡尔曼滤波获得无人机的角度、角速度，加速度/磁力计同时对俯仰角、滚动角和偏航角进行矫正。根据已知的机载雷达的测距结果d₀(无论正负)和桥梁的3D模型，可以得到雷达与病害位置连线与竖直方向的夹角为θ₀，连线在O_ex_ey_ez_e水平平面投影与x轴夹角θ₁。

即得到病害坐标为：(x_e+d₀sinθ₀cosθ₁，y_e+d₀sinθ₀sinθ₁，z_e+Δh+d₀cosθ₀)。

机载无线通信终端包括数据传输模块、图像传输模块、遥控器接收器和UWB标签地面无线基础设施包括对应机载通信模块的数据传输模块、图像传输模块、遥控发射器和UWB基站。数据传输模块将无人机的实时状态数据传输至地面站控制系统，也可将地面站的操作指令实时发送到无人机端。图像传输模块可以传输图像或视频，为避开干扰，工作频率选择5.8GHz，并搭载高增益三叶草天线，其具有圆极化特点，以保证无人机在不同的姿态下实现稳定发射信号。地面端使用两轴(俯仰轴、水平轴)伺服驱动的高增益定向跟踪天线，无人机实时传回地面的水平、垂直位置信息与地面段所在的位置信息进行地理几何运算，得到地面端天线指向无人机所需的俯仰角与水平角，通过USB数据口驱动伺服装置，实现天线实时对准无人机，进而达到远距离实时视频传输的效果。数据和图像的传输通过对应的发射/接收机与地面站建立链路，地面站再接入网络通信；从而实现数据的机载、地面站、服务器的多层次分布式/ 集中式数据传输和计算。

地面站规划控制系统通过连接对应的机载无线通信终端以及地面无线基础设施，可以集中采集的机载传感器数据，以及基于控制律解算地面站任务(飞行模式、航线规划、感知控制)的控制要求，形成控制指令和参数，将控制指令和控制参数传输到无人机飞行控制器，从而执行动作、标定航迹及向操作员提供规划辅助；地面站控制系统基于服务器端多源监测数据处理可实现不同监测应用，如基于图像的桥梁裂缝特征识别和受力模式分析、基于序列影像数据的桥梁可视化、基于空速计和温湿度计的桥梁环境分析、基于雷达的桥梁三维建模。

本项目无人机地面站系统主要分两种模式：(1)基于PC端地面站开发，无人机飞行控制信息与监控系统信息都呈现在地面站监测平台里；(2)基于移动终端的地面站；移动端的 APP中(手机或其他移动终端)完成主要数据监测功能，移动端APP支持Andriod4.2.2+和 IOS 8.0+两种平台。地面站软件可以根据实际项目任务规划无人机的飞行计划，在飞行过程中可以实时显示无人机的状态，包括姿态、方位、速度、电量、任务等信息，如图5。

实施例1：检测桥梁底部裂缝和螺栓脱落点

下面结合附图对本发明作更进一步的说明。系统依次按照以下步骤检测桥梁底部螺栓状况：

步骤1，把四个UWB基站用碳纤杆固定在桥两侧，并保证无人机在四个定位锚点的范围内飞行。在地面站软件中预设四个基站的位置坐标。

步骤2，根据光线明暗判断，选择在无人机上放置高清摄像机。为检测桥梁底部螺栓状况，选择把高清摄像机和雷达上置。

步骤3，检查无人机飞行平台各模块工作状态。检查无误后，试飞开始实验。

步骤4，试飞实验无人机起降、悬停等基本功能，无误后通过地面站软件为无人机规划路线。

步骤5，无人机按照既定路线航行，通过雷达测距使无人机与桥梁底部保持相同距离航行。

步骤6，远程控制无人机对桥梁底部进行拍照或录像，并实时把图像信息传输回地面控制平台。

步骤7，基于形态学进行图像或视频处理，结合已知的桥梁模型，判断有无裂缝存在。具体过程：

(1)多结构中值滤波将形态学中的结构元素引入到中值滤波中来，采用4种形状的3X3结构元素对原始灰度图像进行依次滤波处理。由于采用了多种结构元素，因而可以对多种噪声进行有效地滤除。

(2)形态学边缘检测算法与空域梯度算子相比较，用对称结构元素得到的形态学梯度受边缘方向的影响最小，因此将形态学梯度边缘检测算法应用到桥梁裂缝检测当中，能得到理想的裂缝边缘特性。

(3)裂缝计算对裂缝的长度和宽度的计算，先需要对裂缝进行细化，得到裂缝的骨架，并求出各段骨架的斜率，再通过计数的方式便可得到裂缝的长度和宽度，进一步评估裂缝对整个桥梁结构造成的病害。

(4)结合桥梁结构和螺栓特征，采用原始图像数据发现对应的螺栓脱落点，对脱落点进行识别记录并形成最终报告。

步骤8，数据处理软件结合拍摄包含裂缝和脱落螺栓的视频或图像及无人机的位置、姿态等信息，按照图4所示的坐标转换图，计算裂缝的具体位置。

Claims

1.一种非卫星导航定位环境的桥梁检测无人机系统，包括无人机飞行平台(1)、机载组合定位模块(2)、机载监测模块(3)和地面站控制系统(4)，所述无人机飞行平台(1)包括无人机本体(5)、电源、动力模块(6)、飞行控制器(7)和机载无线通信终端(8)，所述机载监测模块(3)得到的信息通过机载无线通信终端(8)实时传输至地面站控制系统(4)；其特征在于：所述机载组合定位模块(2)包括超宽带导航定位模块(9)、微惯性导航系统(10)、气压高度计(11)和光流避障模块(12)，所述机载监测模块(3)包括机载环境监测传感器(13)、视觉监测传感器(14)和雷达建模传感器(15)，所述飞行控制器(7)分别与机载组合定位模块(2)、机载监测模块(3)和机载无线通信终端(8)连接；所述机载无线通信终端(8)包括机载数据传输模块(29)、机载图像传输模块(30)、遥控器接收器(31)及UWB标签(19)；所述微惯性导航系统(10)用于获得无人机的角度和角速度；所述光流避障模块(12)用于感知无人机与桥底面的相对运动速度、运动方向和距离；所述超宽带导航定位模块(9)用于桥梁非GNSS空间的三维实时快速位置坐标解算；所述气压高度计(11)用于高程位置的平滑滤波估计；

所述飞行控制器(7)，基于组合位姿信息实现无人机三级闭环控制，第一级为姿态控制，第二级为位置控制，第三级为机载传感器监测任务控制；所述姿态控制通过所连接的微惯性导航系统(10)，基于姿态扩展卡尔曼滤波获得无人机的角度、角速度；所述位置控制通过所连接的超宽带导航定位模块(9)、微惯性导航系统(10)、气压计(11)和光流避障模块(12)组合，基于组合位置互补滤波估计无人机的位置和速度；所述传感器监测任务控制，基于地面站控制系统传输的计划任务、实时规划任务和设备遥控管理指令，实现包括机载环境监测传感器(13)、视觉监测传感器(14)和雷达建模传感器(15)的计划与在线监测任务控制功能。

2.根据权利要求1所述的非GNSS环境的桥梁检测无人机系统，其特征在于：所述地面站控制系统(4)包括地面无线基础设施(16)和地面站规划控制模块(17)；所述地面无线基础设施(16)包括对应机载无线通信终端的地面数据传输模块(32)、地面图像传输模块(33)、遥控发射器(34)和UWB基站(20)；所述地面站规划控制模块(17)，通过连接对应的机载无线通信终端(8)以及地面无线基础设施(16)，集中采集机载传感器数据，以及基于控制律解算地面站任务的控制要求，形成控制指令和参数，将控制指令和控制参数传输到无人机飞行控制器，从而执行动作、标定航迹及向操作员提供规划辅助；所述地面站任务包括飞行模式、航线规划、感知控制。

3.根据权利要求1所述的非GNSS环境的桥梁检测无人机系统，其特征在于：所述光流避障模块(12)安装在无人机顶部，进行无人机顶部到桥梁底部的短距离测距和特征获取；利用图像序列中像素的时域变化以及相邻帧的差分，来测量其在桥梁底部成像平面上像素小运动的瞬时差异，从而估计平面方向的位移变化量、变化率和方向，实现无人机在桥梁下方的悬停自稳、定向飞行及定速飞行。

4.根据权利要求1所述的非GNSS环境的桥梁检测无人机系统，其特征在于：所述环境监测传感器(13)包括空速计(21)、温湿计(22)和气体传感器(23)，所述视觉监测传感器(14)包括高清摄像机(24)或红外摄像机(25)，所述雷达建模传感器(15)包括合成孔径雷达(26)、高光谱成像仪(27)和微波雷达(28)。

5.根据权利要求2所述的非GNSS环境的桥梁检测无人机系统，其特征在于：所述UWB基站(20)共有四个，分别采用碳纤杆固定在桥两侧，使得UWB基站信号和桥下机载接收机是直射视距路径或绕射路径。