CN107783106A - 无人机与障碍物之间的数据融合方法 - Google Patents

无人机与障碍物之间的数据融合方法 Download PDF

Info

Publication number
CN107783106A
CN107783106A CN201610724910.3A CN201610724910A CN107783106A CN 107783106 A CN107783106 A CN 107783106A CN 201610724910 A CN201610724910 A CN 201610724910A CN 107783106 A CN107783106 A CN 107783106A
Authority
CN
China
Prior art keywords
height
data
unmanned aerial
aerial vehicle
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610724910.3A
Other languages
English (en)
Other versions
CN107783106B (zh
Inventor
田雨农
王鑫照
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Roiland Technology Co Ltd
Original Assignee
Dalian Roiland Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Roiland Technology Co Ltd filed Critical Dalian Roiland Technology Co Ltd
Priority to CN201610724910.3A priority Critical patent/CN107783106B/zh
Publication of CN107783106A publication Critical patent/CN107783106A/zh
Application granted granted Critical
Publication of CN107783106B publication Critical patent/CN107783106B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/862Combination of radar systems with sonar systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/882Radar or analogous systems specially adapted for specific applications for altimeters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/933Radar or analogous systems specially adapted for specific applications for anti-collision purposes of aircraft or spacecraft
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/188Vegetation

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

无人机与障碍物之间的数据融合方法,其特征在于,包括:数据融合层对各个传感器采集到的数据进行处理:毫米波雷达传感器输出数据为无人机与障碍物的相对距离R1、相对速度V1、障碍物与雷达法线之间的角度,包括方位角θ1与俯仰角ψ1;超声波雷达传感器输入无人机与障碍物的相对距离R2;双目视觉传感器输出物体面积S、方位角θ2以及相对距离R3;雷达高度传感器输出无人机与地面的高度值R4;本申请数据融合是把在不同位置的多个同类或不同类传感器所提供的局部环境的不完整数据加以综合,消除传感器间可能存在的冗余和矛盾的数据,加以互补,降低其不确定性。

Description

无人机与障碍物之间的数据融合方法
技术领域
本发明属于无人机避障技术领域,尤其涉及一种无人机与障碍物之间的数据融合方法。
背景技术
近年来无人机技术已快速成为国内外研究开发的一个新热点,而且由于无人机具有高机动性、操作灵活、成本低、影像实时传输以及高分辨率等特点,使得无人机被应用到了社会各个领域,如灾害救援、电力巡检、林业防火、农业喷洒、植被保护、航拍摄影等。
在灾后救援现场,由于传统手段存在很多的局限性,无人机技术得到了逐渐发展。灾后救援无人机主要是在灾害事件发生后,对于环境恶劣、无法及时了解现场状况以及救援紧急的情况下,可以以最快、最便捷的手段,从空中观察干预救援现场。无人机通过高清摄像头将灾后现场的情况进行拍摄以及录制,然后将采集到的实时现场航拍数据回传。将无人机应用到灾后救援,不仅可以避免飞行人员的人身安全,还可以为救援人员在第一时间查看到灾害现场情况,安排灾后救治等工作。
由于灾后现场环境复杂未知,对于无人机在实现灾后拍摄以及录制中,可能会导致无人机发生碰撞等情况,造成无人机损坏,耽误现场救灾情况的快速了解,因此就需要在进行灾后救援过程中,保证无人机的飞行安全。
发明内容
本发明提出了一种无人机与障碍物之间的数据融合方法,数据融合是把在不同位置的多个同类或不同类传感器所提供的局部环境的不完整数据加以综合,消除传感器间可能存在的冗余和矛盾的数据,加以互补,降低其不确定性,以形成对系统环境的相对完整一致的感知描述,从而提高智能系统的决策、规划、反映的快速性和正确性,降低决策风险。
本发明提供了一种无人机与障碍物之间的数据融合方法,包括:数据融合层对各个传感器采集到的数据进行处理:
1)毫米波雷达传感器输出数据为无人机与障碍物的相对距离R1、相对速度V1、障碍物与雷达法线之间的角度,包括方位角θ1与俯仰角ψ1;
2)超声波雷达传感器输入无人机与障碍物的相对距离R2;
3)双目视觉传感器输出物体面积S、方位角θ2以及相对距离R3;
4)雷达高度传感器输出无人机与地面的高度值R4;
5)GPS/北斗定位传感器输出时间T,定位状态S,A为定位,V为未定位,北纬N或南纬S,东经经度E或西经经度W,无人机速度V2;
6)AHRS模块输出三维加速度A_x,A_y,A_z、三维角速度w_x,w_y,w_z和三维地磁场强度m_x,m_y,m_z,通过这些数据解算出无人机当前的姿态数据。
进一步的,所述的姿态数据,包括:飞行方位角θ3、俯仰角ψ2和翻滚角具体为:
进一步的,特征层进行无人机与障碍物相对距离的数据融合、无人机与地面相对高度的数据融合,无人机与障碍物的相对速度的数据融合以及获取障碍物的大小、形状等属性特征。
进一步的,无人机与障碍物相对距离的数据融合根据距离范围进行处理:
A、距离在0m到10m范围内,超声波雷达传感器、双目视觉传感器和毫米波雷达传感器进行检测,引入α,β的加权值对超声波雷达传感器、双目视觉传感器和毫米波雷达传感器进行加权平均,将加权融合后的数据进行kalman数据融合;
B、距离在10m到20m范围内,引入α的加权值对双目视觉传感器和毫米波雷达传感器这两个传感器进行加权平均,将加权融合后的数据进行kalman数据融合;
C、距离在50m范围内,对毫米波雷达传感器的数据进行kalman数据融合。
进一步的,根据不同的实际距离,各个传感器采集计算的距离如下:
更进一步的,无人机与地面相对高度的数据融合是对雷达高度传感器和GPS/北斗定位传感器所获取的无人机高度值进行数据融合;高度值的数据融合根据距离分为两种;
对于高度小于100m的范围内,采用雷达高度传感器和GPS/北斗定位传感器对无人机高度进行检测,检测后的结果采用加权平均,即引入α值对这两种传感器的高度值进行加权平均处理,处理后采用kalman对高度值进行数据融合;根据AHRS航姿数据对高度值进行修正;
对于高度大于100m以上,采用GPS/北斗定位传感器,将获取的高度数据直接进行kalman数据融合,然后,采用AHRS航姿数据进行高度修正;
其中H1是雷达高度传感器采集的高度,H2是GPS/北斗定位传感器采集的高度;同时根据双目视觉传感器对障碍物的大小、形状等特征进行障碍物辨识。
更进一步的,采用AHRS航姿数据进行高度修正具体为:
ψ2为俯仰角和为翻滚角;H为测量高度,H′为修正后的高度值。
更进一步的,无人机与障碍物相对速度的数据融合采用毫米波雷达传感器和GPS/北斗定位传感器获得,对于这两个传感器的速度数据,进行加权平均值的处理,即
V=α×V1+(1-α)×V2,α为这两个传感器的权重比,将加权均值处理后的速度数据进行kalman数据融合,根据双目视觉传感器对障碍物的大小、形状等特征进行障碍物辨识。
作为更进一步的,决策层通过如下步骤完成避障的:
P1,首先判断无人机与障碍物的相对距离,将相对距离进行三个部分的划分:小于N1m,N1m到N2m,N2m到N3m三个距离范围;
P2,距离划分完成后,根据无人机与障碍物的相对速度进行危险等级的划分:
当距离小于N1m,速度大于M1m/s,且预警时间小于Qs,则属于危险等级,速度小于M1m/s时,属于警示等级;
当距离N1m≤R<N2m,速度大于M2m/s时,处于危险等级;当速度M1m/s≤V<M2m/s时,处于警示等级,当速度小于M1m/s时,处于提示等级;
当距离N2m≤R<N3m时,当速度大于M3m/s时,处于危险等级;当速度M2m/s≤V<M3m/s时,处于警示等级,当速度M1m/s≤V<M2m/s时,处于提示等级,当速度小于M1m/s时,处于不相关等级;
P3,然后判断无人机与地面的高度值,将该高度值H进行四个等级的划分;
P4:对于危险等级,需要进行步骤P3的操作;对于警示等级,需要紧急减速后进行步骤P3的操作;对于提示等级和不相关等级,不用进行第三步骤的判断,返回重新进行检测。
作为更进一步的,步骤P3四个等级的划分具体为:
当高度小于X1m时,障碍物包括墙、树木以及人,根据双目视觉传感器对障碍物的属性进行辨识,区分墙、树木、人,然后选择紧急悬停后进行向上爬升,通过爬升过程,对于人能完全进行避障,但是对于树木和墙需要进行进一步高度判断;
当高度X1m≤H<X2m,在这种高度时,障碍物包括墙、树木,根据双目视觉传感器对障碍物的属性进行辨识,区分墙、树木,然后选择紧急悬停后进行向上爬升,通过爬升过程,对于树木能完全进行避障,但是对于墙需要进行进一步高度判断;
当高度X2m≤H<X3m,在这种高度时,障碍物包括墙和高压线,根据视觉采集传感器对障碍物的属性进行辨识,区分墙和高压线,然后选择紧急悬停后进行向上爬升,通过爬升过程,对于树木能完全进行避障,但是对于墙需要继续进行高度判断;
当高度H≥X3m,在这种高度时根据双目视觉传感器对障碍物的属性进行辨识,如果确认还是墙面的时候,选择紧急悬停后进行折返避障。
本发明由于采用以上技术方案,能够取得如下的技术效果:数据融合是把在不同位置的多个同类或不同类传感器所提供的局部环境的不完整数据加以综合,消除传感器间可能存在的冗余和矛盾的数据,加以互补,降低其不确定性,以形成对系统环境的相对完整一致的感知描述,从而提高智能系统的决策、规划、反映的快速性和正确性,降低决策风险。
对于测量无人机与障碍物之间的距离,超声波测距、双目识别以及毫米波雷达传感器,三种传感器在测量距离时都有各自的优点和不足,将三者合理、有效结合,则可对相对距离的测量实现有效的互补,提高测量距离数据的准确获得。同理,对于无人机与障碍物的相对速度以及无人机与地面高度值都是利用各个传感器的优缺点,互相弥补,进行数据融合,以提高数据精度,改善系统可靠性。
附图说明
为了更清楚的说明本发明的实施例或现有技术的技术方案,下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为实施例1中检查装置结构框图;
图2为无人机与障碍物之间的数据融合方法中系统结构示意图;
图3为无人机与障碍物相对距离的数据融合结构示意图;
图4为无人机与地面相对高度的数据融合结构示意图;
图5为无人机与障碍物相对速度的数据融合结构示意图;
图6为决策层结构示意图;
图7为实施例中决策层的流程图。
具体实施方式
为使本发明的实施例的目的、技术方案和优点更加清楚,下面结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚完整的描述:
本申请所针对的无人机,主要是多旋翼灾后救援旋翼无人机。多旋翼无人机利用其主旋翼旋转切割空气产生飞行动力,与固定翼相比,具有原地起飞、空中悬停、飞行速度慢、负重大、灵活度高和可超低空飞行的特点。多旋翼无人机不需要跑道便可以垂直起降,起飞后可在空中悬停,适合灾后复杂环境中的应用。它的操控原理简单,操控器四个遥感操作对应飞行器的前后、左右、上下和偏航方向的运动。本发明采用OODA环的信息融合技术,OODA是观察(Oberve)、调整(Orient)、决策(Decide)以及行动(Act)的英文缩写,即四个处理阶段:观察、调整、决策和行动。结合OODA环的特点,本发明将OODA环引入到灾后救援旋翼无人机避障系统中。
实施例1
本实施例提供了一种无人机与障碍物之间的数据融合方法,包括:数据融合层,特征层、决策层和检测装置;
所述检测装置,包括:
雷达高度传感器,测量无人机对地面的垂直距离;
GPS/北斗定位传感器,进行实时定位,以实现无人机的定点悬停等任务,并且可以实现无人机高度的测量以及无人机相对速度的测量;
AHRS模块,采集无人机的飞行姿态与航行信息;AHRS模块,包括MEMS的三轴陀螺仪、加速度计和磁强计,输出数据为三维加速度、三维角速度和三维地磁场强度。
毫米波雷达传感器,采用线性调频三角波的体制,用于实现障碍物到无人机的远距离测量;所述毫米波雷达传感器,包括:天线模块,形成雷达探测所需的发射和接收波束;向各个方向空间区域发射信号,并接收空间区域内的障碍物散射回波信号;射频前端模块,根据无人机避障毫米波雷达的应用场景和功能需求,实现信号的发射与接收处理;基带处理模块,控制发射调制波形、信号采集以及信号处理工作,将前方目标障碍物的相对距离、相对速度以及方位角进行解析,发送给主控制器,从而完成毫米波雷达传感器对目标障碍物的数据采集传输工作。毫米波雷达传感器进行1~50m范围内的测距。
超声波雷达传感器,用于实现障碍物到无人机的近距离测量,超声波雷达传感器进行0~10米范围的测距;
双目视觉传感器,测量障碍物的大小以及形状;
主控制器,通过对各个传感器获得的数据进行分析,控制无人机完成避障动作;
所述主控制器分别与雷达高度传感器、GPS/北斗定位传感器、AHRS模块、毫米波雷达传感器、超声波雷达传感器和双目视觉传感器相连。
优选的,所述毫米波雷达、超声波雷达、双目视觉传感器均为四个,分别安装在无人机的前、后、左、右四个面。由于多旋翼无人机可以前后左右飞行,需要每一个面都要进行防碰撞设计,所以每一个面上都由一个毫米波雷达传感器进行长距离测量,一个超声波雷达传感器进行近距离测量,一个双目视觉传感器进行目标属性,如方位,大小形状进行测量,所以本发明所设计的灾后救援旋翼无人机对于毫米波雷达传感器、超声波传感器和双目视觉传感器各需要四个。
实施例2
作为对实施例1的进一步限定:数据融合层对各个传感器采集到的数据进行处理:
1)毫米波雷达传感器输出数据为无人机与障碍物的相对距离R1、相对速度V1、障碍物与雷达法线之间的角度,包括方位角θ1与俯仰角ψ1;
2)超声波雷达传感器输入无人机与障碍物的相对距离R2;
3)双目视觉传感器输出物体面积S、方位角θ2以及相对距离R3;
4)雷达高度传感器输出无人机与地面的高度值R4;
5)GPS/北斗定位传感器主要是获得无人机的海拔高度H2和水平航速V2;
GPS数据遵循NMEA0183协议,所输出的信息都是标准的具有固定格式的。其中与无人机导航密切相关的有GPGGA和GPVTG语句。它们的数据格式规定如下:
(1)$GPGGA,UTC时间,纬度,纬度半球,经度,经度半球,GPS模式,星数,HDOP水平精度因子,海拔高度,M,地球椭球面相对大地水平面的高度,M,差分时间,差分站ID*hh<CR><LF>。
(2)$GPVTG,以真北为基准的地面航向,T,以磁北为基准的地面航向,M,地面速率(节),N,地面速率(公里/小时),K,模式指示*hh<CR><LF>。
通过提取GPGGA语句中,特定位置的海拔高度数据,可以得到无人机的海拔高度H2,通过提取GPVTG语句中,特定位置的地面速率(公里/小时),就可以获得无人机的水平航速V2。
6)AHRS模块输出三维加速度A_x,A_y,A_z、三维角速度w_x,w_y,w_z和三维地磁场强度m_x,m_y,m_z,通过这些数据解算出无人机当前的姿态数据,即飞行方位角θ3、俯仰角ψ2和翻滚角
实施例3
作为对实施例1或2的补充,特征层进行无人机与障碍物的相对距离的数据融合、无人机与地面相对高度的数据融合,无人机与障碍物的相对速度的数据融合以及获取障碍物的大小、形状等属性特征;
无人机与障碍物相对距离的数据融合根据距离范围进行处理:
A、距离在0m到10m范围内,超声波雷达传感器、双目视觉传感器和毫米波雷达传感器进行检测,但是这几个雷达的相对精度却不一样,在近距离范围内,超声波的精度更高,但是为了提高对高度的解算准确性,采用加权平均,即引入α,β的加权值对超声波雷达传感器、双目视觉传感器和毫米波雷达传感器进行加权平均,将加权融合后的数据进行kalman数据融合;
B、距离在10m到20m范围内,已经超出超声波雷达测距范围,但是视觉传感器和毫米波雷达还可以进行检测,所以在该距离范围内,采用加权平均,即引入α的加权值对双目视觉传感器和毫米波雷达传感器这两个传感器进行加权平均,将加权融合后的数据进行kalman数据融合;
C、距离在50m范围内,已经超出超声波雷达和视觉传感器测距范围,但是毫米波雷达还可以进行检测,所以在该距离范围内,不用采用加权算法,直接对毫米波雷达传感器的数据进行kalman数据融合;
即如下所示
无人机与地面相对高度的数据融合是对雷达高度传感器和GPS/北斗定位传感器所获取的无人机高度值进行数据融合;高度值的数据融合根据距离分为两种;对于高度小于100m的范围内,采用雷达高度传感器和GPS/北斗定位传感器对无人机高度进行检测,检测后的结果采用加权平均,即引入α值对这两种传感器的高度值进行加权平均处理,处理后采用kalman对高度值进行数据融合;由于无人机高度值与无人机姿态有着密切的关联,所以需要根据AHRS航姿数据对高度值进行修正:
对于高度大于100m以上,仅GPS/北斗定位获取的高度数据是准确的,所以在该高度范围内采用GPS/北斗定位传感器,将获取的高度数据直接进行kalman数据融合,然后,采用AHRS航姿数据进行高度修正;
其中H1是雷达高度传感器采集的高度,H2是GPS/北斗定位传感器采集的高度;同时根据双目视觉传感器对障碍物的大小、形状等特征进行障碍物辨识。辨识方法可以采用人工智能等方法,如模式识别,神经网络算法等方式。
可选地,采用AHRS航姿数据进行高度修正具体为:
ψ2为俯仰角和为翻滚角;H为测量高度,H′为修正后的高度值。
无人机与障碍物的相对速度的数据融合采用毫米波雷达传感器和GPS/北斗定位传感器获得,对于这两个传感器的速度数据,进行加权平均值的处理,即
V=α×V1+(1-α)×V2,α为这两个传感器的权重比,将加权均值处理后的速度数据进行kalman数据融合,从而得到更加准确的相对速度数据;根据双目视觉传感器对障碍物的大小、形状等特征进行障碍物辨识。辨识方法可以采用人工智能等方法,如模式识别,神经网络算法等方式。
实施例4
作为对实施例1或2或3的补充,决策层通过如下步骤完成避障的:
P1,首先判断无人机与障碍物的相对距离,将相对距离进行三个部分的划分:小于N1m,N1m到N2m,N2m到N3m三个距离范围;
P2,距离划分完成后,根据无人机与障碍物的相对速度进行危险等级的划分:
当距离小于10m,速度大于3m/s,且预警时间小于3s,则属于危险等级,速度小于3m/s时,属于警示等级;
当距离10m≤R<20m,速度大于6m/s时,处于危险等级;当速度3m/s≤V<6m/s时,处于警示等级,当速度小于3m/s时,处于提示等级;
当距离20m≤R<50m时,当速度大于16m/s时,处于危险等级;当速度6m/s≤V<16m/s时,处于警示等级,当速度3m/s≤V<6m/s时,处于提示等级,当速度小于3m/s时,处于不相关等级;
P3,然后判断无人机与地面的高度值,将该高度值H进行四个等级的划分;
当高度小于X1m时,在这种高度时,主要的障碍物包括墙、树木以及人,根据双目视觉传感器对障碍物的属性进行辨识,区分墙、树木、人,然后选择紧急悬停后进行向上爬升,通过爬升过程,对于人能完全进行避障,但是对于树木和墙需要进行进一步高度判断;
当高度X1m≤H<X2m,在这种高度时,主要的障碍物包括墙、树木,根据双目视觉传感器对障碍物的属性进行辨识,区分墙、树木,然后选择紧急悬停后进行向上爬升,通过爬升过程,对于树木能完全进行避障,但是对于墙需要进行进一步高度判断;
当高度X2m≤H<X3m,在这种高度时,主要的障碍物包括墙和高压线,根据视觉采集传感器对障碍物的属性进行辨识,区分墙和高压线,然后选择紧急悬停后进行向上爬升,通过爬升过程,对于树木能完全进行避障,但是对于墙需要继续进行高度判断;
当高度H≥X3m,在这种高度时根据双目视觉传感器对障碍物的属性进行辨识,如果确认还是墙面的时候,选择紧急悬停后进行折返避障;
P4:对于危险等级,需要进行步骤P3的操作;对于警示等级,需要紧急减速后进行步骤P3的操作;对于提示等级和不相关等级,不用进行第三步骤的判断,返回重新进行检测。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明披露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。

Claims (10)

1.无人机与障碍物之间的数据融合方法,其特征在于,包括:数据融合层对各个传感器采集到的数据进行处理:
1)毫米波雷达传感器输出数据为无人机与障碍物的相对距离R1、相对速度V1、障碍物与雷达法线之间的角度,包括方位角θ1与俯仰角ψ1;
2)超声波雷达传感器输入无人机与障碍物的相对距离R2;
3)双目视觉传感器输出物体面积S、方位角θ2以及相对距离R3;
4)雷达高度传感器输出无人机与地面的高度值R4;
5)GPS/北斗定位传感器输出时间T,定位状态S,A为定位,V为未定位,北纬N或南纬S,东经经度E或西经经度W,无人机速度V2;
6)AHRS模块输出三维加速度A_x,A_y,A_z、三维角速度w_x,w_y,w_z和三维地磁场强度m_x,m_y,m_z,通过这些数据解算出无人机当前的姿态数据。
2.根据权利要求1所述无人机与障碍物之间的数据融合方法,其特征在于,所述的姿态数据,包括:飞行方位角θ3、俯仰角ψ2和翻滚角具体为:
3.根据权利要求1所述无人机与障碍物之间的数据融合方法,其特征在于,特征层进行无人机与障碍物相对距离的数据融合、无人机与地面相对高度的数据融合,无人机与障碍物相对速度的数据融合以及获取障碍物的大小、形状等属性特征。
4.根据权利要求3所述无人机与障碍物之间的数据融合方法,其特征在于,无人机与障碍物相对距离的数据融合根据距离范围进行处理:
A、距离在0m到10m范围内,超声波雷达传感器、双目视觉传感器和毫米波雷达传感器进行检测,引入α,β的加权值对超声波雷达传感器、双目视觉传感器和毫米波雷达传感器进行加权平均,将加权融合后的数据进行kalman数据融合;
B、距离在10m到20m范围内,引入α的加权值对双目视觉传感器和毫米波雷达传感器这两个传感器进行加权平均,将加权融合后的数据进行kalman数据融合;
C、距离在50m范围内,对毫米波雷达传感器的数据进行kalman数据融合。
5.根据权利要求4所述无人机与障碍物之间的数据融合方法,其特征在于,根据不同的实际距离,各个传感器采集计算的距离如下:
<mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>R</mi> <mo>=</mo> <mi>&amp;alpha;</mi> <mo>&amp;times;</mo> <mi>R</mi> <mn>3</mn> <mo>+</mo> <mi>&amp;beta;</mi> <mo>&amp;times;</mo> <mi>R</mi> <mn>2</mn> <mo>+</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mi>&amp;alpha;</mi> <mo>-</mo> <mi>&amp;beta;</mi> <mo>)</mo> </mrow> <mo>&amp;times;</mo> <mi>R</mi> <mn>1</mn> </mrow> </mtd> <mtd> <mrow> <mn>0</mn> <mo>&lt;</mo> <mi>R</mi> <mo>&amp;le;</mo> <mn>10</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>R</mi> <mo>=</mo> <mi>&amp;alpha;</mi> <mo>&amp;times;</mo> <mi>R</mi> <mn>2</mn> <mo>+</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mi>&amp;alpha;</mi> <mo>)</mo> </mrow> <mo>&amp;times;</mo> <mi>R</mi> <mn>1</mn> </mrow> </mtd> <mtd> <mrow> <mn>10</mn> <mo>&lt;</mo> <mi>R</mi> <mo>&amp;le;</mo> <mn>20</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>R</mi> <mn>1</mn> </mrow> </mtd> <mtd> <mrow> <mn>20</mn> <mo>&lt;</mo> <mi>R</mi> <mo>&amp;le;</mo> <mn>50</mn> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>.</mo> </mrow>
6.根据权利要求3所述无人机与障碍物之间的数据融合方法,其特征在于,无人机与地面相对高度的数据融合是对雷达高度传感器和GPS/北斗定位传感器所获取的无人机高度值进行数据融合;高度值的数据融合根据距离分为两种;
对于高度小于100m的范围内,采用雷达高度传感器和GPS/北斗定位传感器对无人机高度进行检测,检测后的结果采用加权平均,即引入α值对这两种传感器的高度值进行加权平均处理,处理后采用kalman对高度值进行数据融合;根据AHRS航姿数据对高度值进行修正;
对于高度大于100m以上,采用GPS/北斗定位传感器,将获取的高度数据直接进行kalman数据融合,然后,采用AHRS航姿数据进行高度修正;
<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>H</mi> <mo>=</mo> <mi>&amp;alpha;</mi> <mo>&amp;times;</mo> <mi>H</mi> <mn>1</mn> <mo>+</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mi>&amp;alpha;</mi> <mo>)</mo> </mrow> <mo>&amp;times;</mo> <mi>H</mi> <mn>2</mn> </mrow> </mtd> <mtd> <mrow> <mn>1</mn> <mo>&lt;</mo> <mi>H</mi> <mo>&amp;le;</mo> <mn>100</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>H</mi> <mo>=</mo> <mi>H</mi> <mn>2</mn> </mrow> </mtd> <mtd> <mrow> <mi>H</mi> <mo>&gt;</mo> <mn>100</mn> </mrow> </mtd> </mtr> </mtable> </mfenced>
其中H1是雷达高度传感器采集的高度,H2是GPS/北斗定位传感器采集的高度;同时根据双目视觉传感器对障碍物的大小、形状等特征进行障碍物辨识。
7.根据权利要求6所述无人机与障碍物之间的数据融合方法,其特征在于,采用AHRS航姿数据进行高度修正具体为:
ψ2为俯仰角和为翻滚角;H为测量高度,H′为修正后的高度值。
8.根据权利要求3所述无人机与障碍物之间的数据融合方法,其特征在于,无人机与障碍物相对速度的数据融合采用毫米波雷达传感器和GPS/北斗定位传感器获得,对于这两个传感器的速度数据,进行加权平均值的处理,即
V=α×V1+(1-α)×V2,α为这两个传感器的权重比,将加权均值处理后的速度数据进行kalman数据融合,根据双目视觉传感器对障碍物的大小、形状等特征进行障碍物辨识。
9.根据权利要求1所述无人机与障碍物之间的数据融合方法,其特征在于,决策层通过如下步骤完成避障的:
P1,首先判断无人机与障碍物的相对距离,将相对距离进行三个部分的划分:小于N1m,N1m到N2m,N2m到N3m三个距离范围;
P2,距离划分完成后,根据无人机与障碍物的相对速度进行危险等级的划分:
当距离小于N1m,速度大于M1m/s,且预警时间小于Qs,则属于危险等级,速度小于M1m/s时,属于警示等级;
当距离N1m≤R<N2m,速度大于M2m/s时,处于危险等级;当速度M1m/s≤V<M2m/s时,处于警示等级,当速度小于M1m/s时,处于提示等级;
当距离N2m≤R<N3m时,当速度大于M3m/s时,处于危险等级;当速度M2m/s≤V<M3m/s时,处于警示等级,当速度M1m/s≤V<M2m/s时,处于提示等级,当速度小于M1m/s时,处于不相关等级;
P3,然后判断无人机与地面的高度值,将该高度值H进行四个等级的划分;
P4:对于危险等级,需要进行步骤P3的操作;对于警示等级,需要紧急减速后进行步骤P3的操作;对于提示等级和不相关等级,不用进行第三步骤的判断,返回重新进行检测。
10.根据权利要求9所述无人机与障碍物之间的数据融合方法,其特征在于,步骤P3四个等级的划分具体为:
当高度小于X1m时,障碍物包括墙、树木以及人,根据双目视觉传感器对障碍物的属性进行辨识,区分墙、树木、人,然后选择紧急悬停后进行向上爬升,通过爬升过程,对于人能完全进行避障,但是对于树木和墙需要进行进一步高度判断;
当高度X1m≤H<X2m,在这种高度时,障碍物包括墙、树木,根据双目视觉传感器对障碍物的属性进行辨识,区分墙、树木,然后选择紧急悬停后进行向上爬升,通过爬升过程,对于树木能完全进行避障,但是对于墙需要进行进一步高度判断;
当高度X2m≤H<X3m,在这种高度时,障碍物包括墙和高压线,根据视觉采集传感器对障碍物的属性进行辨识,区分墙和高压线,然后选择紧急悬停后进行向上爬升,通过爬升过程,对于树木能完全进行避障,但是对于墙需要继续进行高度判断;
当高度H≥X3m,在这种高度时根据双目视觉传感器对障碍物的属性进行辨识,如果确认还是墙面的时候,选择紧急悬停后进行折返避障。
CN201610724910.3A 2016-08-25 2016-08-25 无人机与障碍物之间的数据融合方法 Active CN107783106B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610724910.3A CN107783106B (zh) 2016-08-25 2016-08-25 无人机与障碍物之间的数据融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610724910.3A CN107783106B (zh) 2016-08-25 2016-08-25 无人机与障碍物之间的数据融合方法

Publications (2)

Publication Number Publication Date
CN107783106A true CN107783106A (zh) 2018-03-09
CN107783106B CN107783106B (zh) 2021-02-26

Family

ID=61438560

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610724910.3A Active CN107783106B (zh) 2016-08-25 2016-08-25 无人机与障碍物之间的数据融合方法

Country Status (1)

Country Link
CN (1) CN107783106B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107783119A (zh) * 2016-08-25 2018-03-09 大连楼兰科技股份有限公司 应用在避障系统中的决策融合方法
CN109218983A (zh) * 2018-06-28 2019-01-15 中国人民解放军国防科技大学 一种定位方法及定位系统
CN109407703A (zh) * 2018-12-13 2019-03-01 广州极飞科技有限公司 无人机及其控制方法和装置
CN109633621A (zh) * 2018-12-26 2019-04-16 杭州奥腾电子股份有限公司 一种车载环境感知系统数据处理方法
CN109773784A (zh) * 2018-12-28 2019-05-21 深圳市越疆科技有限公司 一种机器人的参数调整方法、装置及机器人
CN109828274A (zh) * 2019-01-07 2019-05-31 深圳市道通智能航空技术有限公司 调整机载雷达的主探测方向的方法、装置和无人机
CN109884616A (zh) * 2019-03-13 2019-06-14 浙江吉利汽车研究院有限公司 一种雷达测量距离融合方法、装置及终端
CN109919990A (zh) * 2019-02-19 2019-06-21 北京工业大学 利用深度感知网络和视差遥感影像进行森林高度预测方法
CN110909821A (zh) * 2019-12-03 2020-03-24 中国农业科学院农业资源与农业区划研究所 基于作物参考曲线进行高时空分辨率植被指数数据融合的方法
CN111186320A (zh) * 2020-03-04 2020-05-22 中兴新能源汽车有限责任公司 一种无线充电引导定位系统及方法、车载设备
WO2020107454A1 (zh) * 2018-11-30 2020-06-04 深圳市大疆创新科技有限公司 障碍物的精准确定方法、设备及计算机可读存储介质
CN112131730A (zh) * 2020-09-14 2020-12-25 中国人民解放军军事科学院评估论证研究中心 群体智能无人系统的定格分析方法及装置
CN112313535A (zh) * 2019-11-05 2021-02-02 深圳市大疆创新科技有限公司 距离检测方法、距离检测设备、自主移动平台和存储介质
CN112327898A (zh) * 2020-11-06 2021-02-05 日立楼宇技术(广州)有限公司 无人机的井道巡检导航方法、装置和无人机
CN114103985A (zh) * 2021-11-26 2022-03-01 国汽智控(北京)科技有限公司 一种基于障碍物的提示方法、装置和设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201918032U (zh) * 2010-12-31 2011-08-03 同济大学 一种飞行器低空飞行防撞的装置
CN103224026A (zh) * 2012-12-05 2013-07-31 福建省电力有限公司 一种适用于山区电网巡检的专用无人直升机避障系统及其工作流程
CN103776451A (zh) * 2014-03-04 2014-05-07 哈尔滨工业大学 一种基于mems的高精度三维姿态惯性测量系统以及测量方法
WO2015105886A1 (en) * 2014-01-10 2015-07-16 Pictometry International Corp. Unmanned aircraft structure evaluation system and method
CN105138002A (zh) * 2015-09-10 2015-12-09 华南农业大学 基于激光与双目视觉的无人机避险探测系统及方法
CN105159297A (zh) * 2015-09-11 2015-12-16 南方电网科学研究院有限责任公司 输电线路无人机巡检避障系统与方法
KR101610801B1 (ko) * 2015-01-29 2016-04-11 주식회사 공간정보 무인비행시스템
CN105492985A (zh) * 2014-09-05 2016-04-13 深圳市大疆创新科技有限公司 多传感器环境地图构建
CN105517666A (zh) * 2014-09-05 2016-04-20 深圳市大疆创新科技有限公司 基于情景的飞行模式选择
CN105700550A (zh) * 2016-01-26 2016-06-22 深圳市大疆创新科技有限公司 无人机及其飞行控制方法与系统
CN205427621U (zh) * 2015-09-11 2016-08-03 南方电网科学研究院有限责任公司 输电线路无人机巡检飞控系统与自动避障装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201918032U (zh) * 2010-12-31 2011-08-03 同济大学 一种飞行器低空飞行防撞的装置
CN103224026A (zh) * 2012-12-05 2013-07-31 福建省电力有限公司 一种适用于山区电网巡检的专用无人直升机避障系统及其工作流程
WO2015105886A1 (en) * 2014-01-10 2015-07-16 Pictometry International Corp. Unmanned aircraft structure evaluation system and method
CN103776451A (zh) * 2014-03-04 2014-05-07 哈尔滨工业大学 一种基于mems的高精度三维姿态惯性测量系统以及测量方法
CN105492985A (zh) * 2014-09-05 2016-04-13 深圳市大疆创新科技有限公司 多传感器环境地图构建
CN105517666A (zh) * 2014-09-05 2016-04-20 深圳市大疆创新科技有限公司 基于情景的飞行模式选择
KR101610801B1 (ko) * 2015-01-29 2016-04-11 주식회사 공간정보 무인비행시스템
CN105138002A (zh) * 2015-09-10 2015-12-09 华南农业大学 基于激光与双目视觉的无人机避险探测系统及方法
CN105159297A (zh) * 2015-09-11 2015-12-16 南方电网科学研究院有限责任公司 输电线路无人机巡检避障系统与方法
CN205427621U (zh) * 2015-09-11 2016-08-03 南方电网科学研究院有限责任公司 输电线路无人机巡检飞控系统与自动避障装置
CN105700550A (zh) * 2016-01-26 2016-06-22 深圳市大疆创新科技有限公司 无人机及其飞行控制方法与系统

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107783119A (zh) * 2016-08-25 2018-03-09 大连楼兰科技股份有限公司 应用在避障系统中的决策融合方法
CN109218983A (zh) * 2018-06-28 2019-01-15 中国人民解放军国防科技大学 一种定位方法及定位系统
CN109218983B (zh) * 2018-06-28 2020-09-18 中国人民解放军国防科技大学 一种定位方法及定位系统
WO2020107454A1 (zh) * 2018-11-30 2020-06-04 深圳市大疆创新科技有限公司 障碍物的精准确定方法、设备及计算机可读存储介质
CN109407703A (zh) * 2018-12-13 2019-03-01 广州极飞科技有限公司 无人机及其控制方法和装置
CN109633621A (zh) * 2018-12-26 2019-04-16 杭州奥腾电子股份有限公司 一种车载环境感知系统数据处理方法
CN109773784A (zh) * 2018-12-28 2019-05-21 深圳市越疆科技有限公司 一种机器人的参数调整方法、装置及机器人
CN109828274A (zh) * 2019-01-07 2019-05-31 深圳市道通智能航空技术有限公司 调整机载雷达的主探测方向的方法、装置和无人机
CN109919990A (zh) * 2019-02-19 2019-06-21 北京工业大学 利用深度感知网络和视差遥感影像进行森林高度预测方法
CN109919990B (zh) * 2019-02-19 2021-03-16 北京工业大学 利用深度感知网络和视差遥感影像进行森林高度预测方法
CN109884616A (zh) * 2019-03-13 2019-06-14 浙江吉利汽车研究院有限公司 一种雷达测量距离融合方法、装置及终端
CN109884616B (zh) * 2019-03-13 2021-09-14 浙江吉利汽车研究院有限公司 一种雷达测量距离融合方法、装置及终端
WO2021087751A1 (zh) * 2019-11-05 2021-05-14 深圳市大疆创新科技有限公司 距离检测方法、距离检测设备、自主移动平台和存储介质
CN112313535A (zh) * 2019-11-05 2021-02-02 深圳市大疆创新科技有限公司 距离检测方法、距离检测设备、自主移动平台和存储介质
CN110909821B (zh) * 2019-12-03 2020-07-28 中国农业科学院农业资源与农业区划研究所 基于作物参考曲线进行高时空分辨率植被指数数据融合的方法
CN110909821A (zh) * 2019-12-03 2020-03-24 中国农业科学院农业资源与农业区划研究所 基于作物参考曲线进行高时空分辨率植被指数数据融合的方法
CN111186320A (zh) * 2020-03-04 2020-05-22 中兴新能源汽车有限责任公司 一种无线充电引导定位系统及方法、车载设备
CN112131730A (zh) * 2020-09-14 2020-12-25 中国人民解放军军事科学院评估论证研究中心 群体智能无人系统的定格分析方法及装置
CN112131730B (zh) * 2020-09-14 2024-04-30 中国人民解放军军事科学院评估论证研究中心 群体智能无人系统的定格分析方法及装置
CN112327898A (zh) * 2020-11-06 2021-02-05 日立楼宇技术(广州)有限公司 无人机的井道巡检导航方法、装置和无人机
CN112327898B (zh) * 2020-11-06 2023-08-29 日立楼宇技术(广州)有限公司 无人机的井道巡检导航方法、装置和无人机
CN114103985A (zh) * 2021-11-26 2022-03-01 国汽智控(北京)科技有限公司 一种基于障碍物的提示方法、装置和设备

Also Published As

Publication number Publication date
CN107783106B (zh) 2021-02-26

Similar Documents

Publication Publication Date Title
CN107783106B (zh) 无人机与障碍物之间的数据融合方法
CN107783545B (zh) 基于ooda环多传感器信息融合的灾后救援旋翼无人机避障系统
US10527720B2 (en) Millimeter-wave terrain aided navigation system
CN110631593B (zh) 一种用于自动驾驶场景的多传感器融合定位方法
CN109029422B (zh) 一种多无人机协作构建三维调查地图的方法和装置
WO2018086133A1 (en) Methods and systems for selective sensor fusion
JP6900608B2 (ja) 静止及び移動体に対する無人航空機の飛行方法
CN206057974U (zh) 一种应用在旋翼无人机上的避障系统
TW518422B (en) Positioning and proximity warning method and system thereof for vehicle
CN107783548B (zh) 基于多传感器信息融合技术的数据处理方法
CN107783544B (zh) 一种控制单旋翼植保无人机避障飞行的方法
CN107783549B (zh) 基于多传感器信息融合技术的单旋翼植保无人机避障系统
CN107783119A (zh) 应用在避障系统中的决策融合方法
US20200001998A1 (en) Movable platform control method and movable platform
CN103869822A (zh) 多旋翼无人机感知与规避系统及其规避方法
CN107783547A (zh) 灾后救援旋翼无人机避障系统及方法
KR20190000439A (ko) 조류퇴치를 위한 무인비행체 및 그 운용방법
CN113220013A (zh) 一种多旋翼无人机隧洞悬停方法及系统
US20220121836A1 (en) Automatic safe-landing-site selection for unmanned aerial systems
CN110673627A (zh) 一种森林无人机搜寻方法
US20150279219A1 (en) Procedure for the detection and display of artificial obstacles for a rotary-wing aircraft
Hosseinpoor et al. Pricise target geolocation based on integeration of thermal video imagery and rtk GPS in UAVS
CN110997488A (zh) 动态控制用于处理传感器输出数据的参数的系统和方法
US20200294406A1 (en) Aide System of Positioning of an Aircraft, Flying Set Comprising Such a System and Associated Aide Method of Positioning
CN107390707A (zh) 无人机控制系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant