CN113625750A - 一种基于毫米波与深度视觉相机结合的无人机避障系统 - Google Patents

一种基于毫米波与深度视觉相机结合的无人机避障系统 Download PDF

Info

Publication number
CN113625750A
CN113625750A CN202110886620.XA CN202110886620A CN113625750A CN 113625750 A CN113625750 A CN 113625750A CN 202110886620 A CN202110886620 A CN 202110886620A CN 113625750 A CN113625750 A CN 113625750A
Authority
CN
China
Prior art keywords
aerial vehicle
unmanned aerial
obstacle avoidance
vision camera
millimeter wave
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110886620.XA
Other languages
English (en)
Inventor
何斌
沈润杰
李刚
王旭东
陆萍
周艳敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Tonggang Uav Research Institute Co ltd
Tongji University
Original Assignee
Suzhou Tonggang Uav Research Institute Co ltd
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Tonggang Uav Research Institute Co ltd, Tongji University filed Critical Suzhou Tonggang Uav Research Institute Co ltd
Priority to CN202110886620.XA priority Critical patent/CN113625750A/zh
Publication of CN113625750A publication Critical patent/CN113625750A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及无人机避障技术领域，具体公开了一种基于毫米波与深度视觉相机结合的无人机避障系统，包括信息融合模块、控制模块、毫米波雷达、深度视觉相机、飞行参数测量模块以及无人机，所述毫米波雷达、深度视觉相机均搭载在无人机上，所述飞行参数测量模块包括气压计以及电子罗盘；所述飞行参数测量模块获得无人机的姿态和飞行高度，所述信息融合模块通过融合毫米波雷达数据与深度视觉相机数据，结合当前无人机的飞行姿态，获得当前无人机正前方障碍物分布情况的识别，所述控制模块获得障碍物信息后，发送无人机控制信号，实现无人机自主避障；本发明利用毫米波与深度相机像结合，有更小的计算量，两者体积更小，适合在小型无人机中使用。

Description

一种基于毫米波与深度视觉相机结合的无人机避障系统
技术领域
本发明涉及无人机避障技术领域，具体为一种基于毫米波与深度视觉相机结合的无人机避障系统。
背景技术
无人机可以在没有人工干预的情况下在困难复杂的场景下进行探测、巡检、测绘等任务，在民用领域，无人机的应用越来越广发。为了确保无人机的飞行安全，涉及无人机自主避障方法至关重要。
要实现无人机自主避障，关键取决于传感器模块。目前，主要方法有，基于双目视觉的避障，但是双目视觉处理速度慢，实时性不足，当环境复杂时，障碍物识别率不足等问题；基于激光雷达的避障，存在激光雷达成本高，不适合高光照、湿度大的环境等问题；基于多个主动式传感器，存在计算量大，需要进行多传感器配准等问题。
发明内容
本发明的目的在于提供一种基于毫米波与深度视觉相机结合的无人机避障系统，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种基于毫米波与深度视觉相机结合的无人机避障系统，包括信息融合模块、控制模块、毫米波雷达、深度视觉相机、飞行参数测量模块以及无人机，所述毫米波雷达、深度视觉相机均搭载在无人机上，所述飞行参数测量模块包括气压计以及电子罗盘；所述飞行参数测量模块获得无人机的姿态和飞行高度，所述信息融合模块通过融合毫米波雷达数据与深度视觉相机数据，结合当前无人机的飞行姿态，获得当前无人机正前方障碍物分布情况的识别，所述控制模块获得障碍物信息后，发送无人机控制信号，实现无人机自主避障。
优选的，本发明还提供了一种基于毫米波与深度视觉相机结合的无人机避障系统的避障方法，包括如下步骤：
S1、无人机执行飞行任务，毫米波雷达不断向无人机正前方发射和接收毫米波信号，获得无人机外部环境状态，并发送给控制模块判断无人机的外部环境状态；
S2、控制模块根据毫米波雷达测距数据，检测无人机前方是否存在障碍物并判断是否需要进行避障操作；若需要执行避障操作则执行步骤S3，若无需避障则继续执行步骤S1；
S3、无人机判断需要进行避障操作，深度视觉相机开始工作，捕获无人机正前方障碍物彩色和深度图像，并获得各个障碍物在图像中坐标；气压计、电子罗盘获得无人机自身信息；
S4、信息融合模块融合毫米波雷达距离信息、深度视觉障碍物坐标信息、无人机自身信息，获得障碍物空间分布与位置信息；
S5、根据障碍物空间分布和位置信息，无人机找出障碍物之间的间隙，重新规划飞行路径穿越障碍物，完成避障操作后，重复执行步骤S1。
优选的，所述步骤S2中，毫米波雷达发送和接受毫米波信号，获得无人机正前方最近的障碍物的距离；无人机设置有期望避障距离，当距离小于设定的期望避障距离时，无人机进行避障操作。
优选的，所述步骤S3中，深度视觉相机拍摄无人机正前方外部环境图片，并对所得图像信息，提取出图像中存在的障碍物及其坐标。
优选的，所述步骤S3中，气压计获得当前无人机距离地面的高度，电子罗盘获得当前无人机飞行的姿态角；在无人机执行飞行任务前，先在地面测量一次大气压获得地面海拔高度，无人机飞行后，用当前海拔减去地面海拔高度获得无人机的距离地面高度。
优选的，所述前无人机距离地面的高度的计算公式为：
Figure BDA0003194363760000031
其中H为无人机距地高度，p为该处压强，po为常数，具体为101325pa，Ho为当前地面海拔高度。
优选的，所述步骤S4包括以下步骤：
S41、由深度视觉相机获得障碍物彩色图像中坐标和深度图像中距离信息，由毫米波雷达获得障碍物距离信息，将两者信息对比，确定两者关系；
S42、结合气压计、电子罗盘获得的无人机飞行参数，得到各个障碍物在大地坐标系下的坐标；
S43、由障碍物三维坐标拟合飞行平面，并将障碍物三维坐标投影到该平面。
优选的，所述步骤S5中，选取最近的两个障碍物中点与无人机当前位置所连的直线作为避开障碍物的飞行路径。
与现有技术相比，本发明的有益效果是：本发明融合毫米波和深度相机信息，使得毫米波雷达有更好的角分辨率和更好的距离精度信息；毫米波与深度相机像结合，有更小的计算量，两者体积更小，适合在小型无人机中使用。
附图说明
图1为本发明的结构示意图；
图2为本发明的工作步骤图；
图3为本发明的障碍物分布、定位工作步骤图；
图中标号：1、信息融合模块；2、控制模块；3、毫米波雷达；4、深度视觉相机；5、气压计；6、电子罗盘。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，一种基于毫米波与深度视觉相机结合的无人机避障系统，包括信息融合模块1、控制模块2、毫米波雷达3、深度视觉相机4、飞行参数测量模块以及无人机，所述毫米波雷达3、深度视觉相机4均搭载在无人机上，所述飞行参数测量模块包括气压计5以及电子罗盘6。
飞行参数测量模块获得无人机的姿态和飞行高度，信息融合模块1通过融合毫米波雷达3数据与深度视觉相机4数据，结合当前无人机的飞行姿态，获得当前无人机正前方障碍物分布情况的识别，控制模块2获得障碍物信息后，发送无人机控制信号，实现无人机自主避障。
请参阅图2，提供了一种基于毫米波与深度视觉相机结合的无人机避障系统的避障方法，包括如下步骤：
S1、无人机执行飞行任务，毫米波雷达3不断向无人机正前方发射和接收毫米波信号，获得无人机外部环境状态，并发送给控制模块2判断无人机的外部环境状态；
S2、控制模块2根据毫米波雷达3测距数据，检测无人机前方是否存在障碍物并判断是否需要进行避障操作；若需要执行避障操作则执行步骤S3，若无需避障则继续执行步骤S1；
S3、无人机判断需要进行避障操作，深度视觉相机4开始工作，捕获无人机正前方障碍物彩色和深度图像，并获得各个障碍物在图像中坐标；气压计5、电子罗盘6获得无人机自身信息；
S4、信息融合模块1融合毫米波雷达3距离信息、深度视觉障碍物坐标信息、无人机自身信息，获得障碍物空间分布与位置信息；
S5、根据障碍物空间分布和位置信息，无人机找出障碍物之间的间隙，重新规划飞行路径穿越障碍物，完成避障操作后，重复执行步骤S1。
毫米波雷达3不断向无人机正前方发射和接收毫米波信号，获得无人机外部环境状态，并发送给控制模块2判断无人机的外部环境状态；无人机设置有期望避障距离，当距离小于设定的期望避障距离时，无人机进行避障操作；当需要避障工作时，深度视觉相机4拍摄无人机正前方外部环境图片，并对所得图像信息，提取出图像中存在的障碍物及其坐标；气压计5获得当前无人机距离地面的高度，电子罗盘6获得当前无人机飞行的姿态角；在无人机执行飞行任务前，先在地面测量一次大气压获得地面海拔高度，无人机飞行后，用当前海拔减去地面海拔高度获得无人机的距离地面高度。步骤S5中，选取最近的两个障碍物中点与无人机当前位置所连的直线作为避开障碍物的飞行路径。
请参阅图3，为步骤S4中，信息融合模块获得障碍物分布和定位方法，具体包括如下步骤：
S41、由深度视觉相机4获得障碍物彩色图像中坐标和深度图像中距离信息，由毫米波雷达3获得障碍物距离信息，将两者信息对比，确定两者关系；
S42、结合气压计5、电子罗盘6获得的无人机飞行参数，得到各个障碍物在大地坐标系下的坐标；
S43、由障碍物三维坐标拟合飞行平面，并将障碍物三维坐标投影到该平面。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种基于毫米波与深度视觉相机结合的无人机避障系统，其特征在于：包括信息融合模块(1)、控制模块(2)、毫米波雷达(3)、深度视觉相机(4)、飞行参数测量模块以及无人机，所述毫米波雷达(3)、深度视觉相机(4)均搭载在无人机上，所述飞行参数测量模块包括气压计(5)以及电子罗盘(6)；所述飞行参数测量模块获得无人机的姿态和飞行高度，所述信息融合模块(1)通过融合毫米波雷达(3)数据与深度视觉相机(4)数据，结合当前无人机的飞行姿态，获得当前无人机正前方障碍物分布情况的识别，所述控制模块(2)获得障碍物信息后，发送无人机控制信号，实现无人机自主避障。
2.根据权利要求1所述的一种基于毫米波与深度视觉相机结合的无人机避障系统的避障方法，其特征在于：包括如下步骤：
S1、无人机执行飞行任务，毫米波雷达(3)不断向无人机正前方发射和接收毫米波信号，获得无人机外部环境状态，并发送给控制模块(2)判断无人机的外部环境状态；
S2、控制模块(2)根据毫米波雷达(3)测距数据，检测无人机前方是否存在障碍物并判断是否需要进行避障操作；若需要执行避障操作则执行步骤S3，若无需避障则继续执行步骤S1；
S3、无人机判断需要进行避障操作，深度视觉相机(4)开始工作，捕获无人机正前方障碍物彩色和深度图像，并获得各个障碍物在图像中坐标；气压计(5)、电子罗盘(6)获得无人机自身信息；
S4、信息融合模块(1)融合毫米波雷达(3)距离信息、深度视觉障碍物坐标信息、无人机自身信息，获得障碍物空间分布与位置信息；
S5、根据障碍物空间分布和位置信息，无人机找出障碍物之间的间隙，重新规划飞行路径穿越障碍物，完成避障操作后，重复执行步骤S1。
3.根据权利要求2所述的一种基于毫米波与深度视觉相机结合的无人机避障系统的避障方法，其特征在于：所述步骤S2中，毫米波雷达(3)发送和接受毫米波信号，获得无人机正前方最近的障碍物的距离；无人机设置有期望避障距离，当距离小于设定的期望避障距离时，无人机进行避障操作。
4.根据权利要求2所述的一种基于毫米波与深度视觉相机结合的无人机避障系统的避障方法，其特征在于：所述步骤S3中，深度视觉相机(4)拍摄无人机正前方外部环境图片，并对所得图像信息，提取出图像中存在的障碍物及其坐标。
5.根据权利要求2所述的一种基于毫米波与深度视觉相机结合的无人机避障系统的避障方法，其特征在于：所述步骤S3中，气压计(5)获得当前无人机距离地面的高度，电子罗盘(6)获得当前无人机飞行的姿态角；在无人机执行飞行任务前，先在地面测量一次大气压获得地面海拔高度，无人机飞行后，用当前海拔减去地面海拔高度获得无人机的距离地面高度。
6.根据权利要求5所述的一种基于毫米波与深度视觉相机结合的无人机避障系统的避障方法，其特征在于：所述前无人机距离地面的高度的计算公式为：
Figure FDA0003194363750000021
其中H为无人机距地高度，p为该处压强，po为常数，具体为101325pa，Ho为当前地面海拔高度。
7.根据权利要求2所述的一种基于毫米波与深度视觉相机结合的无人机避障系统的避障方法，其特征在于：所述步骤S4包括以下步骤：
S41、由深度视觉相机(4)获得障碍物彩色图像中坐标和深度图像中距离信息，由毫米波雷达(3)获得障碍物距离信息，将两者信息对比，确定两者关系；
S42、结合气压计(5)、电子罗盘(6)获得的无人机飞行参数，得到各个障碍物在大地坐标系下的坐标；
S43、由障碍物三维坐标拟合飞行平面，并将障碍物三维坐标投影到该平面。
8.根据权利要求2所述的一种基于毫米波与深度视觉相机结合的无人机避障系统的避障方法，其特征在于：所述步骤S5中，选取最近的两个障碍物中点与无人机当前位置所连的直线作为避开障碍物的飞行路径。
CN202110886620.XA 2021-08-03 2021-08-03 一种基于毫米波与深度视觉相机结合的无人机避障系统 Pending CN113625750A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110886620.XA CN113625750A (zh) 2021-08-03 2021-08-03 一种基于毫米波与深度视觉相机结合的无人机避障系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110886620.XA CN113625750A (zh) 2021-08-03 2021-08-03 一种基于毫米波与深度视觉相机结合的无人机避障系统

Publications (1)

Publication Number Publication Date
CN113625750A true CN113625750A (zh) 2021-11-09

Family

ID=78382466

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110886620.XA Pending CN113625750A (zh) 2021-08-03 2021-08-03 一种基于毫米波与深度视觉相机结合的无人机避障系统

Country Status (1)

Country Link
CN (1) CN113625750A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114782987A (zh) * 2022-03-28 2022-07-22 西南交通大学 一种基于深度相机监督的毫米波雷达姿态识别方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114782987A (zh) * 2022-03-28 2022-07-22 西南交通大学 一种基于深度相机监督的毫米波雷达姿态识别方法
CN114782987B (zh) * 2022-03-28 2023-06-20 西南交通大学 一种基于深度相机监督的毫米波雷达姿态识别方法

Similar Documents

Publication Publication Date Title
CN110068335B (zh) 一种gps拒止环境下无人机集群实时定位方法及系统
CN109596118B (zh) 一种用于获取目标对象的空间位置信息的方法与设备
CN111199578B (zh) 基于视觉辅助激光雷达的无人机三维环境建模方法
US20200191556A1 (en) Distance mesurement method by an unmanned aerial vehicle (uav) and uav
WO2017050279A9 (zh) 无人机深度图像的获取方法、装置及无人机
US20190206073A1 (en) Aircraft information acquisition method, apparatus and device
EP3792660B1 (en) Method, apparatus and system for measuring distance
CN106444837A (zh) 一种无人机避障方法及系统
CN103914065B (zh) 飞行器状态实时修正的方法和装置
CN105182992A (zh) 无人机的控制方法、装置
JP6138326B1 (ja) 移動体、移動体の制御方法、移動体を制御するプログラム、制御システム、及び情報処理装置
WO2019051832A1 (zh) 可移动物体控制方法、设备及系统
US20240153122A1 (en) Binocular vision-based environment sensing method and apparatus, and unmanned aerial vehicle
US11852726B2 (en) Image processing-based laser emission and dynamic calibration apparatus and method, device and medium
CN111077907A (zh) 一种室外无人机的自主定位方法
WO2018094576A1 (zh) 无人飞行器的控制方法、飞行控制器及无人飞行器
CN113156998A (zh) 一种无人机飞控系统及控制方法
CN115880368A (zh) 一种电网巡检无人机障碍物检测方法、系统及存储介质
CN109857133A (zh) 基于双目视觉的多旋翼无人机选择性避障控制方法
CN114923477A (zh) 基于视觉与激光slam技术的多维度空地协同建图系统和方法
CN113820709B (zh) 基于无人机的穿墙雷达探测系统及探测方法
CN113625750A (zh) 一种基于毫米波与深度视觉相机结合的无人机避障系统
WO2022193081A1 (zh) 无人机的控制方法、装置及无人机
CN116295340A (zh) 一种基于全景相机的无人机双目视觉slam方法
CN111213101A (zh) 可移动平台的巡线控制方法、设备、可移动平台及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication