CN113485450A - 一种基于计算机视觉的无人机避障系统 - Google Patents

一种基于计算机视觉的无人机避障系统 Download PDF

Info

Publication number
CN113485450A
CN113485450A CN202110950496.9A CN202110950496A CN113485450A CN 113485450 A CN113485450 A CN 113485450A CN 202110950496 A CN202110950496 A CN 202110950496A CN 113485450 A CN113485450 A CN 113485450A
Authority
CN
China
Prior art keywords
obstacle
unmanned aerial
aerial vehicle
module
barrier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110950496.9A
Other languages
English (en)
Inventor
王晓跃
高丽娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Xifeng Intelligent Technology Co ltd
Original Assignee
Jiangsu Xifeng Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Xifeng Intelligent Technology Co ltd filed Critical Jiangsu Xifeng Intelligent Technology Co ltd
Priority to CN202110950496.9A priority Critical patent/CN113485450A/zh
Publication of CN113485450A publication Critical patent/CN113485450A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开了一种基于计算机视觉的无人机避障系统,属于无人机技术领域,包括全局路径导航模块、无人机测速模块、障碍物探测模块、障碍物测速模块、障碍物类型判断模块、摄像头拍摄模块、数据处理模块、中央处理子系统、局部路径调整模块和飞行控制模块;本发明相较于针对无人机飞行前方静态障碍物的无人机避障系统而言,其通过毫米波雷达和摄像头技术实现全方位动、静态障碍物探测,并通过控制无人机飞行速度和调整无人机局部飞行路线,实现了在复杂环境下对动、静态障碍物的自动规避,从而极大程度上提高了无人机的飞行安全。

Description

一种基于计算机视觉的无人机避障系统
技术领域
本发明涉及无人机技术领域,尤其涉及一种基于计算机视觉的无人机避障系统。
背景技术
经检索,中国专利号CN105739519A公开了一种无人机激光避障系统,该发明虽然可以通过激光传感器实现对无人机飞行前方静态障碍物的躲避,但无法实现对无人机四周动态障碍物的规避;无人驾驶飞机,简称“无人机”(“UAV”),是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞行器,无人机实际上是无人驾驶飞行器的统称,从技术角度定义可以分为:无人固定翼飞机、无人垂直起降飞机、无人飞艇、无人直升机、无人多旋翼飞行器、无人伞翼机等;近年来,随着自动化技术、计算机视觉技术等科技领域水平的不断提高,无人机在军用、工业和民用领域都得到了快速发展,与载人飞机相比,它具有体积小、造价低、使用方便、对作战环境要求低、战场生存能力较强等优点,可以在复杂环境下进行各种需求的任务,但由于环境的复杂多变性,导致无人机在执行任务时会遇到各种各样的问题,其中最主要的问题就是由于多变的环境导致的无人机周围障碍物增多,使得无人机无法正确的绕过障碍物执行任务,由于环境的复杂多变性,静态的避障寻路已经不能满足时刻变化的复杂环境;因此,发明出一种基于计算机视觉的无人机避障系统变得尤为重要;
现有的基于计算机视觉的无人机避障系统大多是针对静态障碍物进行设计的,但由于环境的复杂多变性,静态的避障寻路已经不能满足时刻变化的复杂环境;为此,我们提出一种基于计算机视觉的无人机避障系统。
发明内容
本发明的目的是为了解决现有技术中存在的缺陷,而提出的一种基于计算机视觉的无人机避障系统。
为了实现上述目的,本发明采用了如下技术方案:
一种基于计算机视觉的无人机避障系统,包括全局路径导航模块、无人机测速模块、障碍物探测模块、障碍物测速模块、障碍物类型判断模块、摄像头拍摄模块、数据处理模块、中央处理子系统、局部路径调整模块和飞行控制模块;
其中,所述障碍物测速模块包括第一测速单元和第二测速单元;所述中央处理子系统包括动态障碍物轨迹预测模块、碰撞判断及处理模块、飞行状态调整模块和静态障碍物处理模块。
进一步地,所述全局路径导航模块采用A*算法对栅格化的卫星地图进行全局最优线路规划,得到全局导航路线,用于为无人机进行全局导航;
所述无人机测速模块用于获取无人机的运动速度;所述障碍物探测模块具体为毫米波雷达,其分别设置于无人机的四个方向,用于向无人机外在飞行环境持续的发射接收毫米波波束或固定间隔时间发射接收毫米波波束,以探测障碍物,得到障碍物探测结果;
所述障碍物测速模块用于对障碍物进行移动速度检测,得到障碍物移动速度结果,所述第一测速单元用于获取t时刻障碍物的移动速度V1,所述第二测速单元用于获取t+1时刻障碍物的移动速度V2。
进一步地,所述摄像头拍摄模块具体为双目摄像头,设置于无人机的四个方向,用于拍摄探测到的障碍物的视频图像;所述数据处理模块用于根据障碍物的视频图像并结合障碍物探测结果提取障碍物的基础信息,所述基础信息包括障碍物方位、距离、形状及尺寸。
进一步地,所述障碍物类型判断模块用于根据障碍物移动速度结果对障碍物进行动态或静态判断,得到障碍物判断结果,其具体判断步骤如下:
S1:首先,获取t时刻障碍物的移动速度V1以及t+1时刻障碍物的移动速度V2;
S2:然后,根据公式V=(V1+V2)/2计算障碍物平均移动速度;
S3:若平均移动速度等于零,则判断障碍物为静态;若平均移动速度大于零,则判断障碍物为动态。
进一步地,所述动态障碍物轨迹预测模块用于根据障碍物判断结果为动态的障碍物进行轨迹预测,得到动态障碍物的运动轨迹;所述碰撞判断及处理模块用于将动态障碍物的运动轨迹和全局导航路线进行比对判断,得到碰撞结果,其具体过程如下:
SS1:首先,获取动态障碍物的运动轨迹和全局导航路线;
SS2:判断动态障碍物的运动轨迹和全局导航路线是否处于同一线路,是,则判断一定发生碰撞;反之,则跳到下一判断环节;
SS3:判断动态障碍物的运动轨迹和全局导航路线是否相交,否,则判断无碰撞概率;反之,则跳到下一环节;
SS4:提取动态障碍物和无人机的运动速度,根据其计算碰撞点;
所述飞行状态调整模块用于根据碰撞结果中的碰撞点进行无人机飞行速度调整,得到速度调整指令。
进一步地,所述静态障碍物处理模块用于获取障碍物的基础信息,并根据基础信息将其栅格化进卫星地图,并进行标记,得到标记后的卫星地图。
进一步地,所述局部路径调整模块用于根据一定发生碰撞的碰撞结果或标记后的卫星地图对无人机进行局部路径调整,得到局部路径调整线路;所述飞行控制模块用于根据速度调整指令或局部路径调整线路对无人机进行飞行控制,避免发生碰撞。
相比于现有技术,本发明的有益效果在于:
本申请提出的一种基于计算机视觉的无人机避障系统,相较于针对无人机飞行前方静态障碍物的无人机避障系统而言,其通过毫米波雷达和摄像头技术实现了全方位动、静态障碍物探测,并获取动态障碍物的运动轨迹和全局导航路线,判断动态障碍物的运动轨迹和全局导航路线是否处于同一线路,同时判断动态障碍物的运动轨迹和全局导航路线是否相交,并根据判断结果提取动态障碍物和无人机的运动速度,同时计算碰撞点,最后通过控制无人机飞行速度和调整无人机局部飞行路线,实现了在复杂环境下对动、静态障碍物的自动规避,从而极大程度上提高了无人机的飞行安全。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。
图1为本发明提出的一种基于计算机视觉的无人机避障系统的整体结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。
在本发明的描述中,需要理解的是,术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
实施例1
参照图1,本实施例公开了一种基于计算机视觉的无人机避障系统,包括全局路径导航模块、无人机测速模块、障碍物探测模块、障碍物测速模块、障碍物类型判断模块、摄像头拍摄模块、数据处理模块、中央处理子系统、局部路径调整模块和飞行控制模块;
全局路径导航模块采用A*算法对栅格化的卫星地图进行全局最优线路规划,得到全局导航路线,用于为无人机进行全局导航;
无人机测速模块用于获取无人机的运动速度;
障碍物探测模块具体为毫米波雷达,其分别设置于无人机的四个方向,用于向无人机外在飞行环境持续的发射接收毫米波波束或固定间隔时间发射接收毫米波波束,以探测障碍物,得到障碍物探测结果;
障碍物测速模块用于对障碍物进行移动速度检测,得到障碍物移动速度结果;
具体的,该障碍物测速模块包括第一测速单元和第二测速单元,该第一测速单元用于获取t时刻障碍物的移动速度V1,该第二测速单元用于获取t+1时刻障碍物的移动速度V2。
摄像头拍摄模块具体为双目摄像头,设置于无人机的四个方向,用于拍摄探测到的障碍物的视频图像;
具体的,该双目摄像头可进行0~90度旋转。
数据处理模块用于根据障碍物的视频图像并结合障碍物探测结果提取障碍物的基础信息,基础信息包括障碍物方位、距离、形状及尺寸;
障碍物类型判断模块用于根据障碍物移动速度结果对障碍物进行动态或静态判断,得到障碍物判断结果;
本实施例进一步公开了对障碍物进行动态或静态判断,其步骤如下:首先,获取t时刻障碍物的移动速度V1以及t+1时刻障碍物的移动速度V2;然后,根据公式V=(V1+V2)/2计算障碍物平均移动速度;若平均移动速度等于零,则判断障碍物为静态;若平均移动速度大于零,则判断障碍物为动态。
中央处理子系统包括动态障碍物轨迹预测模块、碰撞判断及处理模块、飞行状态调整模块和静态障碍物处理模块;
具体的,该动态障碍物轨迹预测模块用于根据障碍物判断结果为动态的障碍物进行轨迹预测,得到动态障碍物的运动轨迹;
该碰撞判断及处理模块用于将动态障碍物的运动轨迹和全局导航路线进行比对判断,得到碰撞结果;
该飞行状态调整模块用于根据碰撞结果中的碰撞点进行无人机飞行速度调整,得到速度调整指令。
该静态障碍物处理模块用于获取障碍物的基础信息,并根据基础信息将其栅格化进卫星地图,并进行标记,得到标记后的卫星地图。
局部路径调整模块用于根据一定发生碰撞的碰撞结果或标记后的卫星地图对无人机进行局部路径调整,得到局部路径调整线路;
具体的,该局部路径调整模块通过栅格法实现,即将动态障碍物和静态障碍物栅格进卫星地图,对于动态障碍物根据其运动速度进行动态模拟。
飞行控制模块用于根据速度调整指令或局部路径调整线路对无人机进行飞行控制,避免发生碰撞;
具体的,在判断障碍物为静态或动态时,通过获取t时刻障碍物的移动速度V1以及t+1时刻障碍物的移动速度V2,然后,根据公式V=(V1+V2)/2计算障碍物平均移动速度,若平均移动速度等于零,则判断障碍物为静态;若平均移动速度大于零,则判断障碍物为动态,通过毫米波雷达和摄像头技术实现全方位动、静态障碍物探测,从而自动规避,极大程度上提高了无人机的飞行安全。
实施例2
参照图1,本实施例公开了一种基于计算机视觉的无人机避障系统,包括全局路径导航模块、无人机测速模块、障碍物探测模块、障碍物测速模块、障碍物类型判断模块、摄像头拍摄模块、数据处理模块、中央处理子系统、局部路径调整模块和飞行控制模块;
除与上述实施例相同结构外,本实施例将具体介绍碰撞判断及处理模块;
具体的,该碰撞判断及处理模块具体过程如下:首先,获取动态障碍物的运动轨迹和全局导航路线;判断动态障碍物的运动轨迹和全局导航路线是否处于同一线路,是,则判断一定发生碰撞;反之,则跳到下一判断环节;判断动态障碍物的运动轨迹和全局导航路线是否相交,否,则判断无碰撞概率;反之,则跳到下一环节;提取动态障碍物和无人机的运动速度,根据其计算碰撞点;
本实施例中基于计算机视觉的无人机避障系统,相较于针对无人机飞行前方静态障碍物的无人机避障系统而言,其通过毫米波雷达和摄像头技术实现全方位动、静态障碍物探测,并通过控制无人机飞行速度和调整无人机局部飞行路线,其中通过获取动态障碍物的运动轨迹和全局导航路线,判断动态障碍物的运动轨迹和全局导航路线是否处于同一线路,同时判断动态障碍物的运动轨迹和全局导航路线是否相交,并通过提取动态障碍物和无人机的运动速度,根据其计算碰撞点,实现了在复杂环境下对动、静态障碍物的自动规避,从而极大程度上提高了无人机的飞行安全。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种基于计算机视觉的无人机避障系统,其特征在于,包括全局路径导航模块、无人机测速模块、障碍物探测模块、障碍物测速模块、障碍物类型判断模块、摄像头拍摄模块、数据处理模块、中央处理子系统、局部路径调整模块和飞行控制模块;
其中,所述障碍物测速模块包括第一测速单元和第二测速单元;所述中央处理子系统包括动态障碍物轨迹预测模块、碰撞判断及处理模块、飞行状态调整模块和静态障碍物处理模块。
2.根据权利要求1所述的一种基于计算机视觉的无人机避障系统,其特征在于,所述全局路径导航模块采用A*算法对栅格化的卫星地图进行全局最优线路规划,得到全局导航路线,用于为无人机进行全局导航;
所述无人机测速模块用于获取无人机的运动速度;所述障碍物探测模块具体为毫米波雷达,其分别设置于无人机的四个方向,用于向无人机外在飞行环境持续的发射接收毫米波波束或固定间隔时间发射接收毫米波波束,以探测障碍物,得到障碍物探测结果;
所述障碍物测速模块用于对障碍物进行移动速度检测,得到障碍物移动速度结果,所述第一测速单元用于获取t时刻障碍物的移动速度V1,所述第二测速单元用于获取t+1时刻障碍物的移动速度V2。
3.根据权利要求1所述的一种基于计算机视觉的无人机避障系统,其特征在于,所述摄像头拍摄模块具体为双目摄像头,设置于无人机的四个方向,用于拍摄探测到的障碍物的视频图像;所述数据处理模块用于根据障碍物的视频图像并结合障碍物探测结果提取障碍物的基础信息,所述基础信息包括障碍物方位、距离、形状及尺寸。
4.根据权利要求2所述的一种基于计算机视觉的无人机避障系统,其特征在于,所述障碍物类型判断模块用于根据障碍物移动速度结果对障碍物进行动态或静态判断,得到障碍物判断结果,其具体判断步骤如下:
S1:首先,获取t时刻障碍物的移动速度V1以及t+1时刻障碍物的移动速度V2;
S2:然后,根据公式V=(V1+V2)/2计算障碍物平均移动速度;
S3:若平均移动速度等于零,则判断障碍物为静态;若平均移动速度大于零,则判断障碍物为动态。
5.根据权利要求1所述的一种基于计算机视觉的无人机避障系统,其特征在于,所述动态障碍物轨迹预测模块用于根据障碍物判断结果为动态的障碍物进行轨迹预测,得到动态障碍物的运动轨迹;所述碰撞判断及处理模块用于将动态障碍物的运动轨迹和全局导航路线进行比对判断,得到碰撞结果,其具体过程如下:
SS1:首先,获取动态障碍物的运动轨迹和全局导航路线;
SS2:判断动态障碍物的运动轨迹和全局导航路线是否处于同一线路,是,则判断一定发生碰撞;反之,则跳到下一判断环节;
SS3:判断动态障碍物的运动轨迹和全局导航路线是否相交,否,则判断无碰撞概率;反之,则跳到下一环节;
SS4:提取动态障碍物和无人机的运动速度,根据其计算碰撞点;
所述飞行状态调整模块用于根据碰撞结果中的碰撞点进行无人机飞行速度调整,得到速度调整指令。
6.根据权利要求1所述的一种基于计算机视觉的无人机避障系统,其特征在于,所述静态障碍物处理模块用于获取障碍物的基础信息,并根据基础信息将其栅格化进卫星地图,并进行标记,得到标记后的卫星地图。
7.根据权利要求1所述的一种基于计算机视觉的无人机避障系统,其特征在于,所述局部路径调整模块用于根据一定发生碰撞的碰撞结果或标记后的卫星地图对无人机进行局部路径调整,得到局部路径调整线路;所述飞行控制模块用于根据速度调整指令或局部路径调整线路对无人机进行飞行控制,避免发生碰撞。
CN202110950496.9A 2021-08-18 2021-08-18 一种基于计算机视觉的无人机避障系统 Withdrawn CN113485450A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110950496.9A CN113485450A (zh) 2021-08-18 2021-08-18 一种基于计算机视觉的无人机避障系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110950496.9A CN113485450A (zh) 2021-08-18 2021-08-18 一种基于计算机视觉的无人机避障系统

Publications (1)

Publication Number Publication Date
CN113485450A true CN113485450A (zh) 2021-10-08

Family

ID=77946887

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110950496.9A Withdrawn CN113485450A (zh) 2021-08-18 2021-08-18 一种基于计算机视觉的无人机避障系统

Country Status (1)

Country Link
CN (1) CN113485450A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114063630A (zh) * 2021-11-26 2022-02-18 深圳草莓创新技术有限公司 一种具有不同避障优先级提高无人机避障功能的控制方法
CN114620224A (zh) * 2022-05-16 2022-06-14 深圳市国天电子股份有限公司 基于毫米波雷达的防撞无人机及其使用方法
CN117075515A (zh) * 2023-09-05 2023-11-17 江苏芯安集成电路设计有限公司 基于视觉分析调整飞行姿态的单片机控制系统
WO2024082369A1 (zh) * 2022-10-17 2024-04-25 广东汇天航空航天科技有限公司 飞行器避障方法、系统及计算机可读存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114063630A (zh) * 2021-11-26 2022-02-18 深圳草莓创新技术有限公司 一种具有不同避障优先级提高无人机避障功能的控制方法
CN114620224A (zh) * 2022-05-16 2022-06-14 深圳市国天电子股份有限公司 基于毫米波雷达的防撞无人机及其使用方法
WO2024082369A1 (zh) * 2022-10-17 2024-04-25 广东汇天航空航天科技有限公司 飞行器避障方法、系统及计算机可读存储介质
CN117075515A (zh) * 2023-09-05 2023-11-17 江苏芯安集成电路设计有限公司 基于视觉分析调整飞行姿态的单片机控制系统
CN117075515B (zh) * 2023-09-05 2024-04-16 江苏芯安集成电路设计有限公司 基于视觉分析调整飞行姿态的单片机控制系统

Similar Documents

Publication Publication Date Title
US11218689B2 (en) Methods and systems for selective sensor fusion
CN113485450A (zh) 一种基于计算机视觉的无人机避障系统
US11604479B2 (en) Methods and system for vision-based landing
CN113485441B (zh) 结合无人机高精度定位和视觉跟踪技术的配网巡检方法
US20180032042A1 (en) System And Method Of Dynamically Controlling Parameters For Processing Sensor Output Data
US20190243376A1 (en) Actively Complementing Exposure Settings for Autonomous Navigation
CN106774436A (zh) 基于视觉的旋翼无人机稳定跟踪目标的控制系统及方法
CN112130579A (zh) 一种隧道无人机巡检方法及系统
WO2018137133A1 (en) Systems and methods for radar control on unmanned movable platforms
Huh et al. A vision-based landing system for small unmanned aerial vehicles using an airbag
CN105182992A (zh) 无人机的控制方法、装置
Li et al. UAV autonomous landing technology based on AprilTags vision positioning algorithm
CN106200672A (zh) 一种基于光流的无人机避障方法
Huh et al. Vision-based sense-and-avoid framework for unmanned aerial vehicles
US20190066522A1 (en) Controlling Landings of an Aerial Robotic Vehicle Using Three-Dimensional Terrain Maps Generated Using Visual-Inertial Odometry
CN110825108A (zh) 一种在同一空域内多架跟踪无人机的协同防碰撞方法
CN111273679A (zh) 一种视觉引导的小型固定翼无人机撞网回收纵向制导方法
Zsedrovits et al. Onboard visual sense and avoid system for small aircraft
CN212276274U (zh) 基于ads-b的目标无人机自动跟踪系统
Lombaerts et al. Adaptive multi-sensor fusion based object tracking for autonomous urban air mobility operations
CN110997488A (zh) 动态控制用于处理传感器输出数据的参数的系统和方法
Shim et al. Autonomous landing of UAV using vision based approach and PID controller based outer loop
Dolph et al. Detection and Tracking of Aircraft from Small Unmanned Aerial Systems
Moraes et al. Autonomous Quadrotor for accurate positioning
US20220390965A1 (en) Mobile platform vision sensor systems and methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20211008

WW01 Invention patent application withdrawn after publication