CN106292704A - 规避障碍物的方法及装置 - Google Patents
规避障碍物的方法及装置 Download PDFInfo
- Publication number
- CN106292704A CN106292704A CN201610806282.3A CN201610806282A CN106292704A CN 106292704 A CN106292704 A CN 106292704A CN 201610806282 A CN201610806282 A CN 201610806282A CN 106292704 A CN106292704 A CN 106292704A
- Authority
- CN
- China
- Prior art keywords
- barrier
- unmanned plane
- panoramic picture
- board
- flight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004888 barrier function Effects 0.000 title claims abstract description 202
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000004891 communication Methods 0.000 claims abstract description 23
- 238000005259 measurement Methods 0.000 claims abstract description 20
- 230000000007 visual effect Effects 0.000 claims abstract description 20
- 238000004458 analytical method Methods 0.000 claims abstract description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 22
- 230000003287 optical effect Effects 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 230000003068 static effect Effects 0.000 claims description 4
- 230000004224 protection Effects 0.000 abstract description 7
- 230000008901 benefit Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 230000005021 gait Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000000284 resting effect Effects 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004549 pulsed laser deposition Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Studio Devices (AREA)
Abstract
本发明公开一种规避障碍物的方法及装置,应用于相互通信连接的无人机及辅助驾驶设备。所述方法包括:无人机获取全景图像,发送全景图像给辅助驾驶设备;辅助驾驶设备接收全景图像,对全景图像进行视觉场景分析,获得全景图像下的场景及物体;对全景图像中无人机飞行路径周边的场景进行障碍物识别,在存在障碍物时,发送障碍物的方位信息给无人机;无人机对障碍物所在的方位进行距离探测,得到障碍物与无人机之间的距离;无人机根据障碍物的方位和障碍物与无人机之间的距离,规避障碍物。本发明提供的技术方案具有能锁定并规避动态障碍物以实现无人机720°保护的特点。
Description
技术领域
本发明涉及无人机控制领域,具体而言,涉及一种规避障碍物的方法及装置。
背景技术
无人驾驶飞机简称“无人机”,英文缩写为“UAV”,是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机。无人机,是一种具有多个旋翼轴的无人驾驶飞机。其通过每个轴上的电动机转动,带动旋翼,从而产生升推力。无人机引擎环绕着飞机机身设计,当任意一个螺旋桨遭到损坏时,都会导致坠机的致命问题。
因此为了实现无人机的安全飞行,在现有技术中,无人机的辅助驾驶,主要是通过陀螺仪、GPS、空速头等传感器的方式,保持无人机飞行姿态的平稳,以及空间位置的转移等,因而实现无人机的无人驾驶和辅助驾驶员操纵飞机的功能。但是现有技术只能对无人机的飞行方向或者特定方面对无人机进行规避障碍等,而不能实现动态障碍物规避和动态目标锁定,无法对无人机上、下、左、右、前、后方向实施720°(全方位)保护。
发明内容
为了克服现有技术中的上述不足,本发明所要解决的技术问题是提供一种规避障碍物的方法及装置以解决动态障碍物锁定、动态障碍物规避及无人机的720°保护的问题。
为了实现上述目的,本发明实施例采用的技术方案如下:
本发明的第一较佳实施例提供一种规避障碍物的方法,应用于相互通信连接的无人机及辅助驾驶设备,该方法包括:
无人机获取全景图像,发送全景图像给辅助驾驶设备;
辅助驾驶设备接收全景图像,对全景图像进行视觉场景分析,获得全景图像下的场景及物体;
对全景图像中无人机飞行路径周边的场景进行障碍物识别,在存在障碍物时,发送障碍物的方位信息给无人机;
无人机对障碍物所在的方位进行距离探测,得到障碍物与无人机之间的距离;
无人机根据障碍物的方位和障碍物与无人机之间的距离,规避障碍物。
本发明的第二较佳实施例还提供一种规避障碍物的方法,应用于与辅助驾驶设备通信连接的无人机,该方法包括:
获取全景图像,发送全景图像给辅助驾驶设备,由辅助驾驶设备对获取的全景图像进行视觉场景分析,获得全景图像下的场景及物体,对全景图像中无人机飞行路径周边的场景进行障碍物识别;
接收辅助驾驶设备发送的障碍物的方位信息;
对障碍物进行距离探测,得到障碍物与无人机之间的距离;
根据障碍物的方位和障碍物与无人机之间的距离,规避障碍物。
本发明的第三较佳实施例还提供一种规避障碍物的装置,应用于与辅助驾驶设备通信连接的无人机,该装置包括:
获取模块,用于获取全景图像,发送全景图像给辅助驾驶设备,由辅助驾驶设备对获取的全景图像进行视觉场景分析,获得全景图像下的场景及物体,对全景图像中无人机飞行路径周边的场景进行障碍物识别;
接收模块,用于接收辅助驾驶设备发送的障碍物的方位信息;
距离探测模块,用于对障碍物进行距离探测,得到障碍物与无人机之间的距离;
规避模块,用于根据障碍物的方位和障碍物与无人机之间的距离,规避障碍物。
相对于现有技术而言,本发明实施例提供的规避障碍物的方法及装置,具有以下有益效果:
本发明实施例提供的规避障碍物的方法及装置,通过运用全景光学图像识别技术实时获取无人机上方下方全景图像,保证了无人机周围所有视野均被监控,然后对全景图像进行视觉场景分析识别出障碍物。探测无人机与障碍物之间的距离。然后根据识别的障碍物以及距离信息,控制无人机规避障碍物,具有能锁定并规避动态障碍物以实现无人机720°保护的特点。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的无人机与辅助驾驶设备的交互示意图;
图2为本发明实施例提供的无人机的方框示意图;
图3为本发明第一实施例提供的规避障碍物的方法的流程图;
图4为本发明第二实施例提供的规避障碍物的方法的流程图;
图5为本发明第三实施例提供的规避障碍物的装置的功能模块框图。
图标:100-无人机;200-辅助驾驶设备;300-网络;110-规避障碍物的装置;111-存储器;112-存储控制器;113-处理器;114-通信单元;1101-获取模块;1102-接收模块;1103-距离探测模块;1104-规避模块。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
请参照图1,图1是本发明较佳实施例提供的无人机100与辅助驾驶设备200通信的交互示意图。所述无人机100可通过网络300与所述辅助驾驶设备200进行通信,以实现无人机100与辅助驾驶设备200之间的数据通信或交互。
所述无人机100可以是,但不限于,多旋翼无人机、固定翼无人机、伞翼无人机等等。所述无人机100上可以安装有自动驾驶仪、控制装置等硬件设备。
所述无人机100包括机身及机翼。机身内设有驱动装置、无线通讯装置、电源等等。无线通讯装置用于无人机100与辅助驾驶设备200进行数据通信。比如,无人机100的飞行信息可以通过无线通讯装置传送给辅助驾驶设备200。无人机100也可以通过无线通讯装置接收所述辅助驾驶设备200发送的控制指令。
无人机100上设置有云台,用于搭载其他设备,如图像采集装置(比如,光学摄像头)、测距仪器(比如,雷达)等。通过改变云台的方向,可以改变图像采集的视野和测距的范围。
请参照图2,图2为所述无人机100的方框示意图。所述无人机100包括规避障碍物的装置110、所述存储器111、存储控制器112、处理器113及通信单元114各元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述避障碍物的装置110包括至少一个可以软件或固件(firmware)的形式存储于所述存储器111中或固化在所述无人机100的操作系统(operating system,OS)中的软件功能模块。所述存储器111存储有所述无人机100用于进行壁障路径计算的应用程序。所述处理器113用于执行所述存储器111中存储的可执行模块,例如所述规避障碍物的装置110所包括的软件功能模块及计算机程序等。
其中,所述存储器111可以是,但不限于,随机存取存储器(Random AccessMemory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(ProgrammableRead-Only Memory,PROM),可擦除只读存储器(Erasable Programmable Read-OnlyMemory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory,EEPROM)等。其中,存储器111用于存储程序,所述处理器113在接收到执行指令后,执行所述程序。所述处理器113以及其他可能的组件对存储器111的访问可在所述存储控制器112的控制下进行。
所述处理器113可能是一种集成电路芯片,具有信号的处理能力。上述的处理器113可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(DSP))、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述通信单元114用于通过所述网络300建立所述无人机100与辅助驾驶设备200之间的通信连接,从而实现所述无人机100与所述辅助驾驶设备200之间的数据通信。
第一实施例
请参照图3,图3是本发明第一实施例提供的规避障碍物的方法的流程图,所述方法应用于相互连接通信的无人机100及辅助驾驶设备200,下面将对规避障碍物的方法具体流程进行详细阐述。
步骤S111,无人机100获取全景图像,发生全景图像给辅助驾驶设备200。
在本实施例中,所述无人机100可以通过设置两个全景光学相机进行所述无人机100周边全景图像的采集。具体地,所述两个全景光学相机的设置位置可以是相对的,以便于实现无死角的图像采集。在本实施例中,优选地,其中一个全景光学相机设置于所述无人机100的螺旋桨一侧用于获取天空的图像,另一个全景光学相机设置于所述无人机100的腹部用于获取地面的图像。在设置全景光学相机时,还应避免无人机100的自身部件身部件遮挡所述全景光学相机的图像采集视野。将两个全景光学相机采集的图像进行合并,即得到所述无人机100的全景图像。将获取的全景图像再通过无线通讯装置传送给辅助驾驶设备200。
步骤S112,辅助驾驶设备200接收全景图像,对全景图像进行视觉场景分析,获得全景图像下的场景和物体。
在本实施例中,辅助驾驶设备200采用深度学习的神经网络算法对所述全景图像进行视觉场景分析,以获得所述全景图像下的场景及物体。
其中,所述深度学习的神经网络算法是模式识别中常见的识别算法。通过所述深度学习的神经网络算法所述辅助驾驶设备200可以分辨出无人机100所处的场景(比如,天空、城市或沙漠等)。同时还可以识别出该场景下的物体(比如,人、动物及电杆等)。
步骤S113,对全景图像中无人机100飞行路径周边的场景进行障碍物识别,在存在障碍物时,发送障碍物的方位信息给无人机100。
在所述辅助驾驶设备200进行视觉场景分析后,所述辅助驾驶设备200对所述无人机100飞行路径周边的场景中的障碍物进行障碍物识别。
具体地,在本实施例中,所述无人机100预设有一飞行路径。无人机100在所述飞行路径上飞行,所述辅助驾驶设备200接收全景图像后,对所述飞行路径进行障碍物识别,当所述飞行路径及所述飞行路径附近存在障碍物的时候,再将障碍物的方位信息发送给无人机100。
步骤S114,无人机100对障碍物所在的方位进行距离探测,得到障碍物与无人机100之间的距离。
具体地,在本实施例中,所述无人机100上设置有云台,所述连续波雷达固定连接在所述云台上。其中,所述连续波雷达为连续发射电磁波的雷达。连续波雷达具有对相当距离内的具有任何速度的目标进行测速的特点。优选地,本实施例可以采用毫米连续波雷达,进行障碍物的距离探测。
所述无人机100在接收到所述辅助驾驶设备200发送的障碍物所在的方位后,调整所述云台使所述连续波雷达对准所述障碍物所在的方位。当所述连续波雷达对准所述障碍物后,所述连续波雷达对所述障碍物进行距离探测,得到所述障碍物与所述无人机100之间的距离。
步骤S115,所述无人机100根据障碍物的方位和障碍物与所述无人机100之间的距离,规避障碍物。
无人机100根据所述障碍物的方位和距离,规避障碍物。在本实施例中,所述无人机100通过接收到的所述辅助驾驶设备200发送的障碍物的方位和障碍物与所述无人机100之间的距离,判断飞行路径的周围是否存在障碍物。
若不存在障碍物,则无人机100继续按照预设的飞行路径前行。
若存在障碍物时,则监测障碍物的飞行状态和飞行轨迹,并判断当所述无人机100以目前飞行速度与飞行路径进行飞行时是否会与障碍物相撞,若存在相撞的可能时,调整所述无人机100的飞行速度或飞行路径对所述障碍物进行规避。
具体地,当障碍物在所述无人机100飞行路径的前方时,判断障碍物是否为静止。当障碍物为静止状态时,所述无人机100进行减速,直到悬停,由辅助驾驶人员操纵所述辅助驾驶设备200使所述无人机100规避障碍物。在障碍物为运动状态时,判断所述无人机100以目前飞行速度与飞行路径进行飞行时会是否与障碍物相撞。若不会相撞,则继续保持原有飞行路径继续前行。若会相撞,则改变无人机100的飞行速度或飞行路径。
在本实施例中,改变的飞行速度或飞行路径可以通过采用贪心算法和高度优先的策略计算得到。其中,贪心算法是一种获取局部最优解的算法,贪心算法为一现有算法在此不再赘述。所述高度优先是指在存在多条规避障碍物的路径时,上升进行规避的路线优于下降进行规避的路线,下降进行规避的路线优于在水平面的其他方向进行规避的路线。
具体地,当所述无人机100需要规避障碍物时,首先判断无人机100的上下方是否有障碍物,若上方和下方均无障碍物,则上升规避;若上方和下方其中一方有障碍物,则向没有障碍物一方进行规避;若上方和下方均有障碍物,要么重新规划行驶路径、要么通过加速前行或者进行迫降的方式实现障碍物规避。
当障碍物在所述无人机100飞行路径的后方时,判断所述无人机100以目前飞行速度与飞行路径进行飞行时是否与会后方障碍物相撞。若不会相撞,则继续保持原有飞行路径继续前行。若会相撞,则结合障碍物的运行方向及行进速度计算其和所述无人机100发生碰撞的位置,通过贪心算法及高度优先的策略找到最优规避路线进行规避。具体地,可以选取上下左右最宽敞的方向进行规避。
当障碍物在所述无人机100飞行路径的侧方时,判断所述无人机100以目前飞行速度与飞行路径进行飞行时会是否与侧方障碍物相撞。若不会相撞,则继续保持原有飞行路径继续前行;若会相撞,则旋转雷达测量侧方障碍物与无人机100之间的距离,则结合障碍物的运行方向及行进速度计算其和所述无人机100发生碰撞的位置。通过贪心算法及高度优先的策略找到最优规避路线进行规避。具体地,可以选取上下最宽敞方向躲避,若上下方向无法躲避,则加速前进躲避。
第二实施例
请参照图4,图4是本发明第二实施例提供的规避障碍物的方法的流程图,所述方法应用于与辅助驾驶设备200通信连接的无人机100。下面对规避障碍物的方法的具体流程进行详细阐述。
步骤S211,无人机100获取全景图像,发送全景图像给辅助驾驶设备200,由辅助驾驶设备200对获取的全景图像进行视觉场景分析,获得全景图像下的场景及物体,对全景图像中无人机100的飞行路径周边的场景进行障碍物识别。
具体地,无人机100通过全景光学相机获取全景图像后,将全景图像的数据传给辅助驾驶设备200,辅助驾驶设备200接收到无人机100获取的全景图像,辅助驾驶设备200采用深度学习的神经网络算法对所述全景图像进行视觉场景分析,以获得所述全景图像下的场景及物体。
其中,所述深度学习的神经网络算法是模式识别中常见的识别算法。通过所述深度学习的神经网络算法所述辅助驾驶设备200可以分辨出无人机100所处的场景(比如,天空、城市或沙漠等)。同时还可以识别出该场景下的物体(比如,人、动物及电杆等)。
所述无人机100预设有一飞行路径。无人机100在所述飞行路径上飞行,所述辅助驾驶设备200接收全景图像后,对所述飞行路径进行障碍物识别,当所述飞行路径及所述飞行路径附近存在障碍物的时候,再将障碍物的方位信息发送给无人机100。
步骤S212,所述无人机100接收辅助驾驶设备200发送的障碍物的方位信息。
步骤S213,对障碍物进行距离探测,得到障碍物与无人机100之间的距离。
具体地,在本实施例中,所述无人机100在接收到所述辅助驾驶设备200发送的障碍物所在的方位后,调整所述云台使所述连续波雷达对准所述障碍物所在的方位。当所述连续波雷达对准所述障碍物后,所述连续波雷达对所述障碍物进行距离探测,得到所述障碍物与所述无人机100之间的距离。
步骤S214,无人机100根据障碍物的方位和障碍物与无人机100之间的距离,规避障碍物。
无人机100根据所述障碍物的方位和距离,规避障碍物。在本实施例中,所述无人机100通过接收到的所述辅助驾驶设备200发送的障碍物的方位和障碍物与所述无人机100之间的距离,判断飞行路径的周围是否存在障碍物。
若不存在障碍物,则无人机100继续按照预设的飞行路径前行。
若存在障碍物时,则监测障碍物的飞行状态和飞行轨迹,并判断当所述无人机100以目前飞行速度与飞行路径进行飞行时是否会与障碍物相撞,若存在相撞的可能时,调整所述无人机100的飞行速度或飞行路径对所述障碍物进行规避。
具体地,当障碍物在所述无人机100飞行路径的前方时,判断障碍物是否为静止。当障碍物为静止状态时,所述无人机100进行减速,直到悬停,由辅助驾驶人员操纵所述辅助驾驶设备200使所述无人机100规避障碍物。在障碍物为运动状态时,判断所述无人机100以目前飞行速度与飞行路径进行飞行时会是否与障碍物相撞。若不会相撞,则继续保持原有飞行路径继续前行。若会相撞,则改变无人机100的飞行速度或飞行路径。
在本实施例中,改变的飞行速度或飞行路径可以通过采用贪心算法和高度优先的策略计算得到。其中,贪心算法是一种获取局部最优解的算法,贪心算法为一现有算法在此不再赘述。所述高度优先是指在存在多条规避障碍物的路径时,上升进行规避的路线优于下降进行规避的路线,下降进行规避的路线优于在水平面的其他方向进行规避的路线。
具体地,当所述无人机100需要规避障碍物时,首先判断无人机100的上下方是否有障碍物,若上方和下方均无障碍物,则上升规避;若上方和下方其中一方有障碍物,则向没有障碍物一方进行规避;若上方和下方均有障碍物,要么重新规划行驶路径、要么通过加速前行或者进行迫降的方式实现障碍物规避。
当障碍物在所述无人机100飞行路径的后方时,判断所述无人机100以目前飞行速度与飞行路径进行飞行时是否与会后方障碍物相撞。若不会相撞,则继续保持原有飞行路径继续前行。若会相撞,则结合障碍物的运行方向及行进速度计算其和所述无人机100发生碰撞的位置,通过贪心算法及高度优先的策略找到最优规避路线进行规避。具体地,可以选取上下左右最宽敞的方向进行规避。
当障碍物在所述无人机100飞行路径的侧方时,判断所述无人机100以目前飞行速度与飞行路径进行飞行时会是否与侧方障碍物相撞。若不会相撞,则继续保持原有飞行路径继续前行;若会相撞,则旋转雷达测量侧方障碍物与无人机100之间的距离,并结合障碍物的运行方向及行进速度计算其和所述无人机100发生碰撞的位置。通过贪心算法及高度优先的策略找到最优规避路线进行规避。具体地,可以选取上下最宽敞方向躲避,若上下方向无法躲避,则加速前进躲避。
第三实施例
请参照图5,图5为本发明第三实施例提供的规避障碍物的装置110的功能模块框图,所述装置应用于与所述辅助驾驶设备200通信连接的无人机100。该装置包括:获取模块1101、接收模块1102、距离探测模块1103、规避模块1104。
所述获取模块1101,用于获取全景图像,发送全景图像给辅助驾驶设备200,由辅助驾驶设备200对获取的全景图像进行视觉场景分析,获得全景图像下的场景及物体,对全景图像中所述无人机100飞行路径周边的场景进行障碍物识别。
所述接收模块1102,用于接收辅助驾驶设备200发送的障碍物的方位信息。
所述距离探测模块1103,用于对障碍物进行距离探测,得到障碍物与无人机100之间的距离。
所述规避模块1104,用于根据障碍物的方位和障碍物与无人机100之间的距离,规避障碍物。
综上所述,本发明实施例提供的规避障碍物的方法及装置,在多旋翼无人机上搭载毫米连续波雷达,以及采用全景光学图像识别技术。通过运用全景光学图像识别技术实时获取无人机上方下方全景图像,保证了无人机周围所有视野均被监控,然后对全景图像进行视觉场景分析。毫米连续波雷达能够探测到无人机与障碍物之间的距离。然后根据识别的物体以及距离位置信息,直接控制无人机进行升高、降落等躲避和锁定动作,解决了多旋翼无人机驾驶中三个重要的应用问题:动态障碍物规避、动态目标锁定、720°无人机保护。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种规避障碍物的方法,应用于相互通信连接的无人机及辅助驾驶设备,其特征在于,所述方法包括:
所述无人机获取全景图像,发送所述全景图像给所述辅助驾驶设备;
所述辅助驾驶设备接收所述全景图像,对所述全景图像进行视觉场景分析,获得所述全景图像下的场景及物体;
对所述全景图像中所述无人机飞行路径周边的场景进行障碍物识别,在存在障碍物时,发送障碍物的方位信息给所述无人机;
所述无人机对所述障碍物所在的方位进行距离探测,得到所述障碍物与所述无人机之间的距离;
所述无人机根据所述障碍物的方位和所述障碍物与所述无人机之间的距离,规避所述障碍物。
2.根据权利要求1所述的规避障碍物的方法,其特征在于,在所述无人机获取全景图像的步骤中:
所述无人机通过安装于所述无人机上的两个全景光学相机实时获取所述全景图像。
3.根据权利要求1所述的规避障碍物的方法,其特征在于,在所述无人机对所述障碍物所在的方位进行距离探测,得到所述障碍物与所述无人机之间的距离的步骤中:
所述无人机通过安装于所述无人机上的连续波雷达进行距离探测。
4.根据权利要求1所述的规避障碍物的方法,其特征在于,所述对所述全景图像进行视觉场景分析,获得所述全景图像下的场景及物体的步骤包括:
采用基于深度学习的神经网络算法对所述全景图像进行视觉场景分析,获得所述全景图像下的场景及物体。
5.根据权利要求1所述的规避障碍物的方法,其特征在于,所述无人机根据所述障碍物的方位和所述障碍物与所述无人机之间的距离,规避所述障碍物的步骤包括:
判断所述无人机的飞行路径的周边是否存在障碍物;
若存在障碍物时,监测所述障碍物的飞行状态及飞行轨迹;
当所述无人机以目前飞行速度与飞行路径进行飞行会与障碍物相撞时,改变所述无人机的飞行速度或飞行路径规避所述障碍物。
6.根据权利要求5所述的规避障碍物的方法,其特征在于,所述无人机根据所述障碍物的方位和所述障碍物与所述无人机之间的距离,规避所述障碍物的步骤还包括:
判断所述无人机的飞行路径的前方是否存在障碍物;
若存在障碍物时,判断所述障碍物是否为静止;
当所述障碍物为静止时,所述无人机减速直到悬停,由所述辅助驾驶设备控制所述无人机规避所述障碍物。
7.根据权利要求5所述的规避障碍物的方法,其特征在于,所述无人机根据所述障碍物的方位和所述障碍物与所述无人机之间的距离,规避所述障碍物的步骤还包括:
若不存在障碍物时,所述无人机按照所述无人机的飞行路径继续飞行。
8.根据权利要求5所述的规避障碍物的方法,其特征在于,在所述当所述无人机以目前飞行速度与飞行路径进行飞行会与障碍物相撞时,改变所述无人机的飞行速度或飞行路径规避所述障碍物的步骤中:
采用贪心算法和高度优先的策略改变所述无人机的飞行速度或飞行路径以实现对所述障碍物的规避。
9.一种规避障碍物的方法,应用于与辅助驾驶设备通信连接的无人机,其特征在于,所述方法包括:
获取全景图像,发送所述全景图像给所述辅助驾驶设备,由所述辅助驾驶设备对获取的所述全景图像进行视觉场景分析,获得所述全景图像下的场景及物体,对所述全景图像中所述无人机飞行路径周边的场景进行障碍物识别;
接收所述辅助驾驶设备发送的障碍物的方位信息;
对所述障碍物进行距离探测,得到所述障碍物与所述无人机之间的距离;
根据所述障碍物的方位和所述障碍物与所述无人机之间的距离,规避所述障碍物。
10.一种规避障碍物的装置,应用于与辅助驾驶设备通信连接的无人机,其特征在于,所述装置包括:
获取模块,用于获取全景图像,发送所述全景图像给所述辅助驾驶设备,由所述辅助驾驶设备对获取的所述全景图像进行视觉场景分析,获得所述全景图像下的场景及物体,对所述全景图像中所述无人机飞行路径周边的场景进行障碍物识别;
接收模块,用于接收所述辅助驾驶设备发送的障碍物的方位信息;
距离探测模块,用于对所述障碍物进行距离探测,得到所述障碍物与所述无人机之间的距离;
规避模块,用于根据所述障碍物的方位和所述障碍物与所述无人机之间的距离,规避所述障碍物。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610806282.3A CN106292704A (zh) | 2016-09-07 | 2016-09-07 | 规避障碍物的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610806282.3A CN106292704A (zh) | 2016-09-07 | 2016-09-07 | 规避障碍物的方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106292704A true CN106292704A (zh) | 2017-01-04 |
Family
ID=57710424
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610806282.3A Pending CN106292704A (zh) | 2016-09-07 | 2016-09-07 | 规避障碍物的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106292704A (zh) |
Cited By (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107450593A (zh) * | 2017-08-30 | 2017-12-08 | 清华大学 | 一种无人机自主导航方法和系统 |
CN107491072A (zh) * | 2017-09-05 | 2017-12-19 | 百度在线网络技术(北京)有限公司 | 车辆避障方法和装置 |
CN107515607A (zh) * | 2017-09-05 | 2017-12-26 | 百度在线网络技术(北京)有限公司 | 用于无人车的控制方法和装置 |
CN107703945A (zh) * | 2017-10-30 | 2018-02-16 | 洛阳中科龙网创新科技有限公司 | 一种多目标融合的智能农用机械路径规划方法 |
CN107817798A (zh) * | 2017-10-30 | 2018-03-20 | 洛阳中科龙网创新科技有限公司 | 一种基于深度学习系统的农用机械避障方法 |
CN108334103A (zh) * | 2017-12-21 | 2018-07-27 | 广州亿航智能技术有限公司 | 无人机多距离避障方法及避障系统 |
CN108573492A (zh) * | 2018-04-02 | 2018-09-25 | 电子科技大学 | 一种实时雷达探测区域检测方法 |
CN109375210A (zh) * | 2018-12-10 | 2019-02-22 | 西安电子科技大学 | 基于雷达和全景联合的无人装置目标检测系统和方法 |
WO2019084797A1 (zh) * | 2017-10-31 | 2019-05-09 | 深圳市大疆创新科技有限公司 | 一种障碍信息显示方法、显示装置、无人机及系统 |
CN109933081A (zh) * | 2017-12-15 | 2019-06-25 | 北京京东尚科信息技术有限公司 | 无人机避障方法、避障无人机以及无人机避障装置 |
CN110244762A (zh) * | 2019-06-17 | 2019-09-17 | 中国科学院自动化研究所 | 基于听声辨位的飞行设备防撞方法及设备、安全系统 |
CN110548276A (zh) * | 2018-05-30 | 2019-12-10 | 深圳市掌网科技股份有限公司 | 球场辅助判罚系统 |
CN110892353A (zh) * | 2018-09-30 | 2020-03-17 | 深圳市大疆创新科技有限公司 | 控制方法、控制装置、无人飞行器的控制终端 |
CN111012254A (zh) * | 2019-12-30 | 2020-04-17 | 北京太坦科技有限公司 | 智能扫地机器人 |
CN111352441A (zh) * | 2020-04-08 | 2020-06-30 | 安徽舒州农业科技有限责任公司 | 一种基于山林防治的植保无人机控制方法及系统 |
CN111399535A (zh) * | 2020-03-24 | 2020-07-10 | 北京三快在线科技有限公司 | 一种无人机避障方法、装置、无人机及存储介质 |
CN111722617A (zh) * | 2020-06-29 | 2020-09-29 | 史秋虹 | 一种基于大数据的自动驾驶汽车性能判定系统及方法 |
CN111736622A (zh) * | 2019-03-25 | 2020-10-02 | 海鹰航空通用装备有限责任公司 | 基于双目视觉与imu相结合的无人机避障方法及系统 |
CN111966128A (zh) * | 2020-08-29 | 2020-11-20 | 茂莱(南京)仪器有限公司 | 一种多光谱航空测绘模组 |
CN112130585A (zh) * | 2020-09-24 | 2020-12-25 | 哈尔滨工程大学 | 一种面向出水区域内静态和动态障碍的uuv防碰撞方法 |
CN112558635A (zh) * | 2020-12-09 | 2021-03-26 | 中国人民武装警察部队警官学院 | 一种无人机自动驾驶方法和系统 |
CN112567308A (zh) * | 2020-01-21 | 2021-03-26 | 深圳市大疆创新科技有限公司 | 空域检测方法、可移动平台、设备和存储介质 |
WO2021146973A1 (zh) * | 2020-01-21 | 2021-07-29 | 深圳市大疆创新科技有限公司 | 无人机返航的控制方法、设备、可移动平台和存储介质 |
CN113239864A (zh) * | 2021-05-31 | 2021-08-10 | 南通大学 | 一种适用于农业调查的无人机的路线规划方法 |
CN113795803A (zh) * | 2020-08-17 | 2021-12-14 | 深圳市大疆创新科技有限公司 | 无人飞行器的飞行辅助方法、设备、芯片、系统及介质 |
CN114930265A (zh) * | 2019-12-31 | 2022-08-19 | 华为技术有限公司 | 无人机的控制方法、装置和系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103984357A (zh) * | 2014-05-30 | 2014-08-13 | 中国人民解放军理工大学 | 一种基于全景立体成像设备的无人机自动避障飞行系统 |
CN104834319A (zh) * | 2015-05-05 | 2015-08-12 | 唐枫一 | 快递无人机多机群安全航线控制方法及控制系统 |
CN105787447A (zh) * | 2016-02-26 | 2016-07-20 | 深圳市道通智能航空技术有限公司 | 一种无人机基于双目视觉的全方位避障的方法及系统 |
CN105785393A (zh) * | 2016-05-27 | 2016-07-20 | 四川桑莱特智能电气设备股份有限公司 | 一种基于激光雷达的无人机实时成像避障系统与方法 |
CN105807786A (zh) * | 2016-03-04 | 2016-07-27 | 深圳市道通智能航空技术有限公司 | 一种无人机自动避障的方法及系统 |
-
2016
- 2016-09-07 CN CN201610806282.3A patent/CN106292704A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103984357A (zh) * | 2014-05-30 | 2014-08-13 | 中国人民解放军理工大学 | 一种基于全景立体成像设备的无人机自动避障飞行系统 |
CN104834319A (zh) * | 2015-05-05 | 2015-08-12 | 唐枫一 | 快递无人机多机群安全航线控制方法及控制系统 |
CN105787447A (zh) * | 2016-02-26 | 2016-07-20 | 深圳市道通智能航空技术有限公司 | 一种无人机基于双目视觉的全方位避障的方法及系统 |
CN105807786A (zh) * | 2016-03-04 | 2016-07-27 | 深圳市道通智能航空技术有限公司 | 一种无人机自动避障的方法及系统 |
CN105785393A (zh) * | 2016-05-27 | 2016-07-20 | 四川桑莱特智能电气设备股份有限公司 | 一种基于激光雷达的无人机实时成像避障系统与方法 |
Non-Patent Citations (3)
Title |
---|
中国无人机大会论文集编审组: "《尖兵之翼 第三届中国无人机大会论文集》", 30 June 2010, 航空工业出版社 * |
胡昌华 等: "《导弹测试与发射控制技术》", 30 September 2015, 国防工业出版社 * |
郭继峰 等: "《空间在轨装配任务规划》", 30 September 2014, 国防工业出版社 * |
Cited By (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107450593B (zh) * | 2017-08-30 | 2020-06-12 | 清华大学 | 一种无人机自主导航方法和系统 |
CN107450593A (zh) * | 2017-08-30 | 2017-12-08 | 清华大学 | 一种无人机自主导航方法和系统 |
CN107491072A (zh) * | 2017-09-05 | 2017-12-19 | 百度在线网络技术(北京)有限公司 | 车辆避障方法和装置 |
CN107515607A (zh) * | 2017-09-05 | 2017-12-26 | 百度在线网络技术(北京)有限公司 | 用于无人车的控制方法和装置 |
CN107491072B (zh) * | 2017-09-05 | 2021-03-30 | 百度在线网络技术(北京)有限公司 | 车辆避障方法和装置 |
CN107703945A (zh) * | 2017-10-30 | 2018-02-16 | 洛阳中科龙网创新科技有限公司 | 一种多目标融合的智能农用机械路径规划方法 |
CN107817798A (zh) * | 2017-10-30 | 2018-03-20 | 洛阳中科龙网创新科技有限公司 | 一种基于深度学习系统的农用机械避障方法 |
WO2019084797A1 (zh) * | 2017-10-31 | 2019-05-09 | 深圳市大疆创新科技有限公司 | 一种障碍信息显示方法、显示装置、无人机及系统 |
CN109933081A (zh) * | 2017-12-15 | 2019-06-25 | 北京京东尚科信息技术有限公司 | 无人机避障方法、避障无人机以及无人机避障装置 |
CN108334103A (zh) * | 2017-12-21 | 2018-07-27 | 广州亿航智能技术有限公司 | 无人机多距离避障方法及避障系统 |
CN108573492A (zh) * | 2018-04-02 | 2018-09-25 | 电子科技大学 | 一种实时雷达探测区域检测方法 |
CN110548276A (zh) * | 2018-05-30 | 2019-12-10 | 深圳市掌网科技股份有限公司 | 球场辅助判罚系统 |
CN110892353A (zh) * | 2018-09-30 | 2020-03-17 | 深圳市大疆创新科技有限公司 | 控制方法、控制装置、无人飞行器的控制终端 |
CN109375210A (zh) * | 2018-12-10 | 2019-02-22 | 西安电子科技大学 | 基于雷达和全景联合的无人装置目标检测系统和方法 |
CN109375210B (zh) * | 2018-12-10 | 2022-10-21 | 西安电子科技大学 | 基于雷达和全景联合的无人装置目标检测系统和方法 |
CN111736622A (zh) * | 2019-03-25 | 2020-10-02 | 海鹰航空通用装备有限责任公司 | 基于双目视觉与imu相结合的无人机避障方法及系统 |
CN110244762A (zh) * | 2019-06-17 | 2019-09-17 | 中国科学院自动化研究所 | 基于听声辨位的飞行设备防撞方法及设备、安全系统 |
CN111012254A (zh) * | 2019-12-30 | 2020-04-17 | 北京太坦科技有限公司 | 智能扫地机器人 |
CN114930265A (zh) * | 2019-12-31 | 2022-08-19 | 华为技术有限公司 | 无人机的控制方法、装置和系统 |
CN112567308A (zh) * | 2020-01-21 | 2021-03-26 | 深圳市大疆创新科技有限公司 | 空域检测方法、可移动平台、设备和存储介质 |
WO2021146973A1 (zh) * | 2020-01-21 | 2021-07-29 | 深圳市大疆创新科技有限公司 | 无人机返航的控制方法、设备、可移动平台和存储介质 |
CN111399535A (zh) * | 2020-03-24 | 2020-07-10 | 北京三快在线科技有限公司 | 一种无人机避障方法、装置、无人机及存储介质 |
CN111352441A (zh) * | 2020-04-08 | 2020-06-30 | 安徽舒州农业科技有限责任公司 | 一种基于山林防治的植保无人机控制方法及系统 |
CN111722617A (zh) * | 2020-06-29 | 2020-09-29 | 史秋虹 | 一种基于大数据的自动驾驶汽车性能判定系统及方法 |
CN113795803A (zh) * | 2020-08-17 | 2021-12-14 | 深圳市大疆创新科技有限公司 | 无人飞行器的飞行辅助方法、设备、芯片、系统及介质 |
WO2022036500A1 (zh) * | 2020-08-17 | 2022-02-24 | 深圳市大疆创新科技有限公司 | 无人飞行器的飞行辅助方法、设备、芯片、系统及介质 |
CN113795803B (zh) * | 2020-08-17 | 2024-05-14 | 深圳市大疆创新科技有限公司 | 无人飞行器的飞行辅助方法、设备、芯片、系统及介质 |
CN111966128A (zh) * | 2020-08-29 | 2020-11-20 | 茂莱(南京)仪器有限公司 | 一种多光谱航空测绘模组 |
CN112130585A (zh) * | 2020-09-24 | 2020-12-25 | 哈尔滨工程大学 | 一种面向出水区域内静态和动态障碍的uuv防碰撞方法 |
CN112558635A (zh) * | 2020-12-09 | 2021-03-26 | 中国人民武装警察部队警官学院 | 一种无人机自动驾驶方法和系统 |
CN113239864A (zh) * | 2021-05-31 | 2021-08-10 | 南通大学 | 一种适用于农业调查的无人机的路线规划方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106292704A (zh) | 规避障碍物的方法及装置 | |
US11693428B2 (en) | Methods and system for autonomous landing | |
US20220234733A1 (en) | Aerial Vehicle Smart Landing | |
Barry et al. | High‐speed autonomous obstacle avoidance with pushbroom stereo | |
McGee et al. | Obstacle detection for small autonomous aircraft using sky segmentation | |
US20210132612A1 (en) | Techniques for sharing mapping data between an unmanned aerial vehicle and a ground vehicle | |
Shen et al. | Vision-based state estimation for autonomous rotorcraft MAVs in complex environments | |
CN113168186A (zh) | 碰撞规避系统、深度成像系统、交通工具、地图生成器及其方法 | |
US9639088B2 (en) | Autonomous long-range landing using sensor data | |
US20100305857A1 (en) | Method and System for Visual Collision Detection and Estimation | |
CN104298248A (zh) | 旋翼无人机精确视觉定位定向方法 | |
JP2014119828A (ja) | 自律飛行ロボット | |
JP6527726B2 (ja) | 自律移動ロボット | |
CN110825108A (zh) | 一种在同一空域内多架跟踪无人机的协同防碰撞方法 | |
US11307583B2 (en) | Drone with wide frontal field of view | |
Lyu et al. | A vision based sense and avoid system for small unmanned helicopter | |
Barrows et al. | Biomimetic visual sensing and flight control | |
Lee et al. | Landing Site Inspection and Autonomous Pose Correction for Unmanned Aerial Vehicles | |
WO2017099568A1 (es) | Método de planeacion de sobrevuelo de poligonos irregulares utilizando dos o mas vehículos aéreos no tripulados para agricultura de precisión por análisis multiespectral e hiperespectral de imágenes aéreas | |
Sarkar | Intelligent Energy-Efficient Drones: Path Planning, Real-Time Monitoring and Decision-Making | |
Janarthanan et al. | An unmanned aerial vehicle framework design for autonomous flight path | |
WO2022188174A1 (zh) | 可移动平台、可移动平台的控制方法及存储介质 | |
CN113093806B (zh) | 一种用于飞行器空间全向避障方法及系统 | |
Janarthanan | Vision Based Navigation System Design for Unmanned Aerial Vehicles | |
Zhou et al. | On-board sensors-based indoor navigation techniques of micro aerial vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170104 |
|
RJ01 | Rejection of invention patent application after publication |