CN107703951A - 一种基于双目视觉的无人机避障方法及系统 - Google Patents

一种基于双目视觉的无人机避障方法及系统 Download PDF

Info

Publication number
CN107703951A
CN107703951A CN201710621241.1A CN201710621241A CN107703951A CN 107703951 A CN107703951 A CN 107703951A CN 201710621241 A CN201710621241 A CN 201710621241A CN 107703951 A CN107703951 A CN 107703951A
Authority
CN
China
Prior art keywords
unmanned plane
barrier
angle
destination object
depth value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710621241.1A
Other languages
English (en)
Other versions
CN107703951B (zh
Inventor
尹亮亮
王国胜
李少斌
张羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Topxgun Robot Co Ltd
Original Assignee
Shanghai Topxgun Robot Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Topxgun Robot Co Ltd filed Critical Shanghai Topxgun Robot Co Ltd
Priority to CN201710621241.1A priority Critical patent/CN107703951B/zh
Publication of CN107703951A publication Critical patent/CN107703951A/zh
Application granted granted Critical
Publication of CN107703951B publication Critical patent/CN107703951B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/18—Stabilised platforms, e.g. by gyroscope
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明涉及无人机技术领域，具体涉及基于双目视觉的无人机避障方法及系统，所述方法包括下步骤，通过双目摄像机获取无人机前方的环境图象；根据所获取的环境图象识别无人机前方是否有目标对象；若存在目标对象，则基于无人机当前的姿态信息以及根据环境图象所获取的目标对象深度值，判断前方目标对象中是否存在障碍物；若目标对象中存在障碍物，则基于目标深度值获取无人机与障碍物间的距离并根据无人机与障碍物间的距离选择避障；若目标对象仅为地面，则无人机不采取避障措施。本发明所提供的基于双目视觉的无人机避障方法及系统，实现了低空飞行环境中有效区别障碍物与地面的功能，避免在飞行中将地面误当做障碍物而频繁出现悬停现象。

Description

一种基于双目视觉的无人机避障方法及系统
技术领域
本发明涉及无人机技术领域，具体涉及一种基于双目视觉的无人机避障方法及系统。
背景技术
无人机是一种由无线电遥控设备或自身程序控制装置操纵的无人驾驶飞行器。随着无人机相关技术的发展及其应用场景的复杂变化，对其环境感知能力提出了更高要求，其中，无人机躲避行进航路上障碍物的能力十分重要。
目前，无人机躲避障碍物的系统大多采用双目视觉进行障碍物识别，具体而言，在无人机设置双目摄像机，通过双目摄像机获得障碍物的第一图象和第二图象，再根据视差原理以及产生的立体视觉信息可以直接恢复障碍物的三维空间坐标，进而可获得目标障碍物的深度值，基于所获取的深度值得到无人机与障碍物之间的距离，然后使无人机规避障碍物。
多旋翼无人机向前飞行时，需要向前下方倾斜以使旋翼拉力产生水平分量，从而实现前飞运动，但如果此时无人机处于起飞或低空飞行状态时，距离地面相对较近，安装在无人机前部的双目摄像机会检测到地面，从而将地面误判为障碍物，出现不必要的悬停。
发明内容
本发明为了解决上述技术问题，提供一种基于双目视觉的无人机避障方法及系统，能够在无人机低空飞行过程中准确识别障碍物与地面，避免出现不必要的悬停，且能够有效避开飞行过程中的障碍物，提高了飞行的安全性。
为了达到上述技术效果，本发明包括以下技术方案：一种基于双目视觉的无人机避障方法，所述无人机前部设有实时拍摄的双目摄像机，所述方法包括下步骤，
步骤1、通过双目摄像机获取无人机前方的环境图象；
步骤2、根据所获取的环境图象识别无人机前方是否有目标对象；
本发明所指的目标对象为地面、距离无人机最近的障碍物或地面和距离无人机的障碍物，需要说明的是，在无人机避障中，地面不被认为是障碍物。
步骤3、若存在目标对象，则基于无人机当前的姿态信息以及根据环境图象所获取的目标对象深度值，判断前方目标对象中是否存在障碍物；
步骤4、若目标对象中存在障碍物，则基于目标深度值获取无人机与障碍物间的距离并根据无人机与障碍物间的距离选择避障；
步骤5、若目标对象仅为地面，则无人机不采取避障措施。
进一步地，所述目标对象深度值通过如下方法获得：
所述双目摄像机获取无人机前方的环境图象包括第一图象和第二图象；
所述双目摄像机的两个摄像头通过旋转矩阵、平移向量以及两个摄像头的畸变系数对第一图象和第二图象进行校正；
将校正后的第一图象和第二图象进行立体匹配，得到第一图象与第二图象之间的视差图；
基于所述视差图获取深度图象，根据所述深度图象提取目标对象深度值。
进一步地，所述无人机的姿态信息为设于无人机上的姿态传感器所获取的无人机俯角。
进一步地，所述步骤3具体包括：
步骤31、若无人机当前俯角的角度值小于双目摄像机垂直方向上视场角的角度值的一半，则前方目标对象为障碍物；
俯角的角度值以及垂直方向上视场角的角度值皆指角度大小，无正负概念。
步骤32、若无人机当前俯角的角度值大于双目摄像机垂直方向上视场角的角度值的一半，则基于环境图象所获取的目标对象深度值，判断前方目标对象中是否存在障碍物。
进一步地，所述步骤32中根据所获取的目标对象深度值判断前方目标对象中是否存在障碍物具体为：
垂直方向上视场角等分，视场角范围内由上到下识别出目标对象所对应的深度值r1、r2、r3...rn，每个深度值对应于基准视角为α1、α2、α3....αn，各基准视场角所对应的计算角为 其中，θ<0,αn∈(-25,25)；
各基准视角所对应的对比视角为β1、β2、β3....βn，对比视角对应的深度值分别为r’1、r’2、r’3....r’n，各对比视角所对应的计算角为φ1、φ2、φ3....φn，φn＝-θ-βn,则βn＝-θ-φn；
由上到下依次计算
若从开始计算起连续五次则判定前方目标对象为地面，不存在障碍物；
若从开始计算起连续五次判定前方目标对象中存在障碍物，继续由上到下依次计算，直至将视觉范围内识别出的所有深度值r1、r2、r3....rn分别与对应的对比视角的深度值相比。
如果从开始计算器连续五次说明目标对象中存在障碍物，将视觉范围内识别出的所有深度值与其对应的对比视角相比，能够判断出目标对象中除了障碍物，是否存在地面以及障碍物所在位置。
进一步地，所述步骤4具体包括：
步骤41、基于目标对象深度值计算出无人机与障碍物之间的距离；
步骤41、判断无人机与障碍物之间的距离是否小于预设的安全距离；
步骤42、若小于预设的安全距离，则无人机采取避障措施；否则，进行步骤43；
步骤43、无人机保持当前飞行方向继续飞行，并实时获取与障碍物的距离，循环步骤41和42。
进一步地，所述步骤42中若无人机与障碍物之间的距离小于安全距离，则无人机采取避障措施具体包括：
若无人机与障碍物之间的距离小于第一安全距离且大于第二安全距离，则无人机进行报警动作，提示前方有障碍物；
若无人机与障碍物之间的距离小于第二安全距离且大于第三安全距离，则无人机进入刹车动作，直至刹停至第三安全距离；
若无人机刹停后距离障碍物小于第三安全距离，无人机自动退至距离障碍物第四安全距离处，其中所述第四安全距离大于第三安全距离且小于第二安全距离。
另外，本发明还提供了一种基于双目视觉的无人机避障系统，包括无人机，所述无人机上设置有双目摄像机、获取飞行状态数据的传感器模块、处理模块以及飞行控制模块；
所述双目摄像机设置于无人机的前部，用于获取无人机前方的环境图象；
所述处理模块，用于处理双目摄像机所获取的环境图象，并识别无人机前方的目标对象，获取目标对象深度值；
所述获取飞行状态数据的传感器模块包括姿态测量传感器、磁罗盘、GPS定位模块和气压计；
所述飞行控制模块，用于接收并融合处理所述处理模块所获取的目标对象深度值以及所述传感器模块所获取的姿态信息，判断前方目标对象中是否存在障碍物，计算障碍物与无人机之间的距离，并控制无人机正常飞行或采取避障措施。
进一步地，所述双目摄像机垂直设于无人机前方，双目摄像机的两个摄像头上下设置且相互平行。
进一步地，所述姿态测量传感器为三轴陀螺仪和三轴加速度计。
进一步地，所述系统还包括遥控器和地面站，所述遥控器、地面站分别与无人机进行无线通信。
采用上述技术方案，包括以下有益效果：本发明所提供的基于双目视觉的无人机避障方法及系统，将视觉信息与传感器所获取的姿态信息进行融合，实现了低空飞行环境中有效区别障碍物与地面的功能，避免在飞行中将地面误当做障碍物而频繁出现悬停现象，同时，有效识别飞行路径中的障碍物并采取避障措施，提高了无人机的安全性能。
附图说明
图1为本发明其中一实施例所提供的基于双目视觉的无人机避障方法的流程图；
图2为本发明其中另一实施例所提供的基于双目视觉的无人机避障方法的流程图；
图3为本发明所提供的无人机俯角的角度值小于双目摄像机垂直方向上视场角角度值一半的避障示意图；
图4为本发明所提供的无人机俯角的角度值大于双目摄像机垂直方向上视场角角度值一半的避障示意图；
图5为本发明所提供的无人机俯角的角度值大于双目摄像机垂直方向上视场角角度值一半的另一避障示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本实用新型实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“垂直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本发明及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。
并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本发明中的具体含义。
此外，术语“安装”、“设置”、“设有”、“连接”、“相连”“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
除非另有说明，“多个”的含义为两个或两个以上。
下面通过具体的实施例并结合附图对本发明做进一步的详细描述。
实施例：
为了实现无人机低空飞行环境中有效区别障碍物与地面的功能，并且能够基于双目视觉有效规避飞行路径中的障碍，需要在无人机前方设置双目摄像机，为了扩大垂直方向上的视野范围，本实施例将双目摄像机垂直安装在无人机上，即，双目摄像机的两个摄像头上下设置且相互平行。需要说明的是，双目摄像机的安装方式并不限于本实施例中的垂直安装方式，也可水平安装。
具体地，摄像头的视场角包括水平视场角和垂直视场角。以光学仪器的镜头为顶点，以被测目标的物像可通过镜头的最大范围的两条边缘构成的夹角，称为视场角，视场角的大小决定了光学仪器的视角范围，视场角越大，视角就越大；水平视场角和垂直视场角分别是指两个方向上的最大拍摄角度，相同的摄像头，其视场角相同。由于本实施采用双目摄像机，因此，为了能够尽可能扩大垂直方向上的视角范围，我们将双目摄像机垂直安装于无人机前方，本实施例所安装的双目摄像机的垂直视场角α∈(-25°,25°)，其中，以无人机机体坐标系中的水平面为基准线。
参阅图1，提供了实施例1的一种基于双目视觉的无人机避障方法的流程图，设于无人机前部的双目摄像机对前方环境进行实时拍摄，该方法包括下步骤，
S1、通过双目摄像机获取无人机前方的环境图象；
所述环境图象为双目摄像机的两个摄像头同一时刻分别所拍摄的第一图象和第二图象。
S2、根据所获取的环境图象识别无人机前方是否有目标对象；
具体地，可以通过预设算法识别目标对象，该处为现有技术，此处不做限定和赘述。
S3、若存在目标对象，则基于无人机当前的姿态信息以及根据环境图象所获取的目标对象深度值，判断前方目标对象中是否存在障碍物；
无人机的姿态信息为设于无人机上的姿态传感器所获取的无人机俯角，姿态传感器为三轴传感器和三轴加速度计；目标对象深度值通过双目摄像机所拍摄的第一图像和第二图像获取，具体原理为利用目标对象在相隔一定距离的成像平面(第一图像和第二图像)上的成像位置不同，即视差，通过视差来获得目标对象深度值。具体方法为现有技术，此处不再赘述。
其中，所述目标对象深度值通过如下方法获得：
所述双目摄像机获取无人机前方的环境图象包括第一图象和第二图象；
所述双目摄像机的两个摄像头通过旋转矩阵、平移向量以及两个摄像头的畸变系数对第一图象和第二图象进行校正；
将校正后的第一图象和第二图象进行立体匹配，得到第一图象与第二图象之间的视差图；
基于所述视差图获取深度图象，根据所述深度图象提取目标对象深度值。具体的目标对象深度值提取方法为现有技术，此处不再赘述。
S4、若目标对象中存在障碍物，则基于目标深度值获取无人机与障碍物间的距离选择避障；
具体为，如果前方所识别的目标对象中仅为障碍物，则基于目标对象深度值获得障碍物深度值，基于障碍物深度值计算出无人机与障碍物之间的距离，并根据无人机与障碍物之间的距离了选择是否进行避障；
如果前方所识别的目标对象中包括障碍物和地面，则地面不被识别为障碍物，基于目标对象深度值计算无人机与障碍物之间的距离，并根据无人机与障碍物之间的距离选择是否进行避障。
S5、若目标对象仅为地面，则无人机不采取避障措施。
具体地，如果判断出目标对象仅仅为地面，则地面不被识别为障碍物，因此，无人机不会采取避障措施，仍然保持当前飞行方向继续飞行。
在本实施例中，进一步地，基于无人机当前的姿态信息以及根据环境图象所获取的目标对象深度值，判断前方目标对象中是否存在障碍物的方法具体包括：
S31、若无人机当前俯角的角度小于双目摄像机垂直方向上视场角的角度值的一半，则前方目标对象为障碍物；
具体地，本实施例中俯角θ在(-35° -0)内，其中以无人机机体坐标系所在平面为基准线，基准线以下角度为负，视场角在(-25,25)内；
由于俯角和视场角的范围，根据无人机实际飞行，无人机当前俯角的角度值小于双目摄像机垂直方向上视场角的角度值的一半，则前方目标对象仅为障碍物，参阅图3。
S32、若无人机当前俯角的角度值大于双目摄像机垂直方向上视场角的角度值的一半，则基于环境图象获取的目标对象深度值，判断前方目标对象中是否存在障碍物。
无人机当前俯角的角度值大于双目摄像机垂直方向上视场角的角度值的一半，目标对象中存在障碍物包括两种情况，即目标对象仅为障碍物，或目标对象包括障碍物和地面，如果目标对象中不存在障碍物，说明目标对象仅为地面。
参阅图4和5，所述步骤S32中根据所获取的目标对象深度值判断前方目标对象中是否存在障碍物具体为：
垂直方向上视场角等分，视场角范围内由上到下识别出目标对象所对应的深度值r1、r2、r3...rn，每个深度值对应于基准视角为α1、α2、α3....αn，各基准视场角所对应的计算角为 其中，θ<0,αn∈(-25,25)；
各基准视角所对应的对比视角为β1、β2、β3....βn，对比视角对应的深度值分别为r’1、r’2、r’3....r’n，各对比视角所对应的计算角为φ1、φ2、φ3....φn，φn＝-θ-β，则βn＝-θ-φn；
由上到下依次计算
若从开始计算起连续五次则判定前方目标对象为地面，不存在障碍物；
若从开始计算起连续五次判定前方目标对象中存在障碍物，继续由上到下依次计算，直至将视觉范围内识别出的所有深度值r1、r2、r3....rn分别与对应的对比视角的深度值相比。
具体地，本实施例所提供的垂直安装于无人机上的双目摄像机的垂直方向的视场角为(-25°，25°)，在其视角范围内会识别出一组目标对象所对应的深度值r1、r2、r3....rn，通常情况下将视场角等分，每隔5度形成一个深度值，每个深度值对应于基准视角为α1、α2、α3....αn，各基准视场角所对应的计算角为
各基准视角所对应的对比视角为β1、β2、β3....βn，对比视角对应的深度值分别为r’1、r’2、r’3....r’n，各对比视角所对应的计算角为φ1、φ2、φ3....φn，φn＝-θ-βn,则βn＝-θ-φn；本实施例中所设定的阈值为1.2。由上到下依次计算：
在计算过程中，如果从开始计算起连续五次则判定前方目标对象为地面，不存在障碍物。
如果从开始计算起判定前方目标对象中存在障碍物，继续由上到下依次计算，直至将视觉范围内识别出的所有深度值r1、r2、r3....rn分别与对应的对比视角的深度值相比，能够将障碍物和地面区分开来，如果目标对象中既存在障碍物又存在地面，则在由上到下的计算过程中，部分比值小于1.2，部分比值大于1.2，小于1.2的比值所对应的深度值处为障碍物，大于12的比值所对应的深度值处为地面；
障碍物与无人机间的距离根据障碍物所对应的各深度值计算出对应的障碍物距离，将所有计算出的障碍物距离求平均，得到障碍物与无人机的真实距离。
在实施例1的基础上，本实施例2提供了一种基于双目视觉的无人机避障方法，参阅图2，所述述步骤4具体包括：
S41、基于目标对象深度值计算出无人机与障碍物之间的距离；
参照上述障碍物与无人机间距离的计算方法，根据目标对象深度值能够获取障碍物深度值，根据障碍物所对应的各深度值计算出对应的障碍物距离，公式为将所有计算出的障碍物距离求平均，得到障碍物与无人机的真实距离。
S42、判断无人机与障碍物之间的距离是否小于预设的安全距离；
S43、若小于预设的安全距离，则无人机采取避障措施；否则，进行S44；
S44、无人机保持当前飞行方向继续飞行，并实时获取与障碍物的距离，循环S41和42。
获取无人机与障碍物之间的距离后，将根据障碍物距离进行避障。当距离障碍物大于第一安全距离10m时，无人机将保持当前飞行方向继续飞行；当距离障碍物在第一安全距离10m到第二安全距离8m之间时，无人机进行报警动作，提示前方有障碍物，当距离障碍物小于第二安全区距离8m且大于第三安全距离5米时，无人机开始进入刹车动作，刹车角与障碍物距离以及无人机速度相关，当无人机飞行速度较大或距离障碍物距离较小时，无人机将以较大角度进行刹车，当无人机速度较小且距离障碍物较远时，无人机将以较小角度进行刹车，直至刹停在第三安全距离5.5米处。当无人机刹停后，如果距离障碍物距离大于5.5m，则无人机会停在当前位置，操控遥控器，向前推杆无效，向后打杆或左右均有效，当无人机刹停后，无人机距离障碍物距离小于5.5m时，无人机会自动后退至第四安全距离6m处，向前推杆无效，向后打杆或左右均有效。
另外，在实施例1和2的基础上，本实施例3提供了一种基于双目视觉的无人机避障系统，包括无人机，无人机上设置有双目摄像机、获取飞行状态数据的传感器模块、处理模块以及飞行控制模块；
所述双目摄像机设置于无人机的前部，用于获取无人机前方的环境图象；为了能够扩大垂直方向上的视角范围，将双目摄像机垂直设置于无人机前部。
所述处理模块，用于处理双目摄像机所获取的环境图象，并识别无人机前方的目标对象，获取目标对象深度值；
所述获取飞行状态数据的传感器模块包括姿态测量传感器、磁罗盘、GPS定位模块和气压计，传感器模块用于获取无人机飞行过程中的飞行数据，包括无人机的飞行高度、飞行速度、飞行方向以及姿态信息，如俯角。所述姿态测量传感器为三轴陀螺仪和三轴加速度计。
所述飞行控制模块，用于接收并融合处理所述处理模块所获取的目标对象深度值以及所述传感器模块所获取的姿态信息，判断前方目标对象中是否存在障碍物，计算障碍物与无人机之间的距离，并控制无人机正常飞行或采取避障措施。
所述系统还包括遥控器和地面站，所述遥控器、地面站分别与无人机进行无线通信。所述遥控器通过无线链路控制无人机飞行或者经飞行控制模块对无人机进行控制。
所述地面站通过无线链路经飞行控制模块对无人机进行控制，并接收无人机的状态信息。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于双目视觉的无人机避障方法，其特征在于，所述无人机前部设有实时拍摄的双目摄像机，所述方法包括下步骤，
步骤1、通过双目摄像机获取无人机前方的环境图象；
步骤2、根据所获取的环境图象识别无人机前方是否有目标对象；
步骤3、若存在目标对象，则基于无人机当前的姿态信息以及根据环境图象所获取的目标对象深度值，判断前方目标对象中是否存在障碍物；
步骤4、若目标对象中存在障碍物，则基于目标深度值获取无人机与障碍物间的距离并根据无人机与障碍物间的距离选择避障；
步骤5、若目标对象仅为地面，则无人机不采取避障措施。
2.根据权利要求1所述的方法，其特征在于，所述目标对象深度值通过如下方法获得：
所述双目摄像机获取无人机前方的环境图象包括第一图象和第二图象；
所述双目摄像机的两个摄像头通过旋转矩阵、平移向量以及两个摄像头的畸变系数对第一图象和第二图象进行校正；
将校正后的第一图象和第二图象进行立体匹配，得到第一图象与第二图象之间的视差图；
基于所述视差图获取深度图象，根据所述深度图象提取目标对象深度值。
3.根据权利要求1所述的方法，其特征在于，所述无人机的姿态信息为设于无人机上的姿态传感器所获取的无人机俯角。
4.根据权利要求3所述的方法，其特征在于，所述步骤3具体包括：
步骤31、若无人机当前俯角的角度值小于双目摄像机垂直方向上视场角的角度值的一半，则前方目标对象为障碍物；
步骤32、若无人机当前俯角的角度值大于双目摄像机垂直方向上视场角的角度值的一半，则基于环境图象所获取的目标对象深度值，判断前方目标对象中是否存在障碍物。
5.根据权利要求4所述的方法，其特征在于，所述步骤32中根据所获取的目标对象深度值判断前方目标对象中是否存在障碍物具体为：
垂直方向上视场角等分，视场角范围内由上到下识别出目标对象所对应的深度值r1、r2、r3...rn，每个深度值对应于基准视角为α1、α2、α3....αn，各基准视场角所对应的计算角为 其中，θ<0,αn∈(-25,25)；
各基准视角所对应的对比视角为β1、β2、β3....βn，对比视角对应的深度值分别为r’1、r’2、r’3....r’n，各对比视角所对应的计算角为φ1、φ2、φ3....φn，φn＝-θ-βn,则βn＝-θ-φn；
由上到下依次计算若从开始计算起连续五次则判定前方目标对象为地面，不存在障碍物；
若从开始计算起连续五次判定前方目标对象中存在障碍物，继续由上到下依次计算，直至将视觉范围内识别出的所有深度值r1、r2、r3....rn分别与对应的对比视角的深度值相比。
6.根据权利要求1所述的方法，其特征在于，所述步骤4具体包括：
步骤41、基于目标对象深度值计算出无人机与障碍物之间的距离；
步骤41、判断无人机与障碍物之间的距离是否小于预设的安全距离；
步骤42、若小于预设的安全距离，则无人机采取避障措施；否则，进行步骤43；
步骤43、无人机保持当前飞行方向继续飞行，并实时获取与障碍物的距离，循环步骤41和42。
7.根据权利要求6所述的方法，其特征在于，所述步骤42中若无人机与障碍物之间的距离小于安全距离，则无人机采取避障措施具体包括：
若无人机与障碍物之间的距离小于第一安全距离且大于第二安全距离，则无人机进行报警动作，提示前方有障碍物；
若无人机与障碍物之间的距离小于第二安全距离且大于第三安全距离，则无人机进入刹车动作，直至刹停至第三安全距离；
若无人机刹停后距离障碍物小于第三安全距离，无人机自动退至距离障碍物第四安全距离处，其中所述第四安全距离大于第三安全距离且小于第二安全距离。
8.一种基于双目视觉的无人机避障系统，包括无人机，其特征在于，所述无人机上设置有双目摄像机、获取飞行状态数据的传感器模块、处理模块以及飞行控制模块；
所述双目摄像机设置于无人机的前部，用于获取无人机前方的环境图象；
所述处理模块，用于处理双目摄像机所获取的环境图象，并识别无人机前方的目标对象，获取目标对象深度值；
所述获取飞行状态数据的传感器模块包括姿态测量传感器、磁罗盘、GPS定位模块和气压计；
所述飞行控制模块，用于接收并融合处理所述处理模块所获取的目标对象深度值以及所述传感器模块所获取的姿态信息，判断前方目标对象中是否存在障碍物，计算障碍物与无人机之间的距离，并控制无人机正常飞行或采取避障措施。
9.根据权利要求8所述的系统，其特征在于，所述姿态测量传感器为三轴陀螺仪和三轴加速度计。
10.根据权利要求8所述的系统，其特征在于，所述系统还包括遥控器和地面站，所述遥控器、地面站分别与无人机进行无线通信。
CN201710621241.1A 2017-07-27 2017-07-27 一种基于双目视觉的无人机避障方法及系统 Active CN107703951B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710621241.1A CN107703951B (zh) 2017-07-27 2017-07-27 一种基于双目视觉的无人机避障方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710621241.1A CN107703951B (zh) 2017-07-27 2017-07-27 一种基于双目视觉的无人机避障方法及系统

Publications (2)

Publication Number Publication Date
CN107703951A true CN107703951A (zh) 2018-02-16
CN107703951B CN107703951B (zh) 2019-02-01

Family

ID=61170543

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710621241.1A Active CN107703951B (zh) 2017-07-27 2017-07-27 一种基于双目视觉的无人机避障方法及系统

Country Status (1)

Country Link
CN (1) CN107703951B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108776492A (zh) * 2018-06-27 2018-11-09 电子科技大学 一种基于双目相机的四轴飞行器自主避障与导航方法
CN110231832A (zh) * 2018-03-05 2019-09-13 北京京东尚科信息技术有限公司 用于无人机的避障方法和避障装置
CN110262568A (zh) * 2019-07-19 2019-09-20 深圳市道通智能航空技术有限公司 一种基于目标跟踪的无人机避障方法、装置及无人机
CN110262561A (zh) * 2019-07-23 2019-09-20 哈尔滨理工大学 一种无人机自动避障方法
CN111212773A (zh) * 2019-03-07 2020-05-29 深圳市大疆创新科技有限公司 一种可移动平台的制动控制方法、导航设备及可移动平台
CN111309022A (zh) * 2020-03-02 2020-06-19 北京优世达科技有限公司 一种基于双目视觉的无人船自主避障系统的自动避障方法
WO2020135797A1 (zh) * 2018-12-29 2020-07-02 深圳市道通智能航空技术有限公司 一种深度图处理方法、装置和无人机
CN112097744A (zh) * 2020-09-16 2020-12-18 上海遥程信息科技有限公司 一种竖立面的图像扫描方法、装置、设备和存储介质
CN112585555A (zh) * 2020-01-21 2021-03-30 深圳市大疆创新科技有限公司 基于可通行空域判断的飞行控制方法、装置及设备
CN113448340A (zh) * 2020-03-27 2021-09-28 北京三快在线科技有限公司 一种无人机的路径规划方法、装置、无人机及存储介质
WO2023272633A1 (zh) * 2021-06-30 2023-01-05 深圳市大疆创新科技有限公司 无人机的控制方法、无人机、飞行系统及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101852609A (zh) * 2010-06-02 2010-10-06 北京理工大学 一种基于机器人双目立体视觉的地面障碍物检测方法
WO2014132509A1 (ja) * 2013-02-27 2014-09-04 シャープ株式会社 周囲環境認識装置、それを用いた自律移動システムおよび周囲環境認識方法
CN104699102A (zh) * 2015-02-06 2015-06-10 东北大学 一种无人机与智能车协同导航与侦查监控系统及方法
CN104750110A (zh) * 2015-02-09 2015-07-01 深圳如果技术有限公司 一种无人机的飞行方法
CN105787447A (zh) * 2016-02-26 2016-07-20 深圳市道通智能航空技术有限公司 一种无人机基于双目视觉的全方位避障的方法及系统
CN106444837A (zh) * 2016-10-17 2017-02-22 北京理工大学 一种无人机避障方法及系统
CN106529495A (zh) * 2016-11-24 2017-03-22 腾讯科技（深圳）有限公司 一种飞行器的障碍物检测方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101852609A (zh) * 2010-06-02 2010-10-06 北京理工大学 一种基于机器人双目立体视觉的地面障碍物检测方法
WO2014132509A1 (ja) * 2013-02-27 2014-09-04 シャープ株式会社 周囲環境認識装置、それを用いた自律移動システムおよび周囲環境認識方法
CN104699102A (zh) * 2015-02-06 2015-06-10 东北大学 一种无人机与智能车协同导航与侦查监控系统及方法
CN104750110A (zh) * 2015-02-09 2015-07-01 深圳如果技术有限公司 一种无人机的飞行方法
CN105787447A (zh) * 2016-02-26 2016-07-20 深圳市道通智能航空技术有限公司 一种无人机基于双目视觉的全方位避障的方法及系统
CN106444837A (zh) * 2016-10-17 2017-02-22 北京理工大学 一种无人机避障方法及系统
CN106529495A (zh) * 2016-11-24 2017-03-22 腾讯科技（深圳）有限公司 一种飞行器的障碍物检测方法和装置

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110231832A (zh) * 2018-03-05 2019-09-13 北京京东尚科信息技术有限公司 用于无人机的避障方法和避障装置
CN110231832B (zh) * 2018-03-05 2022-09-06 北京京东乾石科技有限公司 用于无人机的避障方法和避障装置
CN108776492B (zh) * 2018-06-27 2021-01-26 电子科技大学 一种基于双目相机的四轴飞行器自主避障与导航方法
CN108776492A (zh) * 2018-06-27 2018-11-09 电子科技大学 一种基于双目相机的四轴飞行器自主避障与导航方法
WO2020135797A1 (zh) * 2018-12-29 2020-07-02 深圳市道通智能航空技术有限公司 一种深度图处理方法、装置和无人机
CN111212773A (zh) * 2019-03-07 2020-05-29 深圳市大疆创新科技有限公司 一种可移动平台的制动控制方法、导航设备及可移动平台
CN110262568B (zh) * 2019-07-19 2021-10-22 深圳市道通智能航空技术股份有限公司 一种基于目标跟踪的无人机避障方法、装置及无人机
CN110262568A (zh) * 2019-07-19 2019-09-20 深圳市道通智能航空技术有限公司 一种基于目标跟踪的无人机避障方法、装置及无人机
CN110262561A (zh) * 2019-07-23 2019-09-20 哈尔滨理工大学 一种无人机自动避障方法
CN112585555A (zh) * 2020-01-21 2021-03-30 深圳市大疆创新科技有限公司 基于可通行空域判断的飞行控制方法、装置及设备
WO2021146971A1 (zh) * 2020-01-21 2021-07-29 深圳市大疆创新科技有限公司 基于可通行空域判断的飞行控制方法、装置及设备
CN111309022A (zh) * 2020-03-02 2020-06-19 北京优世达科技有限公司 一种基于双目视觉的无人船自主避障系统的自动避障方法
CN113448340A (zh) * 2020-03-27 2021-09-28 北京三快在线科技有限公司 一种无人机的路径规划方法、装置、无人机及存储介质
CN113448340B (zh) * 2020-03-27 2022-12-16 北京三快在线科技有限公司 一种无人机的路径规划方法、装置、无人机及存储介质
CN112097744A (zh) * 2020-09-16 2020-12-18 上海遥程信息科技有限公司 一种竖立面的图像扫描方法、装置、设备和存储介质
WO2023272633A1 (zh) * 2021-06-30 2023-01-05 深圳市大疆创新科技有限公司 无人机的控制方法、无人机、飞行系统及存储介质

Also Published As

Publication number Publication date
CN107703951B (zh) 2019-02-01

Similar Documents

Publication Publication Date Title
CN107703951B (zh) 一种基于双目视觉的无人机避障方法及系统
CN106529495B (zh) 一种飞行器的障碍物检测方法和装置
CN106681353B (zh) 基于双目视觉与光流融合的无人机避障方法及系统
CN109631896B (zh) 一种基于车辆视觉和运动信息的停车场自主泊车定位方法
CN111986506B (zh) 基于多视觉系统的机械式停车位泊车方法
CN106960454B (zh) 景深避障方法、设备及无人飞行器
CN102435174B (zh) 基于混合式双目视觉的障碍物检测方法及装置
CN101549683B (zh) 自动识别道路深坑与障碍物的车辆智能方法
CN106444837A (zh) 一种无人机避障方法及系统
CN109143247B (zh) 一种声光成像的三目水下探测方法
WO2015024407A1 (zh) 基于电力机器人的双目视觉导航系统及方法
CN110174088A (zh) 一种基于单目视觉的目标测距方法
CN109143215A (zh) 一种基于双目视觉与v2x通信的协同预警设备与方法
WO2018119744A1 (zh) 一种虚警障碍物检测方法及装置
CN106441286A (zh) 基于bim技术的无人机隧道巡检系统
CN109782788A (zh) 基于双目视觉的无人机低空避障系统及控制方法
EP3531375B1 (en) Method and apparatus for measuring distance, and unmanned aerial vehicle
CN109263637B (zh) 一种碰撞预测的方法及装置
CN109282808A (zh) 用于桥梁三维巡航检测的无人机与多传感器融合定位方法
CN114608561A (zh) 一种基于多传感器融合的定位与建图方法及系统
CN114897988B (zh) 一种铰链式车辆中的多相机定位方法、装置及设备
CN115639547A (zh) 多线激光雷达与gnss_ins联合标定方法、系统及介质
CN117115271A (zh) 无人机飞行过程中的双目相机外参数自标定方法及系统
CN111862146B (zh) 一种目标对象的定位方法及装置
CN115388880B (zh) 一种低成本记忆泊车建图与定位方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant