CN110427042A - 基于超声波和双目视觉的无人机低空避障方法 - Google Patents
基于超声波和双目视觉的无人机低空避障方法 Download PDFInfo
- Publication number
- CN110427042A CN110427042A CN201910776819.XA CN201910776819A CN110427042A CN 110427042 A CN110427042 A CN 110427042A CN 201910776819 A CN201910776819 A CN 201910776819A CN 110427042 A CN110427042 A CN 110427042A
- Authority
- CN
- China
- Prior art keywords
- unmanned plane
- angle
- barrier
- threshold value
- roll
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000004438 eyesight Effects 0.000 title claims abstract description 25
- 230000004888 barrier function Effects 0.000 claims abstract description 41
- 238000001514 detection method Methods 0.000 claims abstract description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 230000035772 mutation Effects 0.000 claims description 6
- 230000000295 complement effect Effects 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000002604 ultrasonography Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 3
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 230000011218 segmentation Effects 0.000 claims 1
- 238000005259 measurement Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 235000011034 Rubus glaucus Nutrition 0.000 description 3
- 244000235659 Rubus idaeus Species 0.000 description 3
- 235000009122 Rubus idaeus Nutrition 0.000 description 3
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 240000002853 Nelumbo nucifera Species 0.000 description 1
- 235000006508 Nelumbo nucifera Nutrition 0.000 description 1
- 235000006510 Nelumbo pentapetala Nutrition 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
- G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Computer Networks & Wireless Communication (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明提供了一种基于超声波和双目视觉的无人机低空避障方法，所述方法包括以下步骤：同时开启双目摄像头和八路超声波；双目摄像头获取无人机前方的图像，若未检测到前方有障碍物，双目摄像头继续采集图像，若检测到前方有障碍物，利用视差图获取障碍物的深度值；再根据无人机姿态补偿俯仰角、横滚角度来获取障碍物的真实垂直距离和水平距离；判断是否大于阈值，根据障碍物的具体信息选择相应的避障模式；同时八路超声波一旦检测到障碍物，开启相应的双目视觉检测障碍物，再根据上述步骤来进行选择性避障。本发明提供的避障方法实现了快速判断是否需要避障，障碍物的具体位置，也能避免地面、墙壁的干扰，实现无人机精准避障。
Description
技术领域
本发明涉及无人机避障技术领域，尤其涉及一种基于超声波和双目视觉的无人机低空避障方法。
背景技术
无人机避障系统非常重要，它很大程度上决定了无人机的实用性。现有的超声波避障系统，测距短，测距的精度与物体的材质有关。雷达避障，使用费用高。双目避障，测距远，范围广，精度较高。这种避障系统能够大大提升无人机的安全性以及可靠性，使得无人机能够适用于更多的地方。但使用单个双目视觉避障存在死角，不能实现360度全方位避障。另外，无人机向前飞行时，需要向前下方倾斜以使旋翼拉力产生水平分量，从而实现前飞运动，但是当无人机倾斜的时候双目或超声波测出的并不是地面或障碍物之间实际距离，它导致的结果就是无人机避障不精确，无人机不能按照我们预期的形态进行避障，无人机发生碰撞的可能性大大提升，使得双目避障系统的实用性以及可靠性大大降低。
现有技术中，目前遇到的问题：使用视场角等分方法避障时需要检测的精度、效率、阈值。即每几度分割视场角，所选角度过大时检测的精度大大下降，所选的角度过小时检测的效率大大降低，未给出所选的阈值的计算方法。单个超声波避障的不精确性，单个双目存在死区，开启太多的双目视觉处理慢。
发明内容
本发明所解决的技术问题是无人机遇到障碍物时判断是否需要避障，以及忽略无人机自身倾斜的问题，视角等分临界问题，阈值计算问题，单个超声波和双目视觉的不准确性和局限性，提供一种基于超声波和双目视觉的无人机低空避障方法，克服无人机自身倾斜带来的误差，解决了无人机复杂环境下的避障。
本发明为解决上述技术问题采用以下技术方案：
一种基于超声波和双目视觉的无人机低空避障方法，包括以下步骤：
步骤一、开启八路超声波，并确定无人机的飞行方向角并开启相应区域的双目摄像头；
步骤二、通过双目摄像头获取无人机前方的环境图像根据获取的环境图像识别无人机前方是否有目标对象；如果前方识别出目标对象，则基于无人机当前的姿态信息以及根据环境图像所获取的目标对象深度值，判断前方目标对象是否会影响无人机继续飞行；基于目标对象深度值计算出无人机与目标对象的垂直距离和无人机的水平距离；如果前方所识别的目标对象的垂直距离低于或等于阈值且水平距离小于阈值，无人机采取避障措施；如果前方所识别的目标对象的垂直距离高于阈值，则无人机不采取避障措施，仍然保持当前飞行方向继续飞行；其中姿态传感器为三轴传感器和三轴加速度计，用于获取的无人机俯仰角、横滚角以及偏航角；目标对象深度值通过双目视差图获取；
步骤三、无人机飞行过程中一直开启八路超声波，防止检测的死区突然出现障碍物，当超声波检测到障碍物时，判断障碍物在哪个位置，若判断的障碍物不同于飞行方向，打开相应位置的双目视觉检测是否需要避障，重复步骤二的避障方法；
进一步的，所述步骤一中确定无人机的飞行方向角并开启相应区域的双目摄像头，具体如下：
①规定无人机向前飞行的俯仰角为正，无人机向左飞行的横滚角为正，无人机若只存在俯仰角，则根据俯仰角的正负选择开启前摄像头或者后摄像头。
②若无人机只存在横滚角，则根据横滚角的正负选择开启左摄像头或者右摄像头。
③若无人机存在俯仰和横滚角，设无人机俯仰角为γ，横滚角为φ，其中偏航角λ角度处于(-π,π)，俯仰角γ处于横滚角φ处于无人机所受的合力为F，开始时F＝mg。无人机变化状态可以看做是先进行俯仰再横滚，或者相反。F对应的yz平面的Fy＝FCOSφ，则y轴的分量为Y＝FySinγ＝FCOSφSinγ，同理对应的xz平面X＝FSinφ。通过X,Y轴的分量值，则可计算出y轴偏向x轴的角度κ：
若κ<0，则κ＝κ+360，计算得到κ在(0°，360°)区间内，其中以y的正轴为0°；若κ角度在第i区域的不重叠部分或第i重叠区(i＝1,2,3,…8)，则打开第i区域的双目摄像头，更有利于自主避障；
进一步的，所述步骤二中基于无人机当前的姿态信息以及根据环境图像所获取的目标对象深度值，判断前方目标对象是否会影响无人机继续飞行，具体方法为：
①由所计算出的无人机x轴和y轴的水平分量，计算出合力F投影到XY平面的对应角度K：
②无人机俯仰角(-30°，30°)内，其中无人机机体坐标系所在平面为基准线，基准线以下角度为负，以上角度为正，视场角在(-30°，30°)内；根据所获取的目标对象深度值判断前方目标对象是否会影响无人机继续飞行的具体步骤为：
(1)垂直方向上视场角等分，对应的角度为θ1、θ2、θ3、....θn,视场角范围内由上到下识别出目标对象所对应的深度值x1、x2、x3、....xn，各对应角度所对应到基准线的角度为α1、α2、α3、....αn，αn＝30°-θn；对应的计算角β1、β2、β3、....βn，βn＝αn+K，其中0°<θ<60°，30°为相机广角的一半，K为F投影到XY平面的对应角度K，90-K为无人机飞行方向的倾斜角；上到下计算每个深度值对应的垂直方向的分量h1＝x1*|cosβ1|、h2＝x2*|cosβ2|、h3＝x3*|cosβ3|...hn＝xn*|cosβn|，分别计算突变阈值S1＝h2-h1、S2＝h3-h2、S3＝h4-h3、....Sn＝hn-hn-1；若Sn>阈值y，则表示垂直距离突变(阈值＝水平最远距离Smax*sin(θn-θn-1)，本实例Smax为2m，θn-θn-1＝5°)，若从开始计算起连续n次hn<＝阈值g，则判定前方有障碍物；
(2)若从开始计算所有hn>阈值g，则判定前方无障碍物，无人机继续向前飞行；
(3)所述阈值g的具体计算方式如下：已知合力F投影到XY平面的对应角度K，可得无人机飞行方向的倾斜角为90-K；
设无人机长宽近似以无人机轴径为直径的圆，z为圆的直径加上旋翼桨叶的直径，计算出每次姿态变化的各个摄像头对应的变化高度m，N为根据上述判断打开对应摄像头的角度；根据本实例上述可计算出无人机的飞行方向κ，无人机向κ方向倾斜时，必定有垂直与κ方向的轴在倾斜时保持不变，计算出打开的摄像头相对与κ角度，计算其余角；根据无人机的直径和余角计算出垂直于不变轴的距离，再根据倾斜角K计算出m，计算公式如下：
求其变化的无人机下方的阈值g，gd为无人机不存在任何倾斜角度时控制器到脚架底的高度，计算gd和无人机倾斜角的关系为：
gd*cos(90-K)
故无人机有倾斜角是变化的阈值为：
g＝gd+m
(4)由上到下依次计算每个深度值对应的垂直方向的分量h1＝x1*|cosβ1|、h2＝x2*|cosβ2|、h3＝x3*|cosβ3|...hn＝xn*|cosβn|，分别计算突变阈值S2＝h2-h1、S3＝h3-h2、S4＝h4-h3、....Sn＝hn-hn-1、若Sn>20cm则表示垂直距离突变，具体解决方案如下：
1)当Sn>20cm，则计算出障碍物与无人机的距离Ln＝xn*sinβn，由上述角度求出hn-1的对应角an-1＝θn-1+γ-30°，再求出对应的hc＝Ln*tan(an-1)；若hc<＝30cm,则作为第一个有效的障碍物点。由上到下依次计算障碍物与无人机的水平距离L1＝x1*sinβ1、L2＝x2*sinβ2、L3＝x3*sinβ3、....、Ln＝xn*sinβn，若从开始计算起连续n次hn<＝阈值g，则判定前方有障碍物，依次计算出障碍物与无人机的水平距离；
2)若从开始计算所有hn>30cm,则判定前方无障碍物，无人机继续向前飞行；
进一步的，障碍物与无人机的距离Ln＝xn*sinβn，将n次测得的水平距离求平均，减少测得的误差；水平方向按图像宽等分，设置等分间隔为τ，根据相机的坐标系变化可知，图像坐标转为实际坐标。x，y为图像坐标，xc，yc，zc为实际坐标，f为相机的焦距。则相同位zc的障碍物的图像位差：则τ＝Δx，求出实际水平位差：把水平分割的竖直线看作是，双目摄像头旋转o度的相机平面和原相机平面的交线，可以计算出旋转的角度计算仅存在俯仰或横滚时目标点到原图像平面的真实距离Lz为：
其中，ln表示旋转之后的对应的深度值。
当俯仰和横滚都存在时，可以分解为先俯仰在横滚，现俯仰算出俯仰角补偿之后的真实距离Ln，横滚相当与把真实距离再转过横滚角，补偿方法具体为：Rn为存在俯仰横滚时双目不同水平分割测出的距离，LXn为俯仰角补偿y轴的距离。L补偿为俯仰横滚补偿后的距离。当Ln＝Rn*|sino|cosδ，LXn＝Rn|coso|时，则有
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
1.基于树莓派的双目测距模块，价格低，安装简单，同时减小了嵌入式处理器的负荷，使得无人机姿态控制更加自如；
2.八路超声波模块与八路双目测距模块的同时使用，相比于一路超声波模块与一路双目测距模块，虽然提高了成本，但是可以360度无死角观测四周环境，更加确保无人机飞行时的安全性；相比于六路超声波模块与六路双目测距模块，对于边界的障碍物可以更精确地定位；
3.通过角度修正了无人机倾斜对双目测距和超声波测距的干扰，并将检测到的范围根据距离及无人机速度分为三部分分别处理，使无人机的回避路线规划更加合理、准确。
附图说明
图1是本发明提供的一种无人机避障系统的结构图；
图2是本发明提供的无人机的八路双目视觉和八路超声波的安装和对应的角度；
图3是本发明提供的一种无人机避障方法流程图；
图4是本发明提供的无人机俯仰横滚同时存在时计算其X,Y分量，确定飞行角；
图5是本发明提供的无人机飞行时检测障碍物；
图6是本发明提供的无人机检测到垂直距离突变；
图7是本发明提供的无人机俯仰、横滚同时存在时角度的修正；
图8是本发明提供的无人机计算垂直阈值的平面图；
图9是本发明提供的摄像头的真实距离算法；
具体实施方案
为了使本发明的目的、技术方案及优点更加清楚，以下结合附图1-9，对本发明进一步详细描述。
如图1所示，本发明是一种基于超声波和双目视觉的无人机低空避障方法，所述无人机低空避障系统包括无人机姿态识别模块，飞行控制模块，八路双目摄像头模块以及八路超声波模块。所述姿态识别模块包括加速度计、陀螺仪、磁力计和气压计，用于获得无人机自身的姿态角(俯仰角、横滚角和偏航角)和高度。所述飞行控制模块主要为嵌入式单片机和地面站，控制无人机的飞行姿态。
如图2所示，所述八路双目摄像头模块包括八个双目摄像头和1个树莓派，用于实现360度无死角的双目视觉避障。八路双目视觉模块均匀设于无人机周围，八个双目视觉模块每隔45度放置在无人机前、前左、左、后左、后、后右、右、前右，这八个方位。所述树莓派为双目摄像头的处理系统，通过USB连接双目摄像头，用于处理视差图的深度值，判断是否进行避障，通过IO口连接飞控，控制无人机的飞行姿态；
所述八路超声波模块均匀设于八路双目视觉模块的正下方，且8个超声波每隔45度放置在无人机前、前左、左、后左、后、后右、右、前右，八个方位。
进一步的，所述的八路双目视觉和八路超声波测量范围有重叠部分各个重叠部分的中心角度为22.5°，67.5°，112.5°，157.5°，202.5°，247.5°，292.5°，337.5°。重新划分视觉范围，对应位号的双目和超声波测量范围为，1号测量范围；(337.5，360)和(0，22.5)；2号～8号编号测量范围：(-22.5+45*(n-1),22.5+45*(n-1))。
如图3所示，基于超声波和双目视觉的无人机低空避障方法，包含以下步骤：
步骤一、开启八路超声波，并确定无人机的飞行方向角并开启相应区域的双目摄像头；其中所要确定无人机的飞行方向角，具体如下：
④规定无人机向前飞行的俯仰角为正，无人机向左飞行的横滚角为正，无人机若只存在俯仰角，则根据俯仰角的正负选择开启前摄像头或者后摄像头。
⑤若无人机只存在横滚角，则根据横滚角的正负选择开启左摄像头或者右摄像头。
⑥若无人机存在俯仰和横滚角，设无人机俯仰角为γ，横滚角为φ，其中偏航角λ角度处于(-π,π)，俯仰角γ处于横滚角φ处于无人机所受的合力为F，开始时F＝mg。如图4所示，无人机变化状态可以看做是先进行俯仰再横滚，或者相反。F对应的yz平面的Fy＝FCOSφ，则y轴的分量为Y＝FySinγ＝FCOSφSinγ，同理对应的xz平面X＝FSinφ。通过X,Y轴的分量值，则可计算出y轴偏向x轴的角度κ：
若κ<0，则κ＝κ+360，计算得到κ在(0°，360°)区间内，其中以y的正轴为0°；若κ角度在第i区域的不重叠部分或第i重叠区(i＝1,2,3,…8)，则打开第i区域的双目摄像头，更有利于自主避障；
步骤二、通过双目摄像头获取无人机前方的环境图像根据获取的环境图像识别无人机前方是否有目标对象；如果前方识别出目标对象，则基于无人机当前的姿态信息以及根据环境图像所获取的目标对象深度值，判断前方目标对象是否会影响无人机继续飞行；基于目标对象深度值计算出无人机与目标对象的垂直距离和无人机的水平距离；如果前方所识别的目标对象的垂直距离低于或等于阈值且水平距离小于阈值，无人机采取避障措施；如果前方所识别的目标对象的垂直距离高于阈值，则无人机不采取避障措施，仍然保持当前飞行方向继续飞行；其中姿态传感器为三轴传感器和三轴加速度计，用于获取的无人机俯仰角、横滚角以及偏航角；目标对象深度值通过双目视差图获取；
进一步，所述的目标对象深度值通过如下方法获得：
◆所述双目摄像机获取无人机前方的环境图像包括第一图像和第二图像；
◆所述双目摄像机的两个摄像头通过张氏标定法，获取摄像头的内外参数，再通过摄像头的外部参数和畸变系数对第一图像和第二图像进行矫正；
◆将矫正后的第一图像和第二图像使用SGBM算法进行立体匹配，得到两个图像的视差图；
◆基于所述视差图获取深度图像，根据所述深度图像提取目标对象深度值。
进一步，若目标对象中存在障碍物，则基于目标深度值获取无人机与障碍物间的距离；具体为，如果前方识别出目标对象，则基于目标对象深度值计算出无人机与目标对象的垂直距离和无人机的水平距离；如果前方所识别的目标对象的垂直距离低于或等于阈值且水平距离小于阈值，无人机采取避障措施；如果前方所识别的目标对象的垂直距离高于阈值，则无人机不采取避障措施，仍然保持当前飞行方向继续飞行。
在本实施例中，步骤二中基于无人机当前的姿态信息以及根据环境图像所获取的目标对象深度值，判断前方目标对象是否会影响无人机继续飞行，具体方法为：
③由所计算出的无人机x轴和y轴的水平分量，计算出合力F投影到XY平面的对应角度K：
④本实例中无人机俯仰角(-30°，30°)内，其中无人机机体坐标系所在平面为基准线，基准线以下角度为负，以上角度为正，视场角在(-30°，30°)内；根据所获取的目标对象深度值判断前方目标对象是否会影响无人机继续飞行的具体步骤为：
(5)如图5所示，垂直方向上视场角等分，对应的角度为θ1、θ2、θ3、....θn,视场角范围内由上到下识别出目标对象所对应的深度值x1、x2、x3、....xn，各对应角度所对应到基准线的角度为α1、α2、α3、....αn，αn＝30°-θn；对应的计算角β1、β2、β3、....βn，βn＝αn+K，其中0°<θ<60°，30°为相机广角的一半，K为F投影到XY平面的对应角度K，90-K为无人机飞行方向的倾斜角；上到下计算每个深度值对应的垂直方向的分量h1＝x1*|cosβ1|、h2＝x2*|cosβ2|、h3＝x3*|cosβ3|...hn＝xn*|cosβn|，分别计算突变阈值S1＝h2-h1、S2＝h3-h2、S3＝h4-h3、....Sn＝hn-hn-1；若Sn>阈值y，则表示垂直距离突变(阈值＝水平最远距离Smax*sin(θn-θn-1)，本实例Smax为2m，θn-θn-1＝5°)，如图6所示，若从开始计算起连续n次hn<＝阈值g，则判定前方有障碍物；
(6)若从开始计算所有hn>阈值g，则判定前方无障碍物，无人机继续向前飞行；
(7)所述阈值g的具体计算方式如下：已知合力F投影到XY平面的对应角度K，可得无人机飞行方向的倾斜角为90-K；
设无人机长宽近似以无人机轴径为直径的圆，z为圆的直径加上旋翼桨叶的直径，计算出每次姿态变化的各个摄像头对应的变化高度m，N为根据上述判断打开对应摄像头的角度(见图7和图8)；根据本实例上述可计算出无人机的飞行方向κ，无人机向κ方向倾斜时，必定有垂直与κ方向的轴在倾斜时保持不变，计算出打开的摄像头相对与κ角度，计算其余角；根据无人机的直径和余角计算出垂直于不变轴的距离，再根据倾斜角K计算出m，计算公式如下：
求其变化的无人机下方的阈值g，gd为无人机不存在任何倾斜角度时控制器到脚架底的高度，本实例中为20cm，计算gd和无人机倾斜角的关系为：
gd*cos(90-K)
故无人机有倾斜角是变化的阈值为：
g＝gd+m
(8)由上到下依次计算每个深度值对应的垂直方向的分量h1＝x1*|cosβ1|、h2＝x2*|cosβ2|、h3＝x3*|cosβ3|...hn＝xn*|cosβn|，分别计算突变阈值S2＝h2-h1、S3＝h3-h2、S4＝h4-h3、....Sn＝hn-hn-1、若Sn>20cm则表示垂直距离突变，将会遇到如图5的情况，具体解决方案如下：
3)当Sn>20cm，则计算出障碍物与无人机的距离Ln＝xn*sinβn，由上述角度求出hn-1的对应角an-1＝θn-1+γ-30°，再求出对应的hc＝Ln*tan(an-1)；若hc<＝30cm,则作为第一个有效的障碍物点。由上到下依次计算障碍物与无人机的水平距离L1＝x1*sinβ1、L2＝x2*sinβ2、L3＝x3*sinβ3、....、Ln＝xn*sinβn，若从开始计算起连续n次hn<＝阈值g，则判定前方有障碍物，依次计算出障碍物与无人机的水平距离；
4)若从开始计算所有hn>30cm,则判定前方无障碍物，无人机继续向前飞行；
进一步的，障碍物与无人机的距离Ln＝xn*sinβn，将n次测得的水平距离求平均，减少测得的误差；水平方向按图像宽等分，设置等分间隔为τ，根据相机的坐标系变化可知，图像坐标转为实际坐标。x，y为图像坐标，xc，yc，zc为实际坐标，f为相机的焦距。则相同位zc的障碍物的图像位差：则τ＝Δx，求出实际水平位差：把水平分割的竖直线看作是，双目摄像头旋转o度的相机平面和原相机平面的交线。如图9所示，可以计算出旋转的角度计算仅存在俯仰或横滚时目标点到原图像平面的真实距离Lz为：
其中，ln表示旋转之后的对应的深度值。
当俯仰和横滚都存在时，可以分解为先俯仰在横滚，现俯仰算出俯仰角补偿之后的真实距离Ln，横滚相当与把真实距离再转过横滚角(见图7)，补偿方法具体为：Rn为存在俯仰横滚时双目不同水平分割测出的距离，LXn为俯仰角补偿y轴的距离。L补偿为俯仰横滚补偿后的距离。当Ln＝Rn*|sino|cosδ，LXn＝Rn|coso|时，则有
步骤三、无人机飞行过程中一直开启八路超声波，防止检测的死区突然出现障碍物，当超声波检测到障碍物时，判断障碍物在哪个位置，若判断的障碍物不同于飞行方向，打开相应位置的双目视觉检测是否需要避障，重复步骤二的避障方法；
进一步，若超声波判断的障碍物与飞行方向相同，则Ln与设定的阈值比较，若Ln大于设定的阈值，则无人机向前飞行，若Ln与小于设定的阈值则无人机选择避障。具体的，Ln小于15m大于10m时进入第一安全距离，无人机调整飞行倾斜角适当减小速度；Ln小于10m大于5m时进入第二安全距离，无人机报警灯光闪烁减速刹车；Ln小于5m时进入危险距离，无人机紧急制动，并退回5m处。若超声波判断的障碍物与飞行方向不同，则Ln与设定的阈值比较，若Ln大于设定的阈值，则无人机不避障，若Ln与小于设定的阈值则无人机向上飞行，直到无障碍停止向上飞行，无人机停止悬停。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (4)
1.基于超声波和双目视觉的无人机低空避障方法，其特征在于：所述方法包括以下步骤：
步骤一、开启八路超声波，并确定无人机的飞行方向角并开启相应区域的双目摄像头；
步骤二、通过双目摄像头获取无人机前方的环境图像根据获取的环境图像识别无人机前方是否有目标对象；如果前方识别出目标对象，则基于无人机当前的姿态信息以及根据环境图像所获取的目标对象深度值，判断前方目标对象是否会影响无人机继续飞行；基于目标对象深度值计算出无人机与目标对象的垂直距离和无人机的水平距离；如果前方所识别的目标对象的垂直距离低于或等于阈值且水平距离小于阈值，无人机采取避障措施；如果前方所识别的目标对象的垂直距离高于阈值，则无人机不采取避障措施，仍然保持当前飞行方向继续飞行；其中姿态传感器为三轴传感器和三轴加速度计，用于获取的无人机俯仰角、横滚角以及偏航角；目标对象深度值通过双目视差图获取；
步骤三、无人机飞行过程中一直开启八路超声波，防止检测的死区突然出现障碍物，当超声波检测到障碍物时，判断障碍物在哪个位置，若判断的障碍物不同于飞行方向，打开相应位置的双目视觉检测是否需要避障，重复步骤二的避障方法。
2.如权利要求1所述的基于超声波和双目视觉的无人机低空避障方法，其特征在于：所述步骤一中确定无人机的飞行方向角并开启相应区域的双目摄像头，具体如下：
①规定无人机向前飞行的俯仰角为正，无人机向左飞行的横滚角为正，无人机若只存在俯仰角，则根据俯仰角的正负选择开启前摄像头或者后摄像头；
②若无人机只存在横滚角，则根据横滚角的正负选择开启左摄像头或者右摄像头；
③若无人机存在俯仰和横滚角，设无人机俯仰角为γ，横滚角为φ，其中偏航角λ角度处于(-π,π)，俯仰角γ处于横滚角φ处于无人机所受的合力为F，开始时F＝mg；无人机变化状态可以看做是先进行俯仰再横滚，或者相反；F对应的yz平面的Fy＝FCOSφ，则y轴的分量为Y＝FySinγ＝FCOSφSinγ，同理对应的xz平面X＝FSinφ；通过X,Y轴的分量值，则可计算出y轴偏向x轴的角度κ：
若κ<0，则κ＝κ+360，计算得到κ在(0°，360°)区间内，其中以y的正轴为0°；若κ角度在第i区域的不重叠部分或第i重叠区(i＝1,2,3,…8)，则打开第i区域的双目摄像头，更有利于自主避障。
3.如权利要求1所述的基于超声波和双目视觉的无人机低空避障方法，其特征在于：所述步骤二中基于无人机当前的姿态信息以及根据环境图像所获取的目标对象深度值，判断前方目标对象是否会影响无人机继续飞行，具体方法为：
①由所计算出的无人机x轴和y轴的水平分量，计算出合力F投影到XY平面的对应角度K：
②无人机俯仰角(-30°，30°)内，其中无人机机体坐标系所在平面为基准线，基准线以下角度为负，以上角度为正，视场角在(-30°，30°)内；根据所获取的目标对象深度值判断前方目标对象是否会影响无人机继续飞行的具体步骤为：
(1)垂直方向上视场角等分，对应的角度为θ1、θ2、θ3、....θn,视场角范围内由上到下识别出目标对象所对应的深度值x1、x2、x3、....xn，各对应角度所对应到基准线的角度为α1、α2、α3、....αn，αn＝30°-θn；对应的计算角β1、β2、β3、....βn，βn＝αn+K，其中0°<θ<60°，30°为相机广角的一半，K为F投影到XY平面的对应角度K，90-K为无人机飞行方向的倾斜角；上到下计算每个深度值对应的垂直方向的分量h1＝x1*|cosβ1|、h2＝x2*|cosβ2|、h3＝x3*|cosβ3|...hn＝xn*|cosβn|，分别计算突变阈值S1＝h2-h1、S2＝h3-h2、S3＝h4-h3、....Sn＝hn-hn-1；若Sn>阈值y，则表示垂直距离突变(阈值＝水平最远距离Smax*sin(θn-θn-1)，本实例Smax为2m，θn-θn-1＝5°)，若从开始计算起连续n次hn<＝阈值g，则判定前方有障碍物；
(2)若从开始计算所有hn>阈值g，则判定前方无障碍物，无人机继续向前飞行；
(3)所述阈值g的具体计算方式如下：已知合力F投影到XY平面的对应角度K，可得无人机飞行方向的倾斜角为90-K；
设无人机长宽近似以无人机轴径为直径的圆，z为圆的直径加上旋翼桨叶的直径，计算出每次姿态变化的各个摄像头对应的变化高度m，N为根据上述判断打开对应摄像头的角度；根据本实例上述可计算出无人机的飞行方向κ，无人机向κ方向倾斜时，必定有垂直与κ方向的轴在倾斜时保持不变，计算出打开的摄像头相对与κ角度，计算其余角；根据无人机的直径和余角计算出垂直于不变轴的距离，再根据倾斜角K计算出m，计算公式如下：
求其变化的无人机下方的阈值g，gd为无人机不存在任何倾斜角度时控制器到脚架底的高度，计算gd和无人机倾斜角的关系为：
gd*cos(90-K)
故无人机有倾斜角是变化的阈值为：
g＝gd+m
(4)由上到下依次计算每个深度值对应的垂直方向的分量h1＝x1*|cosβ1|、h2＝x2*|cosβ2|、h3＝x3*|cosβ3|...hn＝xn*|cosβn|，分别计算突变阈值S2＝h2-h1、S3＝h3-h2、S4＝h4-h3、....Sn＝hn-hn-1、若Sn>20cm则表示垂直距离突变，具体解决方案如下：
1)当Sn>20cm，则计算出障碍物与无人机的距离Ln＝xn*sinβn，由上述角度求出hn-1的对应角an-1＝θn-1+γ-30°，再求出对应的hc＝Ln*tan(an-1)；若hc<＝30cm,则作为第一个有效的障碍物点。由上到下依次计算障碍物与无人机的水平距离L1＝x1*sinβ1、L2＝x2*sinβ2、L3＝x3*sinβ3、....、Ln＝xn*sinβn，若从开始计算起连续n次hn<＝阈值g，则判定前方有障碍物，依次计算出障碍物与无人机的水平距离；
2)若从开始计算所有hn>30cm,则判定前方无障碍物，无人机继续向前飞行。
4.如权利要求1和3所述的基于超声波和双目视觉的无人机低空避障方法，其特征在于：权利要求3所述的障碍物与无人机的水平距离Ln做进一步补偿，具体方法如下：将n次测得的水平距离求平均，减少测得的误差；水平方向按图像宽等分，设置等分间隔为τ，根据相机的坐标系变化可知，图像坐标转为实际坐标；x，y为图像坐标，xc，yc，zc为实际坐标，f为相机的焦距；则相同位zc的障碍物的图像位差：则τ＝Δx，求出实际水平位差：把水平分割的竖直线看作是，双目摄像头旋转o度的相机平面和原相机平面的交线；可以计算出旋转的角度计算仅存在俯仰或横滚时目标点到原图像平面的真实距离Lz为
其中，ln表示旋转之后的对应的深度值；
当俯仰和横滚都存在时，可以分解为先俯仰在横滚，现俯仰算出俯仰角补偿之后的真实距离Ln，横滚相当与把真实距离在转过横滚角，补偿方法具体为：Rn为存在俯仰横滚时双目不同水平分割测出的距离，LXn为俯仰角补偿y轴的距离；L补偿为俯仰横滚补偿后的距离；
当Ln＝Rn*|sino|cosδ，LXn＝Rn|coso|时，则有
。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910776819.XA CN110427042A (zh) | 2019-08-22 | 2019-08-22 | 基于超声波和双目视觉的无人机低空避障方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910776819.XA CN110427042A (zh) | 2019-08-22 | 2019-08-22 | 基于超声波和双目视觉的无人机低空避障方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110427042A true CN110427042A (zh) | 2019-11-08 |
Family
ID=68415515
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910776819.XA Withdrawn CN110427042A (zh) | 2019-08-22 | 2019-08-22 | 基于超声波和双目视觉的无人机低空避障方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110427042A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110879397A (zh) * | 2019-11-29 | 2020-03-13 | 安徽江淮汽车集团股份有限公司 | 障碍物识别方法、设备、存储介质及装置 |
| CN113050691A (zh) * | 2021-03-25 | 2021-06-29 | 成都纵横自动化技术股份有限公司 | 一种无人机避障方法、装置、设备及计算机可读存储介质 |
| CN113376658A (zh) * | 2021-05-08 | 2021-09-10 | 广东电网有限责任公司广州供电局 | 一种基于单线激光雷达的无人机自主避障方法及系统 |
| CN113448340A (zh) * | 2020-03-27 | 2021-09-28 | 北京三快在线科技有限公司 | 一种无人机的路径规划方法、装置、无人机及存储介质 |
| CN113900446A (zh) * | 2021-10-15 | 2022-01-07 | 贵州师范学院 | 基于双目视觉的无人机水文监测自主避障系统和方法 |
| CN113933871A (zh) * | 2021-10-15 | 2022-01-14 | 贵州师范学院 | 基于无人机和北斗定位的洪水灾情检测系统 |
| WO2022033307A1 (zh) * | 2020-08-10 | 2022-02-17 | 深圳市道通智能航空技术股份有限公司 | 一种避障方法、装置及无人飞行器 |
| CN114237296A (zh) * | 2021-12-14 | 2022-03-25 | 湖北襄开电力设备有限公司 | 一种无人机飞行监控系统及方法 |
-
2019
- 2019-08-22 CN CN201910776819.XA patent/CN110427042A/zh not_active Withdrawn
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110879397A (zh) * | 2019-11-29 | 2020-03-13 | 安徽江淮汽车集团股份有限公司 | 障碍物识别方法、设备、存储介质及装置 |
| CN110879397B (zh) * | 2019-11-29 | 2021-10-29 | 安徽江淮汽车集团股份有限公司 | 障碍物识别方法、设备、存储介质及装置 |
| CN113448340A (zh) * | 2020-03-27 | 2021-09-28 | 北京三快在线科技有限公司 | 一种无人机的路径规划方法、装置、无人机及存储介质 |
| CN113448340B (zh) * | 2020-03-27 | 2022-12-16 | 北京三快在线科技有限公司 | 一种无人机的路径规划方法、装置、无人机及存储介质 |
| WO2022033307A1 (zh) * | 2020-08-10 | 2022-02-17 | 深圳市道通智能航空技术股份有限公司 | 一种避障方法、装置及无人飞行器 |
| CN113050691A (zh) * | 2021-03-25 | 2021-06-29 | 成都纵横自动化技术股份有限公司 | 一种无人机避障方法、装置、设备及计算机可读存储介质 |
| CN113376658A (zh) * | 2021-05-08 | 2021-09-10 | 广东电网有限责任公司广州供电局 | 一种基于单线激光雷达的无人机自主避障方法及系统 |
| CN113900446A (zh) * | 2021-10-15 | 2022-01-07 | 贵州师范学院 | 基于双目视觉的无人机水文监测自主避障系统和方法 |
| CN113933871A (zh) * | 2021-10-15 | 2022-01-14 | 贵州师范学院 | 基于无人机和北斗定位的洪水灾情检测系统 |
| CN113900446B (zh) * | 2021-10-15 | 2022-07-12 | 贵州师范学院 | 基于双目视觉的无人机水文监测自主避障系统和方法 |
| CN114237296A (zh) * | 2021-12-14 | 2022-03-25 | 湖北襄开电力设备有限公司 | 一种无人机飞行监控系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110427042A (zh) | 基于超声波和双目视觉的无人机低空避障方法 | |
| CN106681353B (zh) | 基于双目视觉与光流融合的无人机避障方法及系统 | |
| US10769957B2 (en) | Systems and methods for vehicle guidance | |
| CN107389026B (zh) | 一种基于固定点射影变换的单目视觉测距方法 | |
| US20190273909A1 (en) | Methods and systems for selective sensor fusion | |
| Forster et al. | Continuous on-board monocular-vision-based elevation mapping applied to autonomous landing of micro aerial vehicles | |
| CN110745140B (zh) | 一种基于连续图像约束位姿估计的车辆换道预警方法 | |
| CN104298248B (zh) | 旋翼无人机精确视觉定位定向方法 | |
| CN108052111B (zh) | 一种基于双目视觉技术的无人机实时避障方法 | |
| CN107703951B (zh) | 一种基于双目视觉的无人机避障方法及系统 | |
| CN110442145A (zh) | 基于双目视觉的多旋翼无人机云台避障系统及方法 | |
| Strydom et al. | Visual odometry: autonomous uav navigation using optic flow and stereo | |
| CN111932588A (zh) | 一种基于深度学习的机载无人机多目标跟踪系统的跟踪方法 | |
| CN109782788A (zh) | 基于双目视觉的无人机低空避障系统及控制方法 | |
| CN113627473B (zh) | 基于多模态传感器的水面无人艇环境信息融合感知方法 | |
| CN106708073B (zh) | 一种自主导航电力巡线故障检测的四旋翼飞行器系统 | |
| CN106444837A (zh) | 一种无人机避障方法及系统 | |
| US20220024549A1 (en) | System and method for measuring the distance to an object in water | |
| CN109282808A (zh) | 用于桥梁三维巡航检测的无人机与多传感器融合定位方法 | |
| CN107390704B (zh) | 一种基于imu姿态补偿的多旋翼无人机光流悬停方法 | |
| CN108132675A (zh) | 一种工厂巡视无人机自主路径巡航以及智能避障方法 | |
| CN110456811A (zh) | 基于双目视觉和三轴云台的无人机选择性避障系统及方法 | |
| CN114200948B (zh) | 一种基于视觉辅助的无人机自主着舰方法 | |
| CN102190081A (zh) | 基于视觉的飞艇定点鲁棒控制方法 | |
| CN110427049A (zh) | 基于双目视觉和超声波的多旋翼无人机选择性避障方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20191108 |
|
| WW01 | Invention patent application withdrawn after publication |