CN110442145A - 基于双目视觉的多旋翼无人机云台避障系统及方法 - Google Patents
基于双目视觉的多旋翼无人机云台避障系统及方法 Download PDFInfo
- Publication number
- CN110442145A CN110442145A CN201910776829.3A CN201910776829A CN110442145A CN 110442145 A CN110442145 A CN 110442145A CN 201910776829 A CN201910776829 A CN 201910776829A CN 110442145 A CN110442145 A CN 110442145A
- Authority
- CN
- China
- Prior art keywords
- unmanned plane
- angle
- barrier
- threshold value
- avoidance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000004888 barrier function Effects 0.000 claims abstract description 84
- 238000002604 ultrasonography Methods 0.000 claims description 13
- 238000005259 measurement Methods 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 4
- 230000035772 mutation Effects 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000007306 turnover Effects 0.000 claims description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims 1
- 235000011034 Rubus glaucus Nutrition 0.000 description 3
- 235000009122 Rubus idaeus Nutrition 0.000 description 3
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 2
- 240000007651 Rubus glaucus Species 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 244000235659 Rubus idaeus Species 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
- G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开了基于双目视觉的多旋翼无人机云台避障系统及方法，包括以下步骤：同时开启双目摄像头和八路超声波；双目摄像头安装在云台上获取无人机前方的图像，云台始终补偿俯仰角、横滚角和偏航角，使双目摄像头保持在水平和飞向方向一致的位置；若检测到前方有障碍物，利用视差图获取障碍物的深度值；根据无人机的俯仰角和横滚角以及深度值，获取障碍物的垂直距离，判断是否大于阈值；根据障碍物的具体信息选择相应的避障模式；同时八路超声波一旦检测到障碍物，云台转到障碍物位置用双目判断是否需要避障，提高了系统的安全性；本发明提供一种能快速判断是否需要避障、修正无人机倾斜时的距离误差以及能避免地面、墙壁干扰的无人机避障方法。
Description
技术领域
本发明涉及无人机避障技术领域，尤其涉及一种基于双目视觉的多旋翼无人机云台避障系统及方法。
背景技术
随着科技的进步，无人机的运用越来越广泛，但无人机一旦到复杂的环境或者视角盲区更或者是突发情况时很有可能发生危险，所以无人机避障系统应运而生，如超声波避障、双目避障、雷达避障、激光避障等各式各样的避障系统。
无人机避障系统是非常重要的，它很大程度上决定了无人机的实用性。现有的避障系统会受到无人机姿态角的影响。双目避障测距远、范围广、精度较高、成本低，对飞行环境变化捕捉迅速、反应敏锐等优点。当无人机倾斜的时候双目测出的并不是地面或障碍物之间实际距离，它导致的结果就是无人机避障不精确，无人机不能按照我们预期的形态进行避障，无人机发生碰撞的可能性大大提升，使得双目避障系统的实用性以及可靠性大大降低。
目前现有技术中遇到的问题：使用视场角等分方法避障时需要检测的精度、效率、阈值。即每几度分割视场角，所选角度过大时检测的精度大大下降，所选的角度过小时检测的效率大大降低，未给出所选的阈值的计算方法。
发明内容
本发明专利所解决的技术问题是无人机遇到障碍物时判断是否需要避障，以及忽略无人机自身倾斜的问题，提供一种基于双目视觉的多旋翼无人机云台避障系统及方法，克服无人机自身倾斜带来的误差以及解决了无人机在复杂环境下的避障问题。这种三轴云台系统、双目视觉和多路超声波三者相结合而成的避障系统能够大大提升无人机的安全性以及可靠性，使得无人机能够适用于更多的地方。
本发明专利解决其技术问题所采用的技术方案是：
基于双目视觉的多旋翼无人机云台避障系统及方法，包括以下步骤：
步骤1.同时开启八路超声波模块和一路双目摄像头；
步骤2.无人机姿态模块获取无人机俯仰角、横滚角以及偏航角；三轴云台补偿无人机的俯仰角和横滚角，使双目摄像头保持在水平位置，且双目视角始终和无人机的飞行方向保持一致；
步骤3.通过双目摄像头获取无人机前方的环境图像；所述环境图像为双目摄像头同一时刻分别所拍摄的第一图像和第二图像；根据获取的环境图像识别无人机前方是否有目标对象；
步骤4.若目标对象中存在障碍物，根据所获取的目标对象深度值判断前方目标对象是否会影响无人机继续飞行；如果前方识别出目标对象，则基于目标对象深度值计算出无人机与目标对象的垂直距离和无人机的水平距离，并根据无人机与目标对象的水平和垂直距离选择是否进行避障；如果前方所识别的目标对象的垂直距离低于或等于阈值，则无人机选择避障；如果前方所识别的目标对象的垂直距离高于阈值，则无人机不采取避障措施，仍然保持当前飞行方向继续飞行；
步骤5.通过八路超声波检测四周环境是否存在障碍物以及测量与障碍物的距离；若超声波检测出该区域需要避障，则将双目摄像机转到该区域的中心线位置，通过双目摄像机获取无人机前方的环境图像，确定是否需要避障。
进一步的，所述步骤2中双目视觉的位置始终和无人机的飞行方向一致，具体步骤如下：
规定无人机向前飞行的俯仰角为正，无人机向右飞行的横滚角为正，无人机的偏航角为λ。若无人机存在俯仰和横滚角，设无人机俯仰角为γ，横滚角为φ，其中偏航角λ角度处于(-π,π)，俯仰角横滚角无人机所受的合力为F，开始时F＝mg。无人机变化状态可以看做是先进行俯仰再横滚，或者相反。F对应的yz平面的Fy＝Fcosφ，则y轴的分量为Y＝Fysinγ＝Fcosφsinγ；同理对应的xz平面X＝Fsinφ。通过X和Y轴的分量值，则可计算出飞行方向与机头方向的角度κ：
其中，κ为机头方向顺时针旋转到飞行方向的角度，且在[0,2π]区间内。
进一步的，所述步骤4中根据所获取的目标对象深度值判断前方目标对象是否会影响无人机继续飞行，具体步骤如下：
(1)安装在无人机上的双目摄像头的垂直方向上的视角为(-35°,35°)，垂直方向上视场角等分基准线上对应的角度为θ1、θ2、θ3、....、θn视场角范围内由上到基准线识别出目标对象所对应的深度值x1、x2、x3、....xn，其中0°<θi<35°，i＝1,2,...,n；35°为相机广角的一半，计算视场角等分基准线上的每个深度值各对应的垂直高度hu1＝x1*sinθ1、hu2＝x2*sinθ2、hu3＝x3*sinθ3，...，hun＝xn*sinθn；若从开始计算起连续n次hun<＝阈值g，则判定前方基准线上方障碍物，无人机根据水平距离选择避障；若从开始计算所有hun>阈值g，则判定前方无障碍物，无人机继续向前飞行；
(2)所述阈值g的具体计算方式如下：由上计算出了无人机的x轴和y轴的水平分量，设合力F投影到XY平面的对应角度K。计算出x轴和y轴的水平分力合力：
已知无人机相对与竖直方向的角度倾斜角为
设无人机长宽近似为无人机对轴为周长的圆，z为圆的直径，求其变化的阈值g：
(3)计算每两个hun、hun-1的差值Sun，分别计算Su1＝hu2-hu1、Su2＝hu3-hu2、Su3＝hu4-hu3、....、Sun＝hun-hun-1；若|Sun|>阈值h、则表示基准线上垂直距离突变，具体解决方案如下：
a.当Sun>阈值h则计算出基准线上障碍物与无人机的距离Ln＝xn*cosθn，由上述角度求出hun-1的对应角θn-1，再求出对应的hc＝Ln*tan(θn-1)；若hc<＝阈值g，则作为第一个有效的障碍物点；
b.由上到下依次计算基准线上障碍物与无人机的水平距离L1＝x1*cosθ1、L2＝x2*cosθ2、L3＝x3*cosθ3、....Ln＝xn*cosθn；
c.若从开始计算起连续n次hun<＝阈值g，则判定前上方有障碍物，依次计算出障碍物与无人机的水平距离，无人机根据水平距离选择避障；障碍物与无人机的距离Ln＝xn*cosθn，将n次测得的水平距离求平均，减少测得的误差；
d.若从开始计算所有hun>阈值g，则判定前方无障碍物，无人机继续向前飞行；
(4)所述阈值h的具体计算方式如下：设无人机能测的最远距离Lmax、无人机飞行时视场角下的边界相对于水平线角度Γ＝35°；无人机所设定的飞行高度H，计算出最大高度
若H>Hmax，阈值若H<Hmax，
阈值
同理基准线下方等分视场角βn，方法同上计算下方的每个深度值的垂直距离hdn，求出避障阈值M和垂直突变阈值N。进一步的，同理等分水平方向的视场角，设置对应的阈值hzn，hyn，具体操作与上述方法一致，可以检测左右的障碍物。
进一步的，所述步骤4中的选择避障具体如下：当hn小于设定的阈值g，求出障碍物与无人机的水平距离Ln；Ln与设定的阈值比较，若Ln大于设定的阈值，则无人机向前飞行，若Ln与小于设定的阈值则无人机选择相应的模式避障；具体的，Ln小于15m大于10m时进入第一安全距离，无人机调整俯仰角适当减小速度；Ln小于10m大于5m时进入第二安全距离，无人机报警灯光闪烁减速刹车；Ln小于5m时进入危险距离，无人机紧急制动，并退回5m处。
具体的，当hun<阈值g时，障碍物的位于无人机上方，无人机向下飞行直到未检测到障碍物。hdn<阈值L障碍物的位于无人机下方，无人机向上飞行直到未检测到障碍物。当上下同时存在障碍物时，选择左右避障。当hyn<阈值时，障碍物的位于无人机右方，无人机向左飞行直到未检测到障碍物。当hzn<阈值时，障碍物的位于无人机左方，无人机向右飞行直到未检测到障碍物。无人机前方有障碍物时首先选择向上飞行。上下都有障碍物，在选者向左右飞行。
进一步的，所述步骤5的具体如下：将无人机的水平面角度范围设置为[0,2π]，以机头为基准线，顺时针旋转为正，逆时针旋转为负；所述八路超声波每隔45°放置1个，分为八个区域，每个区域60°，以无人机机头方向为对称轴的区域命名为第1区域且区域的中心线为机头方向，按顺时针方向标定第2，3，4，5，6，7，8区域，八路超声波的位子45°*n，其中n＝1，2，...，8为超声波的位号，则相应的中心线角度为0°，45°，90°，135°，180°，225°，270°，315°；超声波测量范围：水平视角60°，垂直视角60°，则相邻两路超声波出现重叠区域，各个重叠部分的中心角度为22.5°，67.5°，112.5°，157.5°，202.5°，247.5°，292.5°，337.5°；无人机通过八路超声波检测四周环境是否存在障碍物以及测量与障碍物的距离；若超声波检测出该区域需要避障，则将双目摄像机转到该区域的中心线位置，通过双目摄像机获取无人机前方的环境图像，确定是否需要避障。
无相邻超声波检测到障碍物时云台需要转过的角度，此时云台的角度与无人机的飞行方向一致，计算表示云台还需要转的角度为45*n-κ(顺时针转角度为正，角度为负时则逆时针旋转该角度)；超声波有相邻位号同时检测到障碍物时云台需要转过的角度为45*n-22.5-κ，此时云台的角度以无人机飞行方向0°。
本发明的有益效果主要表现在：
1.基于树莓派的双目视觉测距模块，价格低，安装简单，同时减小了嵌入式处理器的负荷，使得无人机姿态控制更加自如；
2.通过云台修正了无人机倾斜对双目测距的干扰，通过云台的旋转使双目测距的范围相对变大，减小了成本，并将检测到的范围根据距离及无人机速度分为三部分分别处理，使无人机的回避路线规划更加合理、准确。
3.在选择阈值时，无人机下方的阈值选定和无人机上方阈值选定不同，使无人机下方避障在有一定安全距离的同时，还避免了无人机过多避障；
4.同时八路超声波检测周围是否存在突发的障碍物，保证了无人机的安全性。
附图说明
图1是基于双目视觉和八路超声波的无人机低空避障系统的结构图；
图2是基于双目视觉和八路超声波的无人机低空避障控制方法的流程图；
图3是本发明提供的无人机横滚俯仰都存在时计算其运动方向；
图4是无人机飞行时检测障碍物；
图5是无人机检测到垂直距离突变；
图6是本发明提供的无人机8路超声波的安装和对应的角度；
图7是无人机与障碍物之间距离处理方式的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚，以下结合附图1-7，对本发明进一步详细描述。
参照图1，本发明所提供的基于双目视觉的多旋翼无人机云台避障系统包括无人机姿态识别模块，八路超声波模块，双目摄像头模块以及飞行控制模块和云台。
所述双目摄像头模块包括一个双目摄像头、树莓派，用于实现双目避障。三轴云台垂直设置在无人机的下方，双目摄像头垂直设于三轴云台上，双目摄像头的两个摄像头左右设置且互相平行；树莓派为双目摄像头的处理系统，通过usb连接双目摄像头，用于处理视差图的深度值，判断是否进行避障，通过IO口连接飞控，控制无人机的飞行姿态。
所述姿态识别模块包括加速度计，陀螺仪，磁力计，气压计，用于获得无人机自身的姿态角和高度。
所述飞行控制模块主要为嵌入式单片机和地面站，控制无人机的飞行姿态。
所述八路超声波模块均匀设于无人机周围，八个超声波每隔45度放置在无人机前、前左、左、后左、后、后右、右、前右，八个方位。
如图2所示，基于双目视觉的多旋翼无人机云台避障方法包括以下步骤：
步骤1.通过双目摄像头获取无人机前方的环境图像；所述环境图像为双目摄像头同一时刻分别所拍摄的第一图像和第二图像；
步骤2.根据获取的环境图像识别无人机前方是否有目标对象；
步骤3.若存在目标对象，则基于无人机当前姿态信息以及根据图像获取的目标对象深度值，判断前方目标物是否小于阈值，做出相应避障；无人机姿态信息为设于无人机的姿态传感器所获取的无人机俯仰角、横滚角以及偏航角，姿态传感器为三轴传感器和三轴加速度计；目标对象深度值通过双目视差图获取；其中所述目标对象深度值通过如下方法获得；所述双目摄像机获取无人机前方的环境图像包括第一图像和第二图像；所述双目摄像机的两个摄像头通过张氏标定法，获取摄像头的内外参数，再通过摄像头的外部参数和畸变系数对第一图像和第二图像进行矫正；将矫正后的第一图像和第二图像使用SGBM算法进行立体匹配，得到两个图像的视差图；基于所述视差图获取深度图像，根据所述深度图像提取目标对象深度值。
步骤4.若目标对象中存在障碍物则基于目标深度值获取无人与障碍物间的距离选择避障；如果前方识别出目标对象，则基于目标对象深度值计算出无人机与目标对象的垂直距离和无人机的水平距离，并根据无人机与目标对象的水平和垂直距离选择是否进行避障；如果前方所识别的目标对象的垂直距离低于或等于阈值，则无人机选择避障；如果前方所识别的目标对象的垂直距离高于阈值，则无人机不采取避障措施，仍然保持当前飞行方向继续飞行。
步骤5.通过八路超声波检测四周环境是否存在障碍物以及测量与障碍物的距离；若超声波检测出该区域需要避障，则将双目摄像机转到该区域的中心线位置，通过双目摄像机获取无人机前方的环境图像，确定是否需要避障。
进一步的，如图3所示，三轴云台补偿无人机的俯仰角和横滚角，使双目摄像头保持在水平位置，双目视角始终和无人机的飞行方向保持一致，具体步骤如下：(1)规定无人机向前飞行的俯仰角为正，无人机向右飞行的横滚角为正，无人机的偏航角为λ。若无人机存在俯仰和横滚角，设无人机俯仰角为γ，横滚角为φ，其中偏航角λ角度处于(-π,π)，俯仰角横滚角(2)无人机所受的合力为F，开始时F＝mg。无人机变化状态可以看做是先进行俯仰再横滚，或者相反。F对应的yz平面的Fy＝Fcosφ，则y轴的分量为Y＝Fysinγ＝Fcosφsinγ；同理对应的xz平面X＝Fsinφ。(3)通过X和Y轴的分量值，则可计算出飞行方向与机头方向的角度κ：
其中，κ为机头方向顺时针旋转到飞行方向的角度，且在[0,2π]区间内。
进一步的，如图4所示，所述步骤4中根据所获取的目标对象深度值判断前方目标对象是否会影响无人机继续飞行，具体步骤如下：
(1)安装在无人机上的双目摄像头垂直方向上的视场角为(-35°，35°)，无人机机体坐标系所在平面为基准线，基准线以上的角度为正，基准线以下的角度为负；垂直方向上视场角等分基准线上对应的角度为θ1、θ2、θ3、....、θn视场角范围内由上到基准线识别出目标对象所对应的深度值x1、x2、x3、....xn，其中0°<θi<35°，i＝1,2,...,n；35°为相机广角的一半，计算视场角等分基准线上的每个深度值各对应的垂直高度hu1＝x1*sinθ1、hu2＝x2*sinθ2、hu3＝x3*sinθ3，...，hun＝xn*sinθn；若从开始计算起连续n次hun<＝阈值g，则判定前方基准线上方障碍物，无人机根据水平距离选择避障；若从开始计算所有hun>阈值g，则判定前方无障碍物，无人机继续向前飞行；
(2)所述阈值g的具体计算方式如下：由上计算出了无人机的x轴和y轴的水平分量，设合力F投影到XY平面的对应角度K。
计算出x轴和y轴的水平分力合力：
已知无人机相对与竖直方向的角度倾斜角为
设无人机长宽近似为无人机对轴为周长的圆，z为圆的直径，求其变化的阈值g：
(3)计算每两个hun、hun-1的差值Sun，分别计算Su1＝hu2-hu1、Su2＝hu3-hu2、Su3＝hu4-hu3、....、Sun＝hun-hun-1；若|Sun|>阈值h、则表示基准线上垂直距离突变(见图5)，具体解决方案如下：
e.当Sun>阈值h，则计算出基准线上障碍物与无人机的距离Ln＝xn*cosθn，由上述角度求出hun-1的对应角θn-1，再求出对应的hc＝Ln*tan(θn-1)；若hc<＝阈值g，则作为第一个有效的障碍物点；
f.由上到下依次计算基准线上障碍物与无人机的水平距离L1＝x1*cosθ1、L2＝x2*cosθ2、L3＝x3*cosθ3、....Ln＝xn*cosθn；
g.若从开始计算起连续n次hun<＝阈值g，则判定前上方有障碍物，依次计算出障碍物与无人机的水平距离，无人机根据水平距离选择避障；障碍物与无人机的距离Ln＝xn*cosθn，将n次测得的水平距离求平均，减少测得的误差；
h.若从开始计算所有hun>阈值g，则判定前方无障碍物，无人机继续向前飞行；
(4)所述阈值h的具体计算方式如下：设无人机能测的最远距离Lmax、无人机飞行时视场角下的边界相对于水平线角度Γ＝35°；无人机所设定的飞行高度H，计算出最大高度为
若H>Hmax，阈值若H<Hmax，
阈值
同理基准线下方等分视场角βn，方法同上计算下方的每个深度值的垂直距离hdn，求出避障阈值M和垂直突变阈值N。进一步的，同理等分水平方向的视场角，设置对应的阈值hzn，hyn，具体操作与上述方法一致，可以检测左右的障碍物。
进一步的，如图6所示，步骤5所述的四周环境具体如下：将无人机的水平面角度范围设置为[0,2π]，以机头为基准线，顺时针旋转为正，逆时针旋转为负；所述八路超声波每隔45°放置1个，分为八个区域，每个区域60°，以无人机机头方向为对称轴的区域命名为第1区域且区域的中心线为机头方向，按顺时针方向标定第2，3，4，5，6，7，8区域，八路超声波的位子45°*n，其中n＝1，2，...，8为超声波的位号，则相应的中心线角度为0°，45°，90°，135°，180°，225°，270°，315°；超声波测量范围：水平视角60°，垂直视角60°，则相邻两路超声波出现重叠区域，各个重叠部分的中心角度为22.5°，67.5°，112.5°，157.5°，202.5°，247.5°，292.5°，337.5°；无人机通过八路超声波检测四周环境是否存在障碍物以及测量与障碍物的距离；若超声波检测出该区域需要避障，则将双目摄像机转到该区域的中心线位置，通过双目摄像机获取无人机前方的环境图像，确定是否需要避障。
进一步的，无相邻超声波检测到障碍物时云台需要转过的角度，此时云台的角度与无人机的飞行方向一致，计算表示云台还需要转的角度为45*n-κ(顺时针转角度为正，角度为负时则逆时针旋转该角度)；超声波有相邻位号同时检测到障碍物时云台需要转过的角度为45*n-22.5-κ，此时云台的角度以无人机飞行方向0°。
进一步的，如图7所示，基于双目视觉的多旋翼无人机云台避障系统及方法：当hn小于设定的阈值g，求出障碍物与无人机的水平距离Ln；Ln与设定的阈值比较，若Ln大于设定的阈值，则无人机向前飞行，若Ln与小于设定的阈值则无人机选择相应的模式避障；具体的，Ln小于15m大于10m时进入第一安全距离，无人机调整俯仰角适当减小速度；Ln小于10m大于5m时进入第二安全距离，无人机报警灯光闪烁减速刹车；Ln小于5m时进入危险距离，无人机紧急制动，并退回5m处。
具体的，当hun<阈值g时，障碍物的位于无人机上方，无人机向下飞行直到未检测到障碍物。hdn<阈值L障碍物的位于无人机下方，无人机向上飞行直到未检测到障碍物。当上下同时存在障碍物时，选择左右避障。当hyn<阈值时，障碍物的位于无人机右方，无人机向左飞行直到未检测到障碍物。当hzn<阈值时，障碍物的位于无人机左方，无人机向右飞行直到未检测到障碍物。无人机前方有障碍物时首先选择向上飞行。上下都有障碍物，在选者向左右飞行。
上述的具体实施方式，对本发明的目的、技术方案和有益效果进行了详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.基于双目视觉的多旋翼无人机云台避障系统及方法，其特征在于：所述方法包括以下步骤：
步骤一.同时开启八路超声波模块和一路双目摄像头；
步骤二.无人机姿态模块获取无人机俯仰角、横滚角以及偏航角；三轴云台补偿无人机的俯仰角和横滚角，使双目摄像头保持在水平位置，且双目视角始终和无人机的飞行方向保持一致；
步骤三.通过双目摄像头获取无人机前方的环境图像；所述环境图像为双目摄像头同一时刻分别所拍摄的第一图像和第二图像；根据获取的环境图像识别无人机前方是否有目标对象；
步骤四.若目标对象中存在障碍物，根据所获取的目标对象深度值判断前方目标对象是否会影响无人机继续飞行；如果前方识别出目标对象，则基于目标对象深度值计算出无人机与目标对象的垂直距离和无人机的水平距离，并根据无人机与目标对象的水平和垂直距离选择是否进行避障；如果前方所识别的目标对象的垂直距离低于或等于阈值，则无人机选择避障；如果前方所识别的目标对象的垂直距离高于阈值，则无人机不采取避障措施，仍然保持当前飞行方向继续飞行；
步骤五.通过八路超声波检测四周环境是否存在障碍物以及测量与障碍物的距离；若超声波检测出该区域需要避障，则将双目摄像机转到该区域的中心线位置，通过双目摄像机获取无人机前方的环境图像，确定是否需要避障。
2.如权利要求1所述的基于双目视觉的多旋翼无人机云台避障系统及方法，其特征在于：所述步骤二中双目视觉的位置始终和无人机的飞行方向一致，具体步骤如下：规定无人机向前飞行的俯仰角为正，无人机向右飞行的横滚角为正，无人机的偏航角为λ；若无人机存在俯仰和横滚角，设无人机俯仰角为γ，横滚角为φ，其中偏航角λ角度处于(-π,π)，俯仰角横滚角无人机所受的合力为F，开始时F＝mg；无人机变化状态可以看做是先进行俯仰再横滚，或者相反；F对应的yz平面的Fy＝Fcosφ，则y轴的分量为Y＝Fysinγ＝Fcosφsinγ；同理对应的xz平面X＝Fsinφ；通过X和Y轴的分量值，则可计算出飞行方向与机头方向的角度κ：
其中，κ为机头方向顺时针旋转到飞行方向的角度，且在[0,2π]区间内。
3.如权利要求1所述的基于双目视觉的多旋翼无人机云台避障系统及方法，其特征在于：所述步骤四中根据所获取的目标对象深度值判断前方目标对象是否会影响无人机继续飞行，具体步骤如下：
(1)安装在无人机上的双目摄像头的垂直方向上的视角为(-35°，35°)，垂直方向上视场角等分基准线上对应的角度为θ1、θ2、θ3、....、θn视场角范围内由上到基准线识别出目标对象所对应的深度值x1、x2、x3、....xn，其中0°<θi<35°，i＝1,2,...,n；35°为相机广角的一半，计算视场角等分基准线上的每个深度值各对应的垂直高度hu1＝x1*sinθ1、hu2＝x2*sinθ2、hu3＝x3*sinθ3，...，hun＝xn*sinθn；若从开始计算起连续n次hun<＝阈值g，则判定前方基准线上方障碍物，无人机根据水平距离选择避障；若从开始计算所有hun>阈值g，则判定前方无障碍物，无人机继续向前飞行；
(2)所述阈值g的具体计算方式如下：由上计算出了无人机的x轴和y轴的水平分量，设合力F投影到XY平面的对应角度K；计算出x轴和y轴的水平分力合力为
已知无人机相对与竖直方向的角度倾斜角为
设无人机长宽近似为无人机对轴为周长的圆，z为圆的直径，求其变化的阈值g：
(3)计算每两个hun、hun-1的差值Sun，分别计算Su1＝hu2-hu1、Su2＝hu3-hu2、Su3＝hu4-hu3、....、Sun＝hun-hun-1；若|Sun|>阈值h、则表示基准线上垂直距离突变，具体解决方案如下：
a.当Sun>阈值h则计算出基准线上障碍物与无人机的距离Ln＝xn*cosθn，由上述角度求出hun-1的对应角θn-1，再求出对应的hc＝Ln*tan(θn-1)；若hc<＝阈值g，则作为第一个有效的障碍物点；
b.由上到下依次计算基准线上障碍物与无人机的水平距离L1＝x1*cosθ1、L2＝x2*cosθ2、L3＝x3*cosθ3、....Ln＝xn*cosθn；
c.若从开始计算起连续n次hun<＝阈值g，则判定前上方有障碍物，依次计算出障碍物与无人机的水平距离，无人机根据水平距离选择避障；障碍物与无人机的距离Ln＝xn*cosθn，将n次测得的水平距离求平均，减少测得的误差；
d.若从开始计算所有hun>阈值g，则判定前方无障碍物，无人机继续向前飞行；
(4)所述阈值h的具体计算方式如下：设无人机能测的最远距离Lmax、无人机飞行时视场角下的边界相对于水平线角度Γ＝35°；无人机所设定的飞行高度H，计算出最大高度若H>Hmax，阈值若H<Hmax，阈值
同理基准线下方等分视场角βn，方法同上计算下方的每个深度值的垂直距离hdn，求出避障阈值M和垂直突变阈值N；进一步的，同理等分水平方向的视场角，设置对应的阈值hzn，hyn，具体操作与上述方法一致，可以检测左右的障碍物。
4.如权利要求1所述的基于双目视觉的多旋翼无人机云台避障系统及方法，其特征在于：所述步骤四中的选择避障具体如下：当hn小于设定的阈值g，求出障碍物与无人机的水平距离Ln；Ln与设定的阈值比较，若Ln大于设定的阈值，则无人机向前飞行，若Ln与小于设定的阈值则无人机选择相应的模式避障；具体的，Ln小于15m大于10m时进入第一安全距离，无人机调整俯仰角适当减小速度；Ln小于10m大于5m时进入第二安全距离，无人机报警灯光闪烁减速刹车；Ln小于5m时进入危险距离，无人机紧急制动，并退回5m处；
进一步的，当hun<阈值g时，障碍物的位于无人机上方，无人机向下飞行直到未检测到障碍物；hdn<阈值L障碍物的位于无人机下方，无人机向上飞行直到未检测到障碍物；当上下同时存在障碍物时，选择左右避障；当hyn<阈值时，障碍物的位于无人机右方，无人机向左飞行直到未检测到障碍物；当hzn<阈值时，障碍物的位于无人机左方，无人机向右飞行直到未检测到障碍物；无人机前方有障碍物时首先选择向上飞行；无人机上下都有障碍物，在选者向左右飞行。
5.如权利要求1所述的基于双目视觉的多旋翼无人机云台避障系统及方法，其特征在于：所述步骤五的具体如下：将无人机的水平面角度范围设置为[0,2π]，以机头为基准线，顺时针旋转为正，逆时针旋转为负；所述八路超声波每隔45°放置1个，分为八个区域，每个区域60°，以无人机机头方向为对称轴的区域命名为第1区域且区域的中心线为机头方向，按顺时针方向标定第2，3，4，5，6，7，8区域，八路超声波的位子45°*n，其中n＝1，2，...，8为超声波的位号，则相应的中心线角度为0°，45°，90°，135°，180°，225°，270°，315°；超声波测量范围：水平视角60°，垂直视角60°，则相邻两路超声波出现重叠区域，各个重叠部分的中心角度为22.5°，67.5°，112.5°，157.5°，202.5°，247.5°，292.5°，337.5°；无人机通过八路超声波检测四周环境是否存在障碍物以及测量与障碍物的距离；若超声波检测出该区域需要避障，则将双目摄像机转到该区域的中心线位置，通过双目摄像机获取无人机前方的环境图像，确定是否需要避障；
无相邻超声波检测到障碍物时云台需要转过的角度，此时云台的角度与无人机的飞行方向一致，计算表示云台还需要转的角度为45*n-κ(顺时针转角度为正，角度为负时则逆时针旋转该角度)；超声波有相邻位号同时检测到障碍物时云台需要转过的角度为45*n-22.5-κ，此时云台的角度以无人机飞行方向0°。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910776829.3A CN110442145A (zh) | 2019-08-22 | 2019-08-22 | 基于双目视觉的多旋翼无人机云台避障系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910776829.3A CN110442145A (zh) | 2019-08-22 | 2019-08-22 | 基于双目视觉的多旋翼无人机云台避障系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110442145A true CN110442145A (zh) | 2019-11-12 |
Family
ID=68436963
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910776829.3A Withdrawn CN110442145A (zh) | 2019-08-22 | 2019-08-22 | 基于双目视觉的多旋翼无人机云台避障系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110442145A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111897356A (zh) * | 2020-08-10 | 2020-11-06 | 深圳市道通智能航空技术有限公司 | 一种避障方法、装置及无人飞行器 |
| CN111985296A (zh) * | 2020-06-16 | 2020-11-24 | 东南大学 | 一种基于卡尔曼滤波轨迹预测的能量机关识别算法 |
| CN112489118A (zh) * | 2020-12-15 | 2021-03-12 | 中国人民解放军国防科技大学 | 一种无人机机载传感器组外参快速标定方法 |
| CN113391642A (zh) * | 2021-05-28 | 2021-09-14 | 西南交通大学 | 一种基于单目视觉的无人机自主避障方法及系统 |
| CN113448340A (zh) * | 2020-03-27 | 2021-09-28 | 北京三快在线科技有限公司 | 一种无人机的路径规划方法、装置、无人机及存储介质 |
| CN113485381A (zh) * | 2021-08-24 | 2021-10-08 | 山东新一代信息产业技术研究院有限公司 | 一种基于多传感器的机器人移动系统及方法 |
| CN114428515A (zh) * | 2022-01-24 | 2022-05-03 | 广东电网有限责任公司 | 一种无人机避障方法、装置、无人机及存储介质 |
| WO2022188174A1 (zh) * | 2021-03-12 | 2022-09-15 | 深圳市大疆创新科技有限公司 | 可移动平台、可移动平台的控制方法及存储介质 |
-
2019
- 2019-08-22 CN CN201910776829.3A patent/CN110442145A/zh not_active Withdrawn
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113448340A (zh) * | 2020-03-27 | 2021-09-28 | 北京三快在线科技有限公司 | 一种无人机的路径规划方法、装置、无人机及存储介质 |
| CN113448340B (zh) * | 2020-03-27 | 2022-12-16 | 北京三快在线科技有限公司 | 一种无人机的路径规划方法、装置、无人机及存储介质 |
| CN111985296A (zh) * | 2020-06-16 | 2020-11-24 | 东南大学 | 一种基于卡尔曼滤波轨迹预测的能量机关识别算法 |
| CN111897356A (zh) * | 2020-08-10 | 2020-11-06 | 深圳市道通智能航空技术有限公司 | 一种避障方法、装置及无人飞行器 |
| WO2022033307A1 (zh) * | 2020-08-10 | 2022-02-17 | 深圳市道通智能航空技术股份有限公司 | 一种避障方法、装置及无人飞行器 |
| CN112489118A (zh) * | 2020-12-15 | 2021-03-12 | 中国人民解放军国防科技大学 | 一种无人机机载传感器组外参快速标定方法 |
| CN112489118B (zh) * | 2020-12-15 | 2022-06-14 | 中国人民解放军国防科技大学 | 一种无人机机载传感器组外参快速标定方法 |
| WO2022188174A1 (zh) * | 2021-03-12 | 2022-09-15 | 深圳市大疆创新科技有限公司 | 可移动平台、可移动平台的控制方法及存储介质 |
| CN113391642A (zh) * | 2021-05-28 | 2021-09-14 | 西南交通大学 | 一种基于单目视觉的无人机自主避障方法及系统 |
| CN113485381A (zh) * | 2021-08-24 | 2021-10-08 | 山东新一代信息产业技术研究院有限公司 | 一种基于多传感器的机器人移动系统及方法 |
| CN114428515A (zh) * | 2022-01-24 | 2022-05-03 | 广东电网有限责任公司 | 一种无人机避障方法、装置、无人机及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110442145A (zh) | 基于双目视觉的多旋翼无人机云台避障系统及方法 | |
| CN109782788A (zh) | 基于双目视觉的无人机低空避障系统及控制方法 | |
| CN110427042A (zh) | 基于超声波和双目视觉的无人机低空避障方法 | |
| CN107389026B (zh) | 一种基于固定点射影变换的单目视觉测距方法 | |
| US11328155B2 (en) | Augmented reality labels systems and methods | |
| US11733699B2 (en) | Ultrasonic perimeter ranging sensor systems and methods | |
| US20200057488A1 (en) | Video and image chart fusion systems and methods | |
| JP6507437B2 (ja) | 船舶補助ドッキング方法およびシステム | |
| CN106681353B (zh) | 基于双目视觉与光流融合的无人机避障方法及系统 | |
| US10191153B2 (en) | Augmented reality sonar imagery systems and methods | |
| US20190360810A1 (en) | Video sensor fusion and model based virtual and augmented reality systems and methods | |
| CN110745140B (zh) | 一种基于连续图像约束位姿估计的车辆换道预警方法 | |
| US11430332B2 (en) | Unmanned aerial system assisted navigational systems and methods | |
| CN107783106B (zh) | 无人机与障碍物之间的数据融合方法 | |
| CN206249096U (zh) | 一种水下机器人 | |
| BR112019027751A2 (pt) | sistema de controle, método para dirigir um veículo e dispositivo de computação | |
| US20220024549A1 (en) | System and method for measuring the distance to an object in water | |
| CN113627473B (zh) | 基于多模态传感器的水面无人艇环境信息融合感知方法 | |
| CN107783545A (zh) | 基于ooda环多传感器信息融合的灾后救援旋翼无人机避障系统 | |
| KR20200001471A (ko) | 차선 정보 검출 장치, 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨 프로그램을 저장하는 컴퓨터 판독가능한 기록매체 | |
| CN110456793B (zh) | 一种无人艇自主停泊方法、装置及无人艇 | |
| WO2018045354A2 (en) | Unmanned aerial system assisted navigational systems and methods | |
| CN112327898B (zh) | 无人机的井道巡检导航方法、装置和无人机 | |
| WO2020151214A1 (zh) | 一种潮间带一体化测绘的多传感器数据融合方法 | |
| CN106500699A (zh) | 一种适用于无人机室内自主降落的位姿估计方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20191112 |