CN108052111A - 一种基于双目视觉技术的无人机实时避障方法 - Google Patents

一种基于双目视觉技术的无人机实时避障方法 Download PDF

Info

Publication number
CN108052111A
CN108052111A CN201711005265.0A CN201711005265A CN108052111A CN 108052111 A CN108052111 A CN 108052111A CN 201711005265 A CN201711005265 A CN 201711005265A CN 108052111 A CN108052111 A CN 108052111A
Authority
CN
China
Prior art keywords
aerial vehicle
unmanned aerial
obstacle
obstacle avoidance
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711005265.0A
Other languages
English (en)
Other versions
CN108052111B (zh
Inventor
廖振星
段文博
高月山
张伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Ceewa Intelligent Technology Co Ltd
Original Assignee
Nanjing Ceewa Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Ceewa Intelligent Technology Co Ltd filed Critical Nanjing Ceewa Intelligent Technology Co Ltd
Priority to CN201711005265.0A priority Critical patent/CN108052111B/zh
Publication of CN108052111A publication Critical patent/CN108052111A/zh
Application granted granted Critical
Publication of CN108052111B publication Critical patent/CN108052111B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/36—Videogrammetry, i.e. electronic processing of video signals from a single source or from different sources to give parallax or range information

Abstract

本发明公开了一种基于双目视觉的无人机实时避障方法，包括1)、通过双目相机采集视差图，并进行三维重构，计算深度；2)、增加阈值，只识别小于避障半径Zmax范围内的障碍；3)、遍历图像，计算每个像素点的障碍情况；4)、计算每个小格单元内的障碍物填充率：填充率大于50％，存在障碍物；填充率在10％～50％内，认为未知，存在风险；填充率小于10％，认为安全。5)、分析安全区域的大小和分布情况，进而输出控制无人机前后、左右、上下的运动速度，以及旋转角速率；6)、进行双目视觉避障的同时，允许用户操纵遥控器，产生无人机额外的前后、左右、上下的运动速度v，以及旋转角速率ω，并与飞行控制系统自然稳定地融合，从而快速稳定地进行自主避障。

Description

一种基于双目视觉技术的无人机实时避障方法
技术领域
本发明属于无人机飞行控制领域，尤其涉及一种基于双目视觉的无人机实时 避障方法。
背景技术
随着无人机市场的发展，对无人机自动感知与控制提出了越来越高的要求， 尤其是主动避障方面，使无人机能在复杂环境中自主安全的飞行，而不会发生碰 撞及炸机情况。目前有少数无人机企业将毫米波雷达、超声波雷达、光流、红外 等传感器安装在无人机上，进行避障应用，但是上述方案存在检测距离和范围受 限、精度不高等缺点，进而容易引发漏检和误检等意外情况。另外，目前存在通 过双目视觉进行无人机避障判断的相关研究，但大部分因为控制策略问题，未能 良好地与飞控系统结合，将俯仰、偏航、滚转的控制自然稳定地融入系统控制环 中。
发明内容
本发明的目的在于提供一种基于双目视觉的无人机实时避障方法，克服现有 技术中毫米波雷达、超声波雷达、光流、红外等传感器的不足，同时与飞行控制 系统自然稳定地融合，从而快速稳定地进行自主避障的技术问题。
为了解决上述问题，本发明采取如下技术方案：
一种基于双目视觉技术的无人机实时避障方法，其特征在于，双目视觉实时 避障系统包括无人机本体、遥控器和设置在无人机本体上控制器、双目相机，双 目相机与控制器之间电连接，遥控器与控制器之间通过无线通信模块进行通讯；
基于该系统进行无人机实时避障的方法，包括如下步骤：
步骤一、无人机在飞行过程中，通过双目相机采集视差图，并进行三维重构， 计算深度；
步骤二、设置无人机避障阈值Zmax，识别小于避障阈值Zmax范围内的障碍 物，大于避障阈值Zmax则清零，低于则保留；
步骤三、对视差图进行阈值截断之后，则获取了包含Zmax距离内物信息的 图像，将该图像分成n行、m列的小格单元，计算每个小格单元内的障碍物填充 率δi，i＝1,2,...,n*m，n>2，m>2为正整数，设置两个不同的填充率门限值a 和b，a>b；
1)、如果δi>a，则认为该小格单元区域不能飞行，存在障碍物；
2)、如果b<δi<a，则认为该小格单元区域暂定为不确定区域，存在风险；
3)、如果δi<b，则认为该小格单元没有障碍物，属于安全区域；
将所有δi>a的区域填充一种颜色，将所有b<δi<a的区域填充另一种颜色， 将所有δi>a的区域填充第三种颜色，统计当前帧视差图的安全区域情况；
步骤五、分析安全区域的尺寸大小和分布情况，结合无人机当前在上下、左 右、前后三个方向上的角度和偏航方向，控制无人机前后、左右、上下的运动速 度，以及旋转角速率，引导无人机至安全区域飞行，其具体策略是视野内的所有 安全区域的分布进行综合判断，分别判断上半视场和下半视场、左半视场和右半 视场内安全格子的数量，设定旋翼机趋向于安全格子居多的视场飞行，以此决策 飞行方向。
当障碍物布满整个飞行器观察视场时，不能进行前飞动作，此时无人机首先 需要切换到悬停状态，然后仅进行航向偏转，试图寻找可引导的安全区域，然后 切换到之前的预设决策。
步骤六、进行双目视觉避障的同时，允许用户操纵遥控器，遥控无人机额外 的前后、左右、上下的运动速度v，以及旋转角速率ω；在双目视觉的避障判断 与主动操纵遥控器的避障指令间选取时，通过优先级进行决策，决策方法如下：
1)、当通过双目视觉判断无人机处于安全阈值范围内时，可允许用户通过遥 控器发送的避障指令发挥作用，同时根据安全距离情况对遥控避障值做阈值限 制；
2)、当通过双目视觉判断无人机处于危险阈值区域内时，则遥控指令无效。
步骤八、在地面站中即时显示填充率和指令具体情况，以及避障策略。
优选的，所述计算单元为嵌入式计算平台Jetson TX2。双目相机固定于无人 机正前方，将采集到的深度图像实时传输到机载计算单元Jetson TX2，然后由预 设避障策略进行判断，产生规避动作；若与此同时有发来遥控器的操作，则需进 行优先级判断。
优选的，所述设置无人机避障阈值Zmax包括如下过程：
1)、设定障碍物到相机光心连线的垂直的距离Z，
上式中，b为两个相机光心之间的距离，d为两个光心与障碍物连线与焦距 所在平面的交点间距，f发为相机的焦距，设定两个相机的焦距相同，b、f可由 标定获得，为定值；
2)、在测量障碍物到相机光心连线的垂直的距离时，会存在测量误差：
2.1)、确定绝对误差ΔZ：
绝对误差ΔZ和相机光心连线的垂直的距离Z的平方成正比，Δd为视差的测 量误差，认定为1个像素；
因此，障碍物到相机的距离在双目测距中的测量结果为
所以最极端的情况为无人机距离障碍物的测量距离为设定 飞行速度为v，那么无人机与障碍物碰撞发生的时间将为：
设定处理一帧深度图像的耗时为tf，且暂时不考虑数据传输与指令执行时 间，则要保证无人机避障安全则必须满足：
t≥tf (0.9)，
由此，计算出t＝tf、且v为无人机最大飞行速度时，无人机与障碍物之间 的距离Z1；
2.2)、相对测量误差约束
由公式(1.3)和(1.4)已经可以直接计算飞行速度与避障距离的对应关系，在理论上保证飞行安全，但还应该考虑相对测量误差——当相对测量误差过大时，测 量结果本身的可信度较低，仅依靠公式(1.4)的约束不足以保证安全，还需要考虑 相对测量误差，相对测量误差S的计算公式如式：
由上式可知当距离增加时测量误差随之增大，设定相对测量误差门限设为C， 由此计算出S＝C时的距离Z2；
比较Z1、Z2，选取数值较小者作为障碍物的判断阈值Zmax。
优选的，所述在进行阈值截断之后，获取了包含特定距离内障碍物信息的图 像，图像中不同的颜色表征了物体的相机距离障碍物的远近，方法，依据这些颜 色表征的深度信息对障碍物进行检测；设定同一障碍物的深度变化相对于该物体 到相机的距离可以视为定值，在深度图像中检测障碍物的方法以openCV开源库 中的轮廓检测方法为核心，加以开闭运算等图像处理方法，使深度图中产生闭合 的单连通区域，同时使用凸包或者外接矩形框进行描述。
优选的，所述填充率门限值a＝40％—60％，b＝7％—20％。
优选的，所述相对测量误差门限设为C＝1％—5％。
优选的，所述步骤三中，将双目相机拍摄到的图像分成4行4列共计16个 小格单元，即n＝m＝4，i＝16。
与现有技术相比，本方案具有如下有益效果：
本发明通过引入一种基于双目视觉的实时避障技术，克服了毫米波雷达、超 声波雷达、光流、红外等传感器的不足；同时通过分块的检测和判断策略，以及 优先级决策中枢，控制无人机实际输出的前后、左右、上下目标运动速度v，以 及目标旋转角速率ω，并与飞行控制系统自然稳定地融合，从而快速稳定地进行 自主避障。
附图说明
图1双目相机测距原理示意图。
图2避障决策示意图。
图3双目视觉控制与摇杆控制的数据流向示意图。
图4为本发明所述基于双目视觉的无人机实时避障方法的流程图。
具体实施方式
为使本发明的目的和技术方案更加清楚，下面结合本发明实施例对本发明的 技术方案进行清楚，完整的描述。
实施例一：
一种基于双目视觉技术的无人机实时避障方法，双目视觉实时避障系统包括 无人机本体、遥控器和设置在无人机本体上嵌入式计算平台Jetson TX2、双目相 机。双目相机固定于无人机正前方，将采集到的深度图像实时传输到机载计算单 元Jetson TX2，然后由预设避障策略进行判断，产生规避动作；若与此同时有发 来遥控器的操作，则需进行优先级判断。如图3所示。
基于该系统进行无人机实时避障的方法，如图4所示，包括如下步骤，：
1)、通过双目相机采集视差图，并进行三维重构，计算深度；
2)、增加阈值，识别小于避障半径Zmax范围内的障碍，高于避障半径Zmax 则清零，低于则保留；
3)、对视差图进行阈值截断之后，则获取了包含Zmax距离内物信息的图像， 将该图像分成四行、四列的小格单元，共计十六个小格单元，计算每个小格单元 内的障碍物填充率，设置两个不同的填充率门限值a和b，a>b；a＝50％，b＝10％ 认定填充率大于50％，存在障碍物；填充率在10％—50％内，认为未知，存在风险； 填充率小于10％，认为安全。统计当前帧的安全区域情况。
4)、分析安全区域的大小和分布情况，进而输出控制无人机前后、左右、上 下的运动速度，以及旋转角速率；
5)、进行双目视觉避障的同时，允许用户操纵遥控器，产生无人机额外的前 后、左右、上下的运动速度v，以及旋转角速率ω。
在本申请中，双目测距原理如下，如图1所示，为双目测距的三角测量原理 的示意图，O1、Or为分别为双目相机模型的光心，障碍物点P的深度信息的测量 公式如式(1.1)所示，通过视差转换为深度：
上式中，Z为光轴方向上物体到相机光心的距离，b为基线距离(即两个相 机光心之间的距离)，f为相机的焦距(假设两个相机的焦距相同)。其中基线距 离b和焦距f可由标定获得，一般为定值。
所述设置无人机避障阈值Zmax包括如下过程：
1)、设定障碍物到相机光心连线的垂直的距离Z，
上式中，b为两个相机光心之间的距离，d为两个光心与障碍物连线与焦距 所在平面的交点间距，f发为相机的焦距，设定两个相机的焦距相同，b、f可由 标定获得，为定值；
2)、在测量障碍物到相机光心连线的垂直的距离时，会存在测量误差：
2.1)、确定绝对误差ΔZ：
绝对误差ΔZ和相机光心连线的垂直的距离Z的平方成正比，Δd为视差的测 量误差，认定为1个像素；
因此，障碍物到相机的距离在双目测距中的测量结果为
所以最极端的情况为无人机距离障碍物的测量距离为设定 飞行速度为v，那么无人机与障碍物碰撞发生的时间将为：
设定处理一帧深度图像的耗时为tf，且暂时不考虑数据传输与指令执行时 间，则要保证无人机避障安全则必须满足：
t≥tf (0.15)，
由此，计算出t＝tf、且v为无人机最大飞行速度时，无人机与障碍物之间 的距离Z1；
2.2)、相对测量误差约束
由公式(1.3)和(1.4)已经可以直接计算飞行速度与避障距离的对应关系，在理论上保证飞行安全，但还应该考虑相对测量误差——当相对测量误差过大时，测 量结果本身的可信度较低，仅依靠公式(1.4)的约束不足以保证安全，还需要考虑 相对测量误差，相对测量误差S的计算公式如式：
由上式可知当距离增加时测量误差随之增大，设定相对测量误差门限设为C， 由此计算出S＝C＝1％时的距离Z2；
比较Z1、Z2，选取数值较小者作为障碍物的判断阈值Zmax。
3)、障碍物检测方法
在进行阈值截断之后，获取了包含特定距离内障碍物信息的图像，图像中不 同的颜色表征了物体的相机距离障碍物的远近。本发明对障碍物的检测方法，主 要依据这些颜色表征的深度信息。提出一个基本假设，同一障碍物的深度变化相 对于该物体到相机的距离可以视为定值。
基于上述假设，在深度图像中检测障碍物的方法以openCV开源库中的轮廓 检测方法为核心，加以开闭运算等图像处理方法，使深度图中产生闭合的单连通 区域，同时使用凸包或者外接矩形框进行描述。
4)、避障策略
在检测出障碍物的具体范围之后，进一步对视野中的安全区域进行判断。在 视野中寻找可以使飞行器安全通过的区域作为引导。飞行器视野中心为前进方 向，当发现前进方向上有障碍物阻挡时，则转到相关预设避障策略。具体避障策 略如下：
首先，将双目相机拍摄到的图像分成4行4列共计16个小格，然后分别判 断各个小格是否安全，根据16个决策结果综合判断安全的飞行区域，然后进行 避障决策，在不同需求下也可将图像分成其它数量的小格子。
如图2所示，第一幅为阈值截断后深度图的示意图，将整个视野划分为16 个小格，如图上细线所示；然后再将检测的障碍物通过轮廓检测凸包描述，如第 二幅图的虚线轮廓所示；通过计算各个像素障碍情况，进而检测各个小格中障碍 物的填占比例δi，其中δi(i＝1,2,...,16)分别为16个方格的填占比。设置两个门 限a和b，如果超过门限a，则认为该区域不能飞行；如果小于门限a，但仍大 于b，则认为暂定为不确定区域，存在风险；填占比小于b的部分，即没有障碍 物的部分不做标记。目前a、b的值分别取50％和10％。在其他实施例中，图像可 以分成更多的小格单元，分成的小格单元越多计算结果越精确。
将飞行器引导至安全区域，需要结合飞行器的具体飞行方向，考虑上下、左 右、前后三个飞行方向和偏航方向。具体决策时对视野内的所有安全区域的分布 进行综合判断，分别判断上半视场和下半视场、左半视场和右半视场内安全格子 的数量，设定旋翼机趋向于安全格子居多的视场飞行，以此决策飞行方向。
当障碍物布满整个飞行器观察视场时，不能进行前飞动作，此时无人机首先 需要切换到悬停状态，然后仅进行航向偏转，试图寻找可引导的安全区域，然后 切换到之前的预设决策。
在双目视觉的避障判断与主动操纵遥控器的避障指令间选取时，通过优先级 进行决策。决策方法如下：当通过双目视觉判断无人机处于安全阈值范围内时， 可允许用户通过遥控器发送的避障指令发挥作用，但根据安全距离情况对遥控避 障值做阈值限制；当通过双目视觉判断无人机处于危险阈值区域内时，则遥控指 令无效。
实施例二：
在本实施例中，所述填充率门限值a＝60％，b＝20％，相对测量误差门限设为 C＝5％。其他部分与实施例中相同。
实施例三：
在本实施例中，所述填充率门限值a＝40％，b＝70％，相对测量误差门限设为 C＝1％。其他部分与实施例中相同。
本发明中未做特别说明的均为现有技术或者通过现有技术即可实现，而且本 发明中所述具体实施案例仅为本发明的较佳实施案例而已，并非用来限定本发明 的实施范围。即凡依本发明申请专利范围的内容所作的等效变化与修饰，都应作 为本发明的技术范畴。

Claims (7)

1.一种基于双目视觉技术的无人机实时避障方法，其特征在于，双目视觉实时避障系统包括无人机本体、遥控器和设置在无人机本体上控制器、计算单元、双目相机，双目相机与控制器之间电连接，遥控器与控制器之间通过无线通信模块进行通讯；
基于该系统进行无人机实时避障的方法，包括如下步骤：
步骤一、无人机在飞行过程中，通过双目相机采集视差图，并进行三维重构，计算深度；
步骤二、设置无人机避障阈值Zmax，识别小于避障阈值Zmax范围内的障碍物；
步骤三、对视差图进行阈值截断之后，则获取了包含Zmax距离内物信息的图像，将该图像分成n行、m列的小格单元，遍历每个单元小格中的像素，计算单元计算每个像素点被障碍物覆盖的情况，然后计算出每个小格单元内的障碍物填充率δi，i＝1,2,...,n*m，n>2，m>2为正整数，设置两个不同的填充率门限值a和b，a>b；
1)、如果δi>a，则认为该小格单元区域不能飞行，存在障碍物；
2)、如果b<δi<a，则认为该小格单元区域暂定为不确定区域，存在风险；
3)、如果δi<b，则认为该小格单元没有障碍物，属于安全区域；
将所有δi>a的区域填充一种颜色，将所有b<δi<a的区域填充另一种颜色，将所有δi>a的区域填充第三种颜色，统计当前帧视差图的安全区域情况；
步骤五、分析安全区域的尺寸大小和分布情况，结合无人机当前在上下、左右、前后三个方向上的角度和偏航方向，控制器控制无人机前后、左右、上下的运动速度，以及旋转角速率，引导无人机至安全区域飞行；
步骤六、进行双目视觉自动避障的同时，允许用户通过操纵遥控器控制无人机，遥控无人机额外的前后、左右、上下的运动速度v，以及旋转角速率ω；在双目视觉的避障判断与主动操纵遥控器的避障指令间选取时，通过优先级进行决策，决策方法如下：
1)、当通过双目视觉判断无人机处于安全阈值范围内时，可允许用户通过遥控器发送的避障指令发挥作用，同时根据安全距离情况对遥控避障值做阈值限制；
2)、当通过双目视觉判断无人机处于危险阈值区域内时，则遥控指令无效。
步骤八、在地面站中即时显示填充率和指令具体情况，以及避障策略。
2.根据权利要求1所述的基于双目视觉技术的无人机实时避障系统与方法，其特征在于，所述计算单元为嵌入式计算平台Jetson TX2。
3.根据权利要求1所述的基于双目视觉技术的无人机实时避障系统与方法，其特征在于，所述设置无人机避障阈值Zmax包括如下过程：
1)、设定障碍物到相机光心连线的垂直的距离Z，
<mrow> <mi>Z</mi> <mo>=</mo> <mfrac> <mrow> <mi>b</mi> <mo>&amp;CenterDot;</mo> <mi>f</mi> </mrow> <mi>d</mi> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>0.1</mn> <mo>)</mo> </mrow> <mo>,</mo> </mrow>
上式中，b为两个相机光心之间的距离，d为两个光心与障碍物连线与焦距所在平面的交点间距，f发为相机的焦距，设定两个相机的焦距相同，b、f可由标定获得，为定值；
2)、在测量障碍物到相机光心连线的垂直的距离时，会存在测量误差：
2.1)、确定绝对误差ΔZ：
<mrow> <mi>&amp;Delta;</mi> <mi>Z</mi> <mo>=</mo> <mfrac> <msup> <mi>Z</mi> <mn>2</mn> </msup> <mrow> <mi>f</mi> <mo>&amp;CenterDot;</mo> <mi>b</mi> </mrow> </mfrac> <mo>&amp;CenterDot;</mo> <mi>&amp;Delta;</mi> <mi>d</mi> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>0.2</mn> <mo>)</mo> </mrow> <mo>,</mo> </mrow>
绝对误差ΔZ和相机光心连线的垂直的距离Z的平方成正比，Δd为视差的测量误差，认定为1个像素；
因此，障碍物到相机的距离在双目测距中的测量结果为
所以最极端的情况为无人机距离障碍物的测量距离为设定飞行速度为v，那么无人机与障碍物碰撞发生的时间将为：
<mrow> <mi>t</mi> <mo>=</mo> <mfrac> <mi>D</mi> <mi>v</mi> </mfrac> <mo>=</mo> <mfrac> <mi>Z</mi> <mi>v</mi> </mfrac> <mo>-</mo> <mfrac> <msup> <mi>Z</mi> <mn>2</mn> </msup> <mrow> <mi>v</mi> <mi>f</mi> <mi>b</mi> </mrow> </mfrac> <mo>&amp;CenterDot;</mo> <mi>&amp;Delta;</mi> <mi>d</mi> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>0.3</mn> <mo>)</mo> </mrow> <mo>,</mo> </mrow>
设定处理一帧深度图像的耗时为tf，且暂时不考虑数据传输与指令执行时间，则要保证无人机避障安全则必须满足：
t≥tf (0.4)，
由此，计算出t＝tf、且v为无人机最大飞行速度时，无人机与障碍物之间的距离Z1；
2.2)、相对测量误差约束
由公式(1.3)和(1.4)已经可以直接计算飞行速度与避障距离的对应关系，在理论上保证飞行安全，但还应该考虑相对测量误差——当相对测量误差过大时，测量结果本身的可信度较低，仅依靠公式(1.4)的约束不足以保证安全，还需要考虑相对测量误差，相对测量误差S的计算公式如式：
<mrow> <mi>S</mi> <mo>=</mo> <mfrac> <mi>Z</mi> <mrow> <mi>f</mi> <mo>&amp;CenterDot;</mo> <mi>b</mi> </mrow> </mfrac> <mo>&amp;CenterDot;</mo> <mi>&amp;Delta;</mi> <mi>d</mi> <mo>&amp;times;</mo> <mn>100</mn> <mi>%</mi> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>0.5</mn> <mo>)</mo> </mrow> <mo>,</mo> </mrow>
由上式可知当距离增加时测量误差随之增大，设定相对测量误差门限设为C，由此计算出S＝C时的距离Z2；
比较Z1、Z2，选取数值较小者作为障碍物的判断阈值Zmax。
4.根据权利要求1所述的基于双目视觉技术的无人机实时避障系统与方法，其特征在于，所述在进行阈值截断之后，获取了包含特定距离内障碍物信息的图像，图像中不同的颜色表征了物体的相机距离障碍物的远近，方法，依据这些颜色表征的深度信息对障碍物进行检测；在深度图像中检测障碍物的方法以openCV开源库中的轮廓检测方法为核心，加以开闭运算图像处理方法，使深度图中产生闭合的单连通区域，同时使用凸包或者外接矩形框进行描述。
5.根据权利要求1所述的基于双目视觉技术的无人机实时避障系统与方法，其特征在于，所述填充率门限值a＝40％—60％，b＝7％—20％。
6.根据权利要求1所述的基于双目视觉技术的无人机实时避障系统与方法，其特征在于，所述相对测量误差门限设为C＝1％—5％。
7.根据权利要求1所述的基于双目视觉技术的无人机实时避障系统与方法，其特征在于，所述步骤三中，将双目相机拍摄到的图像分成4行4列共计16个小格单元，即n＝m＝4，i＝16。
CN201711005265.0A 2017-10-24 2017-10-24 一种基于双目视觉技术的无人机实时避障方法 Active CN108052111B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711005265.0A CN108052111B (zh) 2017-10-24 2017-10-24 一种基于双目视觉技术的无人机实时避障方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711005265.0A CN108052111B (zh) 2017-10-24 2017-10-24 一种基于双目视觉技术的无人机实时避障方法

Publications (2)

Publication Number Publication Date
CN108052111A true CN108052111A (zh) 2018-05-18
CN108052111B CN108052111B (zh) 2021-02-09

Family

ID=62119532

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711005265.0A Active CN108052111B (zh) 2017-10-24 2017-10-24 一种基于双目视觉技术的无人机实时避障方法

Country Status (1)

Country Link
CN (1) CN108052111B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805906A (zh) * 2018-05-25 2018-11-13 哈尔滨工业大学 一种基于深度图的运动障碍物检测及定位方法
CN109792951A (zh) * 2019-02-21 2019-05-24 华南农业大学 用于杂交水稻授粉的无人机航线校正系统及其校正方法
CN110045749A (zh) * 2019-04-10 2019-07-23 广州极飞科技有限公司 用于无人飞行器检测障碍物的方法、装置和无人飞行器
CN110069078A (zh) * 2019-05-21 2019-07-30 深圳市道通智能航空技术有限公司 一种飞行控制方法、装置、系统及无人机
CN110864670A (zh) * 2019-11-27 2020-03-06 苏州智加科技有限公司 目标障碍物位置的获取方法和系统
CN111382591A (zh) * 2018-12-27 2020-07-07 海信集团有限公司 一种双目相机测距校正方法及车载设备
CN111833428A (zh) * 2019-03-27 2020-10-27 杭州海康威视系统技术有限公司 一种可视域确定方法、装置及设备
CN112987754A (zh) * 2021-04-14 2021-06-18 北京三快在线科技有限公司 一种无人设备的控制方法、装置、存储介质及电子设备
CN113093176A (zh) * 2019-12-23 2021-07-09 北京三快在线科技有限公司 线状障碍物检测方法、装置、电子设备和存储介质
WO2022126477A1 (zh) * 2020-12-17 2022-06-23 深圳市大疆创新科技有限公司 一种可移动平台的控制方法、装置及可移动平台
CN115016546A (zh) * 2022-08-10 2022-09-06 中国科学院自动化研究所 无人机三维路径规划方法、装置、电子设备和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010128835A2 (ko) * 2009-05-08 2010-11-11 Cho Hyung Chel 아바타를 이용한 양안시 및 조절 훈련 방법 및 시스템
TW201534512A (zh) * 2014-03-06 2015-09-16 Univ Nat Changhua Education 雙影像避障路徑規劃導航控制方法
CN105222760A (zh) * 2015-10-22 2016-01-06 一飞智控(天津)科技有限公司 一种基于双目视觉的无人机自主障碍物检测系统及方法
CN105425803A (zh) * 2015-12-16 2016-03-23 纳恩博（北京）科技有限公司 自主避障方法、装置和系统
CN105955303A (zh) * 2016-07-05 2016-09-21 北京奇虎科技有限公司 无人机自主避障方法、装置
CN105974938A (zh) * 2016-06-16 2016-09-28 零度智控（北京）智能科技有限公司 避障方法、装置、载体及无人机
CN106200672A (zh) * 2016-07-19 2016-12-07 深圳北航新兴产业技术研究院 一种基于光流的无人机避障方法
CN107065920A (zh) * 2016-12-26 2017-08-18 歌尔科技有限公司 避障控制方法、装置及无人机

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010128835A2 (ko) * 2009-05-08 2010-11-11 Cho Hyung Chel 아바타를 이용한 양안시 및 조절 훈련 방법 및 시스템
TW201534512A (zh) * 2014-03-06 2015-09-16 Univ Nat Changhua Education 雙影像避障路徑規劃導航控制方法
CN105222760A (zh) * 2015-10-22 2016-01-06 一飞智控(天津)科技有限公司 一种基于双目视觉的无人机自主障碍物检测系统及方法
CN105425803A (zh) * 2015-12-16 2016-03-23 纳恩博（北京）科技有限公司 自主避障方法、装置和系统
CN105974938A (zh) * 2016-06-16 2016-09-28 零度智控（北京）智能科技有限公司 避障方法、装置、载体及无人机
CN105955303A (zh) * 2016-07-05 2016-09-21 北京奇虎科技有限公司 无人机自主避障方法、装置
CN106200672A (zh) * 2016-07-19 2016-12-07 深圳北航新兴产业技术研究院 一种基于光流的无人机避障方法
CN107065920A (zh) * 2016-12-26 2017-08-18 歌尔科技有限公司 避障控制方法、装置及无人机

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
苏东: "基于双目视觉的小型无人飞行器的导航与避障", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805906A (zh) * 2018-05-25 2018-11-13 哈尔滨工业大学 一种基于深度图的运动障碍物检测及定位方法
CN111382591A (zh) * 2018-12-27 2020-07-07 海信集团有限公司 一种双目相机测距校正方法及车载设备
CN111382591B (zh) * 2018-12-27 2023-09-29 海信集团有限公司 一种双目相机测距校正方法及车载设备
CN109792951A (zh) * 2019-02-21 2019-05-24 华南农业大学 用于杂交水稻授粉的无人机航线校正系统及其校正方法
CN111833428A (zh) * 2019-03-27 2020-10-27 杭州海康威视系统技术有限公司 一种可视域确定方法、装置及设备
CN111833428B (zh) * 2019-03-27 2024-02-02 杭州海康威视系统技术有限公司 一种可视域确定方法、装置及设备
CN110045749A (zh) * 2019-04-10 2019-07-23 广州极飞科技有限公司 用于无人飞行器检测障碍物的方法、装置和无人飞行器
CN110045749B (zh) * 2019-04-10 2022-05-10 广州极飞科技股份有限公司 用于无人飞行器检测障碍物的方法、装置和无人飞行器
CN110069078A (zh) * 2019-05-21 2019-07-30 深圳市道通智能航空技术有限公司 一种飞行控制方法、装置、系统及无人机
CN110069078B (zh) * 2019-05-21 2021-06-01 深圳市道通智能航空技术股份有限公司 一种飞行控制方法、装置、系统及无人机
CN110864670A (zh) * 2019-11-27 2020-03-06 苏州智加科技有限公司 目标障碍物位置的获取方法和系统
CN113093176A (zh) * 2019-12-23 2021-07-09 北京三快在线科技有限公司 线状障碍物检测方法、装置、电子设备和存储介质
CN114846295A (zh) * 2020-12-17 2022-08-02 深圳市大疆创新科技有限公司 一种可移动平台的控制方法、装置及可移动平台
WO2022126477A1 (zh) * 2020-12-17 2022-06-23 深圳市大疆创新科技有限公司 一种可移动平台的控制方法、装置及可移动平台
CN112987754A (zh) * 2021-04-14 2021-06-18 北京三快在线科技有限公司 一种无人设备的控制方法、装置、存储介质及电子设备
CN115016546A (zh) * 2022-08-10 2022-09-06 中国科学院自动化研究所 无人机三维路径规划方法、装置、电子设备和存储介质
CN115016546B (zh) * 2022-08-10 2022-10-28 中国科学院自动化研究所 无人机三维路径规划方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN108052111B (zh) 2021-02-09

Similar Documents

Publication Publication Date Title
CN108052111B (zh) 一种基于双目视觉技术的无人机实时避障方法
CN106595631B (zh) 一种躲避障碍物的方法及电子设备
US20220124303A1 (en) Methods and systems for selective sensor fusion
US11242144B2 (en) Aerial vehicle smart landing
CN106681353B (zh) 基于双目视觉与光流融合的无人机避障方法及系统
US11749124B2 (en) User interaction with an autonomous unmanned aerial vehicle
US20240069572A1 (en) Aerial Vehicle Touchdown Detection
Engel et al. Accurate figure flying with a quadrocopter using onboard visual and inertial sensing
EP2209091B1 (en) System and method for object motion detection based on multiple 3D warping and vehicle equipped with such system
CN113168186A (zh) 碰撞规避系统、深度成像系统、交通工具、地图生成器及其方法
CN109562844B (zh) 自动着陆表面地形评估以及相关的系统和方法
Mostegel et al. Active monocular localization: Towards autonomous monocular exploration for multirotor mavs
CN107703951B (zh) 一种基于双目视觉的无人机避障方法及系统
US20140247261A1 (en) Situational Awareness for Teleoperation of a Remote Vehicle
CN110427042A (zh) 基于超声波和双目视觉的无人机低空避障方法
CN113671994B (zh) 基于强化学习的多无人机与多无人船巡检控制系统
Özaslan et al. Towards fully autonomous visual inspection of dark featureless dam penstocks using MAVs
CN109164825A (zh) 一种用于多旋翼无人机的自主导航避障方法及装置
CN115933754A (zh) 基于毫米波雷达和双目视觉的电力巡检无人机避障方法
Perez et al. Autonomous collision avoidance system for a multicopter using stereoscopic vision
Lim et al. Three-dimensional (3D) dynamic obstacle perception in a detect-and-avoid framework for unmanned aerial vehicles
CN110427049A (zh) 基于双目视觉和超声波的多旋翼无人机选择性避障方法
Smith et al. PiPS: Planning in perception space
Sanket et al. Morpheyes: Variable baseline stereo for quadrotor navigation
Yuan et al. Visual steering of UAV in unknown environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant