CN113093806B - 一种用于飞行器空间全向避障方法及系统 - Google Patents

Abstract

本发明提供了一种用于飞行器空间全向避障方法及系统，属于无人机飞行控制领域。所述的飞行器机身上安装有三组摄像头，第一组摄像头安装在机头上方的位置和机尾上方的位置；第二组摄像头安装在机身底部，与机身上方的摄像头安装位置完全对称；第三组摄像头安装在机头正前方，本发明提供的飞行器空间全向避障方法及系统不仅能通过使用低成本的摄像头实现飞行器对三维空间360度的障碍物识别，同时还能将障碍物信息反馈给飞行控制与导航系统，从而实现飞行器在三维空间里的前、后、左、右、上、下六个方向的飞行路径规划，从而自动避让开周围的障碍物进行安全的飞行。

Description

一种用于飞行器空间全向避障方法及系统

技术领域

本发明属于无人机飞行控制领域，尤其涉及用于飞行器空间全向避障方法及系统。

背景技术

近几年，对无人机自动感知与控制提出了越来越高的要求，尤其是主动避障方面，使无人机能在复杂环境中自主安全的飞行，而不会发生碰撞及炸机情况。目前有少数无人机企业将毫米波雷达、超声波雷达、光流、红外等传感器安装在无人机上，进行避障应用，但是上述方案存在检测距离和范围受限、精度不高等缺点，进而容易引发漏检和误检等意外情况，因此涉及到航空科技研发的企业还需要在飞行器的避障方面不断的进行创新和研究投入，作为飞行器无论是民用还是军用方面，怎样安全的飞行一直都是备受大家关注的问题。

目前行业内，在飞行器避障方面采用最多的方案有如下几种：1、使用传统的雷达进行障碍物探测；2、使用激光雷达进行障碍物扫描识别；3、超声波传感器障碍物探测；4、基于计算机视觉技术的障碍物检测。

采用雷达进行避障的方案不仅设备价格昂贵，而且很难实现空间全向的障碍物检测，很难适用于在低空空域飞行的中小型飞行器(包括有人驾驶和无人驾驶)。利用超声波传感器进行障碍物探测的方案局限很大，受限于超声波的传输距离和传输方式，也很难实现大范围和长距离的障碍物识别。而基于计算机视觉技术的障碍物检测它不仅成本低，而且对障碍物的识别距离远，范围广，因此很多机构都在对其进行深入的研究。

中国专利申请201711005265.0中公开了一种基于双目视觉的无人机实时避障方法，包括1)、通过双目相机采集视差图，并进行三维重构，计算深度；2)、增加阈值，只识别小于避障半径Zmax范围内的障碍；3)、遍历图像，计算每个像素点的障碍情况；4)、计算每个小格单元内的障碍物填充率：填充率大于50％，存在障碍物；填充率在10％-50％内，认为未知，存在风险；填充率小于10％，认为安全。5)、分析安全区域的大小和分布情况，进而输出控制无人机前后、左右、上下的运动速度，以及旋转角速率；6)、进行双目视觉避障的同时，允许用户操纵遥控器，产生无人机额外的前后、左右、上下的运动速度v，以及旋转角速率ω，并与飞行控制系统自然稳定地融合，从而快速稳定地进行自主避障。

中国专利申请201910776823.6中公开了一种基于双目视觉和三轴云台的无人机选择性避障系统及方法包括以下步骤：开启八路超声波和双目视觉，并确定无人机的飞行方向角；通过三轴云台将双目摄像头旋转到飞行方向并打开，实时监测飞行方向的环境；获取深度信息；通过双目摄像机拍摄所得的障碍物图像与无人机姿态识别模块获取的俯仰角和横滚角综合分析出障碍物的方位，障碍物与无人机的距离；树梅派控制板进行判断是否避障；选择性避障模式；规划无人机四周环境和八路超声波避障；本发明所提方法不仅大大地降低成本，更可360°无死角观测四周环境并且减轻无人机自主飞行时的负荷；三轴云台的使用去除了无人机飞行时俯仰角和横滚角对像素飞行安全框的偏移，确保飞行安全性。

但是就目前行业里将普通摄像头应用到飞行器避障的方案还很有限，绝大多数都只考虑到前向或者某两个方向的障碍物识别，这样对于一些中小型飞行器在多障碍物的复杂环境里或者建筑物内飞行来说，是不够安全的。

发明内容

基于现有技术中的不足，本发明提供了一种用于飞行器空间全向避障的方法和系统，它不仅能通过使用低成本的摄像头实现飞行器对三维空间360度的障碍物识别，同时还能将障碍物信息反馈给飞行控制与导航系统，从而实现飞行器在三维空间里的前、后、左、右、上、下六个方向的飞行路径规划，从而自动避让开周围的障碍物进行安全的飞行。

为了解决上述问题，本发明采用如下技术方案：

一种用于飞行器空间全向避障系统，所述的避障系统包括一架四旋翼无人飞行器，所述的飞行器包括机身，四个螺旋桨，四个马达电机，摄像头，飞行控制系统和电池系统；所述的电机马达与飞行控制系统和电池系统之间电连接；所述的摄像头与飞行控制系统和电池系统之间电连接。

所述的机身上安装有三组摄像头，第一组摄像头安装在机头上方的位置和机尾上方的位置；第二组摄像头安装在机身底部，与机身上方的摄像头安装位置完全对称；第三组摄像头安装在机头正前方。

所述的第一组和第二组摄像头为超广角的鱼眼摄像头；第三组摄像头为广角摄像头。

所述的超广角的鱼眼摄像头角度为大于180度的广角鱼眼摄像头，优选为220度；

所述的广角摄像头为大于120度的广角摄像头，优选为120度。

在飞行过程中，采集第一组摄像头在YZ平面内的有效视野区域，获得第一组摄像头在YZ平面内的有效公共视野区域，由几何关系计算可以得到有效公共视野区域的角度为a1；采集第一组摄像头在XY平面内的有效视野区域，获得第一组摄像头在XY平面内的有效公共视野区域，由几何关系计算可以得到有效公共视野区域的角度a2；结合有效公共视野区域在YZ和XY两个平面的投影区域的角度值，我们可以计算出第一组的两个鱼眼摄像头在空间中的公共有效视野范围是沿Z的正半轴朝上的空间区域；

同理，第二组摄像头在空间中的公共有效视野范围是沿Z的负半轴朝下的空间区域。结合第一组摄像头和第二组摄像头的四个鱼眼摄像头，就可以实现双目摄像头公共视野区域完全覆盖了整个飞行器周围空间的范围，到达了空间全向障碍物识别的目的。

由于第一组摄像头和第二组摄像头不能使飞行器在较远距离处识别出正前方和正后方的障碍物，因此增加了第三组摄像头，采集第三组摄像头在XY平面的有效视野区域，获得第三组摄像头在XY平面的有效公共视野区域；采集第三组摄像头在YZ平面内的有效视野区域，获得第三组摄像头在YZ平面内的有效公共视野区域；根据第三组摄像头在XY平面内的有效公共视野区域和在YZ平面内的有效公共视野区域可以看出，加入第三组摄像头可以很好增加飞行器在正前方区域的障碍物识别距离。

基于该系统进行飞行器实时避障的方法，包括如下步骤：

步骤1、采集一组鱼眼双目摄像头的图像；

步骤2、将步骤1采集到的双目图像输入到计算深度的深度学习网络模型，输出预测深度图

步骤3、将步骤1采集到的双目图像输入到深度立体匹配计算模块，输出真实深度图d(x，y)；

步骤4、计算匹配损失loss，迭代优化深度学习网络模型，使得匹配损失最小化；

步骤5、重复步骤1至步骤4，直到匹配损失loss小于阈值ε；

步骤6、根据空间关系

将步骤1输出的预测深度图

中每一个点投影到3维空间中，输出3维点云P；

步骤7、对每一组双目图像按照步骤2至步骤6操作，输出多组点云P1、P2...Pn，将得到的多组点云进行3维拼接，输出飞行器所在局部空间的全向点云信息；

步骤8、使用飞行器所在局部空间的点云进行3维路径规划，避开有障碍的空间位置，输出飞行轨迹；

步骤9、飞行控制系统按照收到的飞行轨迹进行飞行控制。

步骤6中，可以设置最大建图阈值Zmax，超出该阈值的空间点舍弃，减小计算量。

步骤3至步骤5的深度学习网络训练过程由于计算量巨大，难以在机载电脑端运行，需迁移至工作电脑PC端进行。

上述步骤4中匹配损失loss的计算公式为：

其中ω(d(i，j)，

是差异函数，用于表征d(i，j)和

之间的差异程度；当ω((d(i，j)，

时，匹配损失loss的计算公式为

其中W是图像宽度，H是图像高度。

上述步骤(5)中阈值ε为经验值，阈值越小，模型匹配的精度越高，耗时越久，同时发生过匹配的可能性也增高。

本发明的有益效果在于：本发明提供了一种用于飞行器空间全向避障的方法和系统，不仅能通过使用低成本的摄像头实现飞行器对三维空间360度的障碍物识别，同时还能将障碍物信息反馈给飞行控制与导航系统，从而实现飞行器在三维空间里的前、后、左、右、上、下六个方向的飞行路径规划，从而自动避让开周围的障碍物进行安全的飞行。

1、通过3组摄像头实现了空间360度的双目视觉全向避障功能；

2、本发明只使用3组双目摄像头可以大大降低飞控系统中的板载计算机处理耗时和耗能，从而降低了硬件成本。

附图说明：

图1为本发明是实例1所述的四旋翼无人飞行器示意图；A-为四旋翼无人飞行器俯视图；B-为四旋翼无人飞行器仰视图；

图2为本发明实施例1所述的第一组摄像头在空间中的有效公共视野区域左视图；

图3为本发明实施例1所述的第一组摄像头在空间中的有效公共视野区域俯视图；

图4为本发明实施例1所述的四旋翼无人飞行器机头正前方区域和机尾正后方区域；

图5为本发明实施例1所述的第三组摄像头在XY平面的有效视野区域；

图6为本发明所述的四旋翼无人飞行器全向避障系统功能实现流程图；

图7为双目成像空间点投影关系图；

附图标记：1-机身，2-螺旋桨，3-马达电机，4-飞行控制系统，5-电池系统，601和602-第一组摄像头，603和604-第二组摄像头，701和702-第三组摄像头，6011-601摄像头在YZ平面内的有效视野区域，6021-602摄像头在YZ平面内的有效视野区域，10-0为601和602在YZ平面内的有效公共视野区域，6011’-601在XY平面内的有效视野区域，6021’-602在XY平面内的有效视野区域，10’为601和602在XY平面内的有效公共视野区域，7011-701在XY平面的有效视野区域，7021-702在XY平面的有效视野区域，8-701和702在XY平面内的有效公共视野区域；8’-701和702在YZ平面上公共视野区域

具体实施方式

实施例1一种用于飞行器空间全向避障系统

如附图1所示，所述的避障系统包括一架四旋翼无人飞行器，所述的飞行器包括机身1，四个螺旋桨2，四个马达电机3，摄像头，飞行控制系统4和电池系统5。

其中一种安装方式为：所述的机身上安装有三组摄像头，第一组摄像头601和602分别安装在机头上方的位置和机尾上方的位置；第二组摄像头603和604分别安装在机身底部，与机身上方的摄像头安装位置完全对称；第三组摄像头701和702分别安装在机头正前方。

另一种安装方式为：第一组摄像头601和602分别安装在机身左侧的机头上方的位置和机尾上方的位置；第二组摄像头603和604分别安装在机身右侧的机头上方的位置和机尾上方的位置，与601和602的摄像头安装位置完全对称；第三组摄像头701和702分别安装在机头正前方。

所述的飞行器机身1与马达支座的机臂是中空的，所述的四组电机马达3的信号线与电源线从连接机身1与马达支座的机臂中间通过，然后连接到飞行控制系统4和电池系统5。3组双目摄像头的数据线和电源线可以直接从机身1内部通过并连接到飞行控制系统4和电池系统5，这样可以使得摄像头与飞行控制系统进行交互的数据线非常安全。

所述的第一组和第二组摄像头为220度超广角的鱼眼摄像头；第三组摄像头为120度广角摄像头。

如附图2所示，6011和6021中的阴影区域分别代表第一组摄像机的601和602两个摄像头各自在YZ平面内的有效视野区域，10为601和602在YZ平面内的有效公共视野区域，由几何关系计算可以得到区域10的角度为180度；如附图3所示，6011’和6021’中的阴影区域分别代表摄像头601和602各自在XY平面内的有效视野区域，10’为601和602在XY平面内的有效公共视野区域，由几何关系计算可以得到区域10的角度为360度。结合区域10在YZ和XY两个平面的投影区域的角度值，我们可以计算出601和602两个鱼眼摄像头在空间中的公共有效视野范围是沿Z的正半轴朝上的空间360度区域。

同理可以推算出，第二组摄像机的603和604两个摄像头在空间中的公共有效视野范围是沿Z的负半轴朝下的空间360度区域。结合601、602、603和604四个鱼眼摄像头，就可以实现双目摄像头公共视野区域完全覆盖了整个飞行器周围360度空间的范围，到达了空间全向障碍物识别的目的。

由于双目摄像头解算障碍物的距离与两个摄像头之间的基线距离有关，基线越长能识别的障碍物越远。因此，由附图2可以看出，601和602两个摄像头在X轴上的投影距离几乎为0，这样在解算图4中机头正前方阴影区域8和机尾正后方阴影区域9中所存在的障碍物距离就会非常有限，导致飞行器不能在较远距离处识别出正前方和正后方的障碍物。

为了弥补这里的不足，在机身的机头正前方位置增加了第三组摄像头701和702，由附图5可知，阴影区域7011和7021分别是701和702在XY平面的有效视野区域，阴影区域8为701和702在XY平面内的有效公共视野区域；由附图4中可知，阴影区域8’是701和702在YZ平面上公共视野区域，结合附图5中区域8，可以看出加入第三组摄像头701和702可以很好增加飞行器在正前方区域的障碍物识别距离。

同理，由附图4可知，摄像头602和604的公共阴影区域9可以增加飞行器在正后方区域的障碍物识别距离，这样就能很好的弥补了601、602、603和604四个鱼眼摄像头在正前方和正后方障碍物距离识别上的不足。

实施例2一种用于飞行器空间全向避障方法

包括如下步骤：

步骤1、采集一组鱼眼双目摄像头的图像；

步骤2、将步骤1采集到的双目图像输入到计算深度的深度学习网络模型，输出预测深度图

步骤3、将步骤1采集到的双目图像输入到深度立体匹配计算模块，输出真实深度图d(x，y)；

步骤4、计算匹配损失

其中W是图像宽度，H是图像高度，迭代优化深度学习网络模型，使得匹配损失最小化；

步骤5、重复步骤1至步骤4，直到匹配损失loss小于阈值ε；

步骤6、根据空间关系

将步骤1输出的预测深度图

中每一个点投影到3维空间中，输出3维点云P；

步骤7、对每一组双目图像按照步骤2至步骤6操作，输出多组点云P1、P2...Pn，将得到的多组点云进行3维拼接，输出飞行器所在局部空间的全向点云信息；

步骤8、使用飞行器所在局部空间的点云进行3维路径规划，避开有障碍的空间位置，输出飞行轨迹；

步骤9、飞行控制系统按照收到的飞行轨迹进行飞行控制G

步骤6中，可以设置最大建图阈值Zmax，超出该阈值的空间点舍弃，减小计算量。

具体步骤为：

针对三维空间中的一点，当一组双目摄像头同时拍摄到该点时，其分别在左右目图像中的像素点为l(x，y)和r(x+d，y)，双目立体匹配过程如图7所示，其中OL、OR分别为左右目相机的光心，OL到OR的距离b是左右目的基线，f是相机的焦距，PL-PR是成像平面，空间中的任一点P分别通过左右目相机最终成像在PL点和PR点，Z是空间点P到相机左右光心平面的距离，根据三角形PL-PR-P相似于三角形OL-OR-P，有比例关系

带入几何关系进行化简，最终得到

其中，Z是空间点P到相机左右光心平面的距离，即深度，b为两个相机光心之间的距离，d为两个光心与障碍物连线与焦距所在平面的交点间距，f发为相机的焦距，设定两个相机的焦距相同，b、f可由标定获得，为定值。

以附图3为例进行说明，第一组摄像头的左目的视野范围是6021，右目的视野范围是6011，左右目的公共区域是10，根据上述双目立体匹配的原理，可以计算10区域内拍摄到的所有三维空间点的深度信息。根据几何关系，可以将带有深度信息的像素点投影到三维空间中，得到该点的三维空间位置，即建图信息。

同理，使用3组鱼眼双目摄像头，可以实现飞行器周围360°的深度信息解算，将多组建图信息拼接，就得到了周围的完整建图信息。基于该建图信息进行路径规划，避开有障碍的空间位置，即可实现全向空间避障飞行，完整的飞行器全向避障系统功能实现的流程如图6所示。

在深度信息计算过程中，传统的双目立体匹配存在一定的局限性，双目立体匹配的输入图像必须是无畸变的投影到归一化平面的图像，而对于鱼眼摄像头，图像的径向畸变程度与像素点到图像光心的距离呈高次方关系，距离越大畸变越严重，需要进行插值来降低信息损失。而采用一般的监督式深度学习代替双目立体匹配，则需要事先对训练样本的深度信息进行标记，以640*480的图像分辨率为例，每幅图像包含307200的像素点，即307200个深度值，训练数据集包含10000张图像，则需要事先标记的样本深度值高到3*10^9，此方法样本标签标注的工作量过于巨大，难以实现。

基于现有问题，本申请提出一种将双目匹配算法与深度学习融合的自驱动式深度学习算法，将左右目图像输入模型，得到预测的深度图其中任一像素点的深度值

将左右目图像输入立体匹配模块，得到实际的深度图其中任一像素点的深度值d(x，y)。匹配损失的计算公式为：

其中ω(d(i，j)，

是差异函数，用于表征d(i，j)和

之间的差异程度；当ω((d(i，j)，

时，匹配损失loss的计算公式为

其中W是图像宽度，H是图像高度。迭代优化训练模型，使得匹配损失最小化。

本发明中未做特别说明的均为现有技术或者通过现有技术即可实现，而且本发明中所述具体实施案例仅为本发明的较佳实施案例而已，并非用来限定本发明的实施范围。即凡依本发明申请专利范围的内容所作的等效变化与修饰，都应作为本发明的技术范畴。

Claims (4)

1.一种用于飞行器空间全向避障的方法，其特征在于：包括如下步骤：

步骤1、采集一组鱼眼双目摄像头的图像；

步骤2、将步骤1采集到的双目图像输入到计算深度的深度学习网络模型，输出预测深度图

步骤3、将步骤1采集到的双目图像输入到深度立体匹配计算模块，输出真实深度图d(x,y)；

步骤4、计算匹配损失loss，迭代优化深度学习网络模型，使得匹配损失最小化；

步骤5、重复步骤1至步骤4，直到匹配损失loss小于阈值ε；

步骤6、根据空间关系，将步骤2 输出的预测深度图

中每一个点投影到3维空间中，输出3维点云P；

步骤7、对每一组双目图像按照步骤2至步骤6操作，输出多组点云P1、P2…Pn，将得到的多组点云进行3维拼接，输出飞行器所在局部空间的全向点云信息；

步骤8、使用飞行器所在局部空间的点云进行3维路径规划，避开有障碍的空间位置，输出飞行轨迹；

步骤9、飞行控制系统按照收到的飞行轨迹进行飞行控制；

步骤4中所述的匹配损失的计算公式为：

其中

是差异函数，用于表征d(i,j)和

之间的差异程度；当

时，匹配损失loss的计算公式为

其中W是图像宽度，H是图像高度；

所述鱼眼双目摄像头的数量为三组，第一组摄像头安装在机头上方的位置和机尾上方的位置；第二组摄像头安装在机身底部，与机身上方的摄像头安装位置完全对称；第三组摄像头安装在机头正前方。

2.根据权利要求1所述的方法，其特征在于：步骤6中还包括设置最大空间深度阈值Zmax。

3.根据权利要求1所述的方法，其特征在于：步骤6中所述的空间关系的公式为：

Z为对应空间点到相机光心连线的垂直的距离，即空间深度；b 为两个相机光心之间的距离，d为两个光心与障碍物连线与焦距所在平面的交点间距，f发为相机的焦距，设定两个相机的焦距相同，b、f可由标定获得，为定值。

4.根据权利要求2所述的方法，其特征在于：所述的设置最大空间深度阈值Zmax，用于限制3维空间建图的有效范围，在计算过程中将空间深度Z超过Zmax的点舍弃。

Images