CN113391642B - 一种基于单目视觉的无人机自主避障方法及系统 - Google Patents

Abstract

本发明公开了一种基于单目视觉的无人机自主避障方法及系统，该系统主要有硬件组成和软件组成两大部分，硬件部分包括搭载单目相机的无人机、5G数据传输模块和远端服务器三大部分，软件部分主要包括障碍物检测和无人机控制指令生成两大部分。本发明提出的基于单目视觉的无人机自主避障方法利用无人机搭载的单目相机采集到的图像进行障碍物的检测，并根据障碍物的视觉膨胀率、障碍物区域位置和当前无人机的飞行速度等信息生成适当的无人机控制指令，控制无人机避开障碍物，使无人机具备自主避障的能力。本发明提出的方法将5G网络作为无人机与远端服务器间数据传输的媒介，能够突破传统数据传输方法的距离限制，增加无人机的使用范围。

Description

一种基于单目视觉的无人机自主避障方法及系统

技术领域

本发明涉及无人机技术领域，具体涉及一种基于单目视觉的无人机自主避障方法及系统。

背景技术

目前市面上的无人机大多需要飞行人员通过遥控装置来控制无人机的飞行。在一些特殊应用场景下，比如需要进行超视距飞行或在强信号干扰环境下进行飞行时，飞行人员难以对无人机周围的环境做出实时判断，遥控信号可能会因受到环境的干扰而变得不稳定。在这种情况下，无人机极易与环境中的障碍物发生碰撞，造成无人机的损坏。

现有的无人机大多通过WIFI与地面站进行数据传输，地面站与无人机之间的距离有严格的限定，无人机到地面站的距离太远可能会导致无人机与地面站之间的数据传输受阻，造成数据的丢失。

此外，现有的无人机自主避障技术大多基于双目视觉，由于双目视觉能够获得场景的深度信息，有利于计算无人机与障碍物之间的距离。但是基于双目视觉的自主避障方法所需的计算量较大，对地面站的处理能力要求较高。此外，市面上的无人机大多搭载单目相机，无法获得双目图像。

因此亟需一种能够突破传统数据传输方法的距离限制，增加无人机的使用范围，而且具备较好自主避障能力的无人机系统及方法。

发明内容

为解决现有技术中存在的问题，本发明提供了一种基于单目视觉的无人机自主避障方法及系统，解决了上述背景技术中提到的问题。

为实现上述目的，本发明提供如下技术方案：一种基于单目视觉的无人机自主避障方法，包括如下步骤：

首先进行程序初始化，程序初始化后通过障碍物检测模块对疑似障碍物区域进行检测，所述的疑似障碍物区域检测包括疑似障碍物区域定位和疑似障碍物视觉膨胀率计算，然后无人机控制指令生成模块根据障碍物位置、障碍物视觉膨胀率和无人机飞行速度信息生成无人机控制指令，控制无人机避开障碍物。

优选的，所述的疑似障碍物区域定位是通过YOLO-v3目标检测神经网络来实现的，通过预训练后的YOLO-v3目标检测神经网络实时检测图像中可能存在的障碍物并生成疑似障碍物区域的分类标签，计算出疑似障碍物区域的位置。

优选的，所述的疑似障碍物视觉膨胀率计算具体是：首先对疑似障碍物进行特征点提取，然后在相邻图像中的疑似障碍物对之间进行特征点的匹配，对匹配成功的特征点进行视觉膨胀率的计算，得到疑似障碍物的视觉膨胀率。

优选的，所述的得到疑似障碍物的视觉膨胀率具体是指：对匹配成功的特征点进行视觉膨胀率的计算后再根据所有匹配成功的特征点的膨胀率计算平均膨胀率，然后将视觉膨胀率低于平均膨胀率的特征点舍去，剩余特征点的平均视觉膨胀率作为疑似障碍物的视觉膨胀率。

优选的，所述的相邻图像中的疑似障碍物对匹配方法具体是指：根据YOLO-v3检测定位的疑似障碍物区域计算每个疑似障碍物区域的中心，在相邻图像帧中，若两个疑似障碍物区域中心之间的偏移量在给定的阈值以内，且两个疑似障碍物的分类标签相同，则认为这两个疑似障碍物区域在相邻图像帧中是匹配的；反之，则不匹配。

优选的，所述的给定偏移量阈值的计算方法具体是指：对相邻的两帧图像进行特征点提取，然后将提取到的特征点进行匹配，计算匹配成功的特征点在两帧图像中的平均位置偏移量，计算得到的平均位置偏移量即是给定偏移量阈值。

优选的，所述的无人机控制指令生成还包括判断无人机前进方向上的障碍物个数，如当前无人机行进方向上只有一个障碍物，则判断障碍物的中心与无人机采集到的图像中心的关系，如障碍物的中心位于图像中心的左侧，则控制无人机向右飞行，如障碍物的中心位于图像中心的右侧，则控制无人机向左飞行；如当前无人机行进方向上有多个障碍物，则检测当前图像中的最大无障碍区域，如最大无障碍区的宽度大于给定的阈值，将最大无障碍区域的中心作为无人机的目标航向，控制无人机跟踪该目标，如最大无障碍区的最大宽度小于给定的阈值，则将多个障碍物合并为一个障碍物，并按照单个障碍物的情景重新规划路径。

优选的，所述的无障碍区宽度阈值按公式表达如下：

d＝k*D(0<k<1)。

一种基于单目视觉的无人机自主避障系统，所述系统包括硬件部分和软件部分，所述的硬件部分包括：

搭载单目相机的无人机：搭载单目相机的无人机作为数据采集机构和执行机构，主要用于实时采集无人机行进方向上的环境信息，同时按照远端服务器生成的控制指令飞行；

5G数据传输模块：5G数据传输模块用于无人机和远端服务器之间的数据传输；

远端服务器：远端服务器是整个系统的核心部分，用于运行障碍物检测和无人机控制指令生成两大模块的程序，实时检测无人机行进方向上的障碍物并生成适当的无人机控制指令，远端服务器采用配置有公网IP地址的服务器；

所述的软件部分包括：

障碍物检测模块：障碍物检测模块主要包含疑似障碍物区域定位和疑似障碍物视觉膨胀率计算两个部分；

无人机控制指令生成模块：无人机控制指令生成模块的功能是根据检测到的障碍物分布信息、障碍物视觉膨胀率和当前无人机的飞行速度等信息生成适当的无人机控制指令。

本发明的有益效果是：

1)本发明提出的基于单目视觉的无人机自主避障方法，利用YOLO-v3进行疑似障碍物区域的定位，利用视觉膨胀原理进行障碍物的判定，利用无人机搭载的单目相机采集到的图像进行障碍物的检测，并根据障碍物的视觉膨胀率、障碍物区域位置和当前无人机的飞行速度等信息生成适当的无人机控制指令，控制无人机避开障碍物，使无人机具备自主避障的能力，且YOLO-v3神经网络推理速度快，能够满足无人机对于障碍物检测的实时性要求。

2)本发明提出的基于单目视觉的无人机自主避障方法通过5G网络进行无人机和远端服务器之间的数据传输，这种数据传输方式不受距离的限制，能够突破传统数据传输方法的距离限制，增加无人机的使用范围。提出的自主避障方法能够检测无人机行进方向上的障碍物，并生成适当的无人机控制指令，使无人机具备自主避障的能力，可在没有飞行人员的遥控下飞行。

附图说明

图1为本发明系统构成示意图；

图2为本发明实施例障碍物检测流程示意图；

图3为本发明障碍物检测架构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

本发明提出的基于单目视觉的无人机自主避障方法可分为硬件部分和软件部分。组成部分框图如图1所示，硬件部分主要由搭载单目相机的无人机、5G数据传输模块、远端服务器三大部分组成。软件部分则由障碍物检测模块、无人机控制指令生成模块两大部分组成。

搭载单目相机的无人机作为数据采集机构和执行机构，主要用于实时采集无人机行进方向上的环境信息，同时按照远端服务器生成的控制指令飞行。

5G数据传输模块用于无人机和远端服务器之间的数据传输。

远端服务器是整个系统的核心部分，用于运行障碍物检测和无人机控制指令生成两大模块的程序，为整个系统的数据处理和控制中心，以实时检测无人机行进方向上的障碍物并生成适当的无人机控制指令。为降低本方法的实施复杂性，远端服务器采用配置有公网IP地址的服务器。远端服务器生成的无人机控制指令保存在服务器指定位置，无人机定时访问该指定位置，以获得控制信息。

障碍物检测模块主要包含疑似障碍物区域定位和疑似障碍物视觉膨胀率计算两个部分。

疑似障碍物区域定位通过YOLO-v3目标检测神经网络实现，通过预训练后的YOLO-v3目标检测神经网络实时检测图像中可能存在的障碍物并生成疑似障碍物区域的分类标签，计算出疑似障碍物区域的位置。YOLO-v3神经网络预先用大量障碍物图片进行训练，训练时需要将障碍物分为不同的类别，并为每一个类别打上标签。

疑似障碍物视觉膨胀率的计算方法是：对疑似障碍物进行特征提取，接着在相邻图像中的疑似障碍物对之间进行特征点的匹配，然后对匹配成功的特征点进行视觉膨胀率的计算，根据所有匹配成功的特征点的膨胀率计算平均膨胀率，然后将视觉膨胀率低于平均膨胀率的特征点舍去，剩余特征点的平均视觉膨胀率作为疑似障碍物的视觉膨胀率。

相邻图像间的疑似障碍物对匹配方法是：根据YOLO-v3检测定位的疑似障碍物区域计算每个疑似障碍物区域的中心，在相邻图像帧中，若两个疑似障碍物区域中心之间的偏移量在给定的阈值以内，并且两个疑似障碍物的分类标签相同，则认为这两个疑似障碍物区域在相邻图像帧中是匹配的。否则，两个疑似障碍物区域在相邻图像之间不是匹配的。

给定偏移量阈值的计算方法是：对相邻的两帧图像进行特征点提取，然后将提取到的特征点进行匹配，计算匹配成功的特征点在两帧图像中的平均位置偏移量。计算得到的平均位置偏移量即是给定偏移量阈值。

无人机控制指令生成模块主要功能是根据检测到的障碍物分布信息、障碍物视觉膨胀率和当前无人机的飞行速度等信息生成适当的无人机控制指令。

本发明提出的无人机控制指令生成策略是：若当前无人机行进方向上只有一个障碍物，则判断障碍物的中心与无人机采集到的图像中心的关系，若障碍物的中心位于图像中心的左侧，则控制无人机向右飞行；若障碍物的中心位于图像中心的右侧，则控制无人机向左飞行。若当前无人机行进方向上有多个障碍物，则检测当前图像中的最大无障碍区域，若最大无障碍区的宽度大于给定的阈值，将最大无障碍区域的中心作为无人机的目标航向，控制无人机跟踪该目标。若最大无障碍区的最大宽度小于给定的阈值，则将多个障碍物合并为一个障碍物，并按照单个障碍物的情景重新规划路径。

上述无障碍区宽度阈值按照如下公式进行设定：

d＝k*D(0<k<1)

其中，d表示无障碍区的宽度；k表示一个与无人机飞行速度、障碍物视觉膨胀率成正比的变量；D表示无人机获取图像的宽度。

本发明所提出的障碍物检测流程如图2所示，首先进行程序初始化，用于加载训练好的YOLO-v3神经网络模型、完成特征提取算法参数初始化等工作。初始化完成后，利用YOLO-v3对输入图像进行疑似障碍物区域的提取。接着在相邻图像帧之间进行疑似障碍物区域的匹配，匹配成功后分别对匹配成功的疑似障碍物区域进行特征提取。接着对提取到的特征点进行匹配，利用匹配成功的特征点计算疑似障碍物的平均膨胀率，再根据疑似障碍物平均膨胀率对其进行判定。最后综合障碍物位置、障碍物视觉膨胀率和无人机飞行速度等信息生成适当的无人机控制指令。

本发明所提出的障碍物检测架构如图3所示，利用YOLO-v3检测输入图像中的疑似障碍物，生成若干个疑似障碍物区域，同时通过多线程技术对输入图像进行特征提取，以计算整幅图像的平均偏移量。然后对疑似障碍物区域进行匹配，生成若干疑似障碍物对。接着对所有疑似障碍物对进行视觉膨胀计算，判定障碍物的状态。

为进一步提高本发明方法的实时性，在进行连续图像中障碍物对间的视觉膨胀计算操作时(对应图3中的“视觉膨胀计算”操作)，采用多线程技术，同时对多个障碍物对进行处理，进一步节省处理时间，提高方法的实时性。

本发明提出的基于单目视觉的无人机自主避障方法通过5G网络进行无人机和远端服务器之间的数据传输，这种数据传输方式不受距离的限制。本发明提出的自主避障方法能够检测无人机行进方向上的障碍物，并生成适当的无人机控制指令，使无人机具备自主避障的能力，可在没有飞行人员的遥控下飞行。此外，本方法中用到的YOLO-v3神经网络推理速度快，能够满足无人机对于障碍物检测的实时性要求。

相较于现有方法和技术，本发明提出的基于单目视觉的无人机自主避障方法能够利用无人机搭载的单目相机有效检测无人机行进方向上的障碍物并根据障碍物的分布、无人机飞行速度等信息生成适当的控制指令，使无人机具备自主避障的能力。

尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于单目视觉的无人机自主避障方法，其特征在于，包括如下步骤：

首先进行程序初始化，程序初始化后通过障碍物检测模块对疑似障碍物区域进行检测，所述的疑似障碍物区域检测包括疑似障碍物区域定位和疑似障碍物视觉膨胀率计算，然后无人机控制指令生成模块根据障碍物位置、障碍物视觉膨胀率和无人机飞行速度信息生成无人机控制指令，控制无人机避开障碍物；

所述的疑似障碍物视觉膨胀率计算具体是：首先对疑似障碍物进行特征点提取，然后在相邻图像中的疑似障碍物对之间进行特征点的匹配，对匹配成功的特征点进行视觉膨胀率的计算，得到疑似障碍物的视觉膨胀率；

所述在相邻图像中的疑似障碍物对之间进行特征点的匹配具体是指：根据YOLO-v3检测定位的疑似障碍物区域计算每个疑似障碍物区域的中心，在相邻图像帧中，若两个疑似障碍物区域中心之间的偏移量在给定的偏移量阈值以内，且两个疑似障碍物的分类标签相同，则认为这两个疑似障碍物区域在相邻图像帧中是匹配的；反之，则不匹配。

2.根据权利要求1所述的基于单目视觉的无人机自主避障方法，其特征在于：所述的疑似障碍物区域定位是通过YOLO-v3目标检测神经网络来实现的，通过预训练后的YOLO-v3目标检测神经网络实时检测图像中可能存在的障碍物并生成疑似障碍物区域的分类标签，计算出疑似障碍物区域的位置。

3.根据权利要求1所述的基于单目视觉的无人机自主避障方法，其特征在于：所述的得到疑似障碍物的视觉膨胀率具体是指：对匹配成功的特征点进行视觉膨胀率的计算后再根据所有匹配成功的特征点的膨胀率计算平均膨胀率，然后将视觉膨胀率低于平均膨胀率的特征点舍去，剩余特征点的平均视觉膨胀率作为疑似障碍物的视觉膨胀率。

4.根据权利要求1所述的基于单目视觉的无人机自主避障方法，其特征在于：所述给定的偏移量阈值的计算方法具体是指：对相邻的两帧图像进行特征点提取，然后将提取到的特征点进行匹配，计算匹配成功的特征点在两帧图像中的平均位置偏移量，计算得到的平均位置偏移量即是给定偏移量阈值。

5.根据权利要求1所述的基于单目视觉的无人机自主避障方法，其特征在于：所述的生成无人机控制指令还包括判断无人机前进方向上的障碍物个数，如当前无人机行进方向上只有一个障碍物，则判断障碍物的中心与无人机采集到的图像中心的关系，如障碍物的中心位于图像中心的左侧，则控制无人机向右飞行，如障碍物的中心位于图像中心的右侧，则控制无人机向左飞行；如当前无人机行进方向上有多个障碍物，则检测当前图像中的最大无障碍区域，如最大无障碍区的宽度大于给定的无障碍区宽度阈值，将最大无障碍区域的中心作为无人机的目标航向，控制无人机跟踪该目标，如最大无障碍区的最大宽度小于给定的无障碍区宽度阈值，则将多个障碍物合并为一个障碍物，并按照单个障碍物的情景重新规划路径。

6.根据权利要求5所述的基于单目视觉的无人机自主避障方法，其特征在于：所述的无障碍区宽度阈值按公式表达如下：

d＝k*D(0<k<1)。

7.一种根据权利要求1-6任一项所述的基于单目视觉的无人机自主避障方法的系统，其特征在于：所述系统包括硬件部分和软件部分，所述的硬件部分包括：

搭载单目相机的无人机：搭载单目相机的无人机作为数据采集机构和执行机构，主要用于实时采集无人机行进方向上的环境信息，同时按照远端服务器生成的控制指令飞行；

5G数据传输模块：5G数据传输模块用于无人机和远端服务器之间的数据传输；

远端服务器：远端服务器是整个系统的核心部分，用于运行障碍物检测和无人机控制指令生成两大模块的程序，实时检测无人机行进方向上的障碍物并生成适当的无人机控制指令，远端服务器采用配置有公网IP地址的服务器；

所述的软件部分包括：

障碍物检测模块：障碍物检测模块主要包含疑似障碍物区域定位和疑似障碍物视觉膨胀率计算两个部分；

无人机控制指令生成模块：无人机控制指令生成模块的功能是根据检测到的障碍物分布信息、障碍物视觉膨胀率和当前无人机的飞行速度等信息生成适当的无人机控制指令。

Images