CN116540776B - 一种无人机视觉避障方法及系统 - Google Patents

Abstract

一种无人机视觉避障方法及系统，包括：当无人机以第一速度向量沿预设的飞行轨迹移动时,通过无人机的单个图像采集设备采集无人机移动方向上的图像帧；在无人机的移动方向上检测出存在障碍物的情况下，根据第一速度向量和图像帧获取第二速度向量；控制无人机执行第二速度向量，以使得无人机在移动时避开障碍物。本发明仅依靠一个图像采集设备实现无人机的视觉避障，降低了部署门槛，同时节省了用户的成本；采用障碍物检测方式对单个图像采集设备采集的图像帧进行障碍物检测，在存在障碍物的情况下执行根据图像帧改变的第二速度向量，以使得无人机在移动时避开障碍物，更好地实现了在室内复杂环境下的无人机视觉避障。

Description

一种无人机视觉避障方法及系统

技术领域

本发明涉及无人机飞行技术领域，具体涉及一种无人机视觉避障方法及系统。

背景技术

无人机在飞行过程中，如果与障碍物发生碰撞，轻则影响任务的正常执行，重则造成无人机的损毁，因此，无人机避障成为了无人机应用领域的一项非常关键的技术。

通常，无人机通常会采用基于超声波的避障、基于激光的避障、基于红外的避障和基于视觉的避障四种方式，然而，由于室内环境通常比较狭小和复杂，障碍物高低分布非常突兀，现有的适用于室外或野外的无人机避障系统均受到挑战，即便是规划好飞行轨迹的室内无人机系统，也容易与障碍物发生碰撞；此外，室内微型无人机由于体积和重量的限制，难以装备大量的避障硬件组件，有些甚至只装备有单个摄像头，而单个摄像头的图片信息无法获取到场景中每个物体与镜头的距离关系，即缺少第三个维度，而现实生活中的室内场景极度复杂，单个摄像头发生视觉误算的概率非常大，可能会计算错物体的实际距离，使得基于单目的无人机视觉避障效果不好。

因此，如何利用室内无人机有限的硬件资源来更好地实现室内复杂环境下的避障，成为一项亟待解决的问题。

发明内容

本发明提出的方法，在无人机的移动方向上检测出存在障碍物的情况下，控制无人机执行第二速度向量，以使得无人机在移动时避开障碍物，更好地实现了在室内复杂环境下的无人机视觉避障，并且具备了部署成本低和障碍物检测效率高等优点。

第一方面，一种实施例中提供一种无人机视觉避障方法,包括：当无人机以第一速度向量沿预设的飞行轨迹移动时,通过所述无人机的的单个图像采集设备采集无人机移动方向上的图像帧；采用障碍物检测方式对所述图像帧进行障碍物检测，以确定在无人机的移动方向上是否存在障碍物；若存在所述障碍物，根据所述第一速度向量和所述图像帧获取第二速度向量；控制所述无人机执行所述第二速度向量，以使得所述无人机在移动时避开所述障碍物。

一些实施例中，所述采用障碍物检测方式对所述图像帧进行障碍物检测，包括：对所述图像帧进行图像处理，以得到五个图像段；分别计算出每个所述图像段中第一像素点的数量，所述第一像素点为灰度值大于250的像素点；根据所述图像段的第一像素点的数量进行障碍物检测，以确定在无人机的移动方向上是否存在障碍物。

一些实施例中，所述对所述图像帧进行图像处理，以得到五个图像段，包括：将所述图像帧进行灰度转换，得到第一灰度图像；对所述第一灰度图像进行模糊处理，得到第二灰度图像；对所述第二灰度图像进行边缘检测处理，得到边缘检测图；将所述边缘检测图进行分割，得到第一图像段、第二图像段、第三图像段、第四图像段和第五图像段。

一些实施例中，所述根据所述图像段的第一像素点的数量进行障碍物检测，以确定在无人机的移动方向上是否存在障碍物，包括：若第二图像段的所述第一像素点的数量小于第一阈值，则得到第一检测结果，所述第一检测结果为所述无人机当前位置的前方存在障碍物；若所述第二图像段的第一像素点的数量大于第一阈值，和，所述第一图像段的第一像素点的数量小于第二阈值，和，所述第一图像段的第一像素点小于所述第三图像段的第一像素点的数量，则得到第二检测结果，所述第二检测结果为所述无人机当前位置的左前方区域比右前方区域开阔；若所述第二图像段的第一像素点的数量大于第一阈值，和，所述第三图像段的第一像素点的数量小于第二阈值，和，且所述第三图像段的第一像素点小于所述第一图像段的第一像素点的数量，则得到第三检测结果，所述第三检测结果为所述无人机当前位置的左前方区域比右前方区域开阔；若所述第一图像段的第一像素点的数量大于第一阈值，和，第四图像段的第一像素点的数量小于第二阈值，和，第四图像段的第一像素点的数量小于第五图像段，和，所述无人机的飞行高度大于预设层高时，则得到第四检测结果，所述第四检测结果为所述无人机前进方向的上方有障碍物。

一些实施例中，所述控制所述无人机执行所述第二速度向量，以使得所述无人机在移动时避开所述障碍物，包括：执行根据所述第一检测结果改变的所述第二速度向量，使得所述无人机向上移动以避开所述障碍物；执行根据所述第二检测结果改变所述第二速度向量，使得所述无人机向左移动以避开所述障碍物；执行根据所述第三检测结果改变所述第二速度向量，使得所述无人机向右移动以避开所述障碍物；执行根据所述第四检测结果改变所述第二速度向量，使得所述无人机向下移动以避开所述障碍物。

一些实施例中，还包括：若所述无人机在飞行过程中与任何障碍物发生碰撞，则停止移动；基于碰撞发生前的图像帧对所述第一速度向量进行修正，控制所述无人机以修正后的所述第一速度向量移动，使得所述无人机移动到根据所述碰撞发生前的图像帧检测不到障碍物的区域；若所述无人机未到达所述预设的第一目标航路点，则执行第三速度向量使得所述无人机移动到第二目标航路点，所述第二目标航路点为从预设的飞行轨迹中选取的一个新的航路点；其中，所述第三速度向量为根据无人机的当前位置和第二目标航路点的位置预设的速度向量。

一些实施例中，所述修正所述第一速度向量的方法，包括：采用所述障碍物检测方式对碰撞发生前的图像帧进行障碍物检测，以确定在无人机的移动方向上是否存在障碍物；根据所述图像帧修正所述无人机的第一速度向量。

一些实施例中，所述根据所述图像帧修正所述无人机的第一速度向量，包括：若检测出障碍物，则将所述第一速度向量中对应于所述障碍物方位的维度的值设置为相反方向的值，直至所述无人机实时采集的图像帧不再被判断出障碍物。

根据第二方面，一种实施例中提供一种无人机避障系统，包括：智能底座、无人机本体、安装在所述无人机本体上的图像采集设备、主控设备和图像处理设备；所述图像采集设备用于当无人机以第一速度向量沿预设的飞行轨迹移动时,实时采集无人机移动方向上的图像帧，并根据所述图像帧进行障碍物检测；所述智能底座用于向所述主控设备发送控制指令；所述主控设备用于接收所述智能底座发送的所述控制指令以控制所述无人机本体的飞行，和，所述无人机本体与所述智能底座的通信；所述图像处理设备用于执行前述的方法。

根据第二方面，一种实施例中提供一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如前述的方法。

根据上述实施例的方法，仅依靠一个图像采集设备实现无人机的视觉避障，降低了部署门槛，同时节省了用户的成本；采用障碍物检测方式对单个图像采集设备采集的图像帧进行障碍物检测，在检测出存在障碍物的情况下控制无人机执行根据第一速度向量和图像帧获取的第二速度向量，以使得无人机在移动时避开障碍物，更好地实现了在室内复杂环境下的无人机视觉避障。

附图说明

图1为本发明提供的无人机视觉避障方法的流程图；

图2为一种实施例的障碍物检测方式的流程图；

图3为一种实施例的对图像帧进行图像处理的流程图；

图4为一种实施例的根据图像段的白色像素的数量进行障碍物检测的流程图；

图5为一种实施例的执行根据图像帧改变的第二速度向量的流程图；

图6为一种实施例的修正所述第一速度向量的方法的流程图；

图7为本发明提供的无人机避障系统的结构图；

图8为一种实施例的五个图像段的分割方式示意图；

图9为本发明提供的电子设备的结构图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。

另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。

本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。

请参考图1，本发明一实施例中提供一种无人机视觉避障方法,包括：

S10：当无人机以第一速度向量沿预设的飞行轨迹移动时,通过无人机的单个图像采集设备采集无人机移动方向上的图像帧。

S20：采用障碍物检测方式对图像帧进行障碍物检测，以确定在无人机的移动方向上是否存在障碍物。

一些实施例中，如图2所示，采用障碍物检测方式对图像帧进行障碍物检测包括：

S210：对图像帧进行图像处理，以得到五个图像段。

一些实施例中，如图3所示，对图像帧进行图像处理，以得到五个图像段，包括：

S211：将图像帧进行灰度转换，得到第一灰度图像。

一些实施例中，使用OpenCV库中的“cvtColor”函数将图像帧转换为第一灰度图像，在第一灰度图像上进行后续处理，以减少较窄波段的颜色数量。

S212：对第一灰度图像进行模糊处理，得到第二灰度图像。

一些实施例中，使用OpenCV库中的“filter2D”函数对第一灰度图像进行模糊处理，使得每个输出像素是其近邻核的平均值，这可以减少图像中的噪声。

图像模糊处理一般被看作清晰图像卷积模糊核得到模糊图像的过程，模糊核可通过以下方式计算得到：

其中，K为模糊核函数，K_weight为所述第一灰度图像的宽度，K_height为所述第一灰度图像的高度。

S213：对第二灰度图像进行边缘检测处理，得到边缘检测图。

一些实施例中，使用OpenCV库中的“Canny”函数对第二灰度图像做边缘检测处理，采用该函数作边缘检测具有较低错误率。

S214：将边缘检测图进行分割，得到第一图像段、第二图像段、第三图像段、第四图像段和第五图像段，图8示出了五个图像段的分割方式。

S220：分别计算出每个图像段中第一像素点的数量，第一像素点为灰度值大于250的像素点。

S230：根据图像段的第一像素点的数量进行障碍物检测，以确定在无人机的移动方向上是否存在障碍物。

一些实施例中，如图4所示，根据图像段的第一像素点的数量进行障碍物检测，以确定在无人机的移动方向上是否存在障碍物，包括：

S231：若第二图像段的第一像素点的数量小于第一阈值，则得到第一检测结果，第一检测结果为无人机当前位置的前方存在障碍物。

S232：若第二图像段的第一像素点的数量大于第一阈值，和，第一图像段的第一像素点的数量小于第二阈值，和，第一图像段的第一像素点小于第三图像段的第一像素点的数量，则得到第二检测结果，第二检测结果为无人机当前位置的左前方区域比右前方区域开阔。

S233：若第二图像段的第一像素点的数量大于第一阈值，和，第三图像段的第一像素点的数量小于第二阈值，和，且第三图像段的第一像素点小于第一图像段的第一像素点的数量，则得到第三检测结果，第三检测结果为无人机当前位置的左前方区域比右前方区域开阔。

S234：若第一图像段的第一像素点的数量大于第一阈值，和，第四图像段的第一像素点的数量小于第二阈值，和，第四图像段的第一像素点的数量小于第五图像段，和，无人机的飞行高度大于预设层高时，则得到第四检测结果，第四检测结果为无人机前进方向的上方有障碍物。

一些实施例中，第一阈值为1000，第二阈值为500。

S30：若存在障碍物，根据第一速度向量和图像帧获取第二速度向量。

一些实施例中，若有障碍物则将障碍物的检测结果发送给智能底座，智能底座根据检测结果改变第二速度向量，并将改变后的第二速度向量发送给室内微型无人机，以使得无人机在移动时避开障碍物。

一些实施例中，第一速度向量和第二速度向量均为三维向量，可表示为(x,y,z),x、y、z分别对应三维坐标轴上的值，其中，x用于表征无人机向后移动和向前移动的速度向量，正值为向前移动，负值为向后移动；y用于表征无人机向左移动和向右移动的速度向量，正值为向左移动，负值为向右移动；z用于表征无人机向上移动和向下移动的速度向量，正值为向上移动，负值为向下移动。

S40：控制无人机执行第二速度向量，以使得无人机在移动时避开障碍物。

一些实施例中，控制无人机执行第二速度向量，以使得无人机在移动时避开障碍物，如图5所示，包括：

S41：执行根据第一检测结果改变的第二速度向量，使得无人机向上移动以避开障碍物。

S42：执行根据第二检测结果改变的第二速度向量，使得无人机向左移动以避开障碍物。

S43：执行根据第三检测结果改变的第二速度向量，使得无人机向右移动以避开障碍物。

S44：执行根据第四检测结果改变的第二速度向量，使得无人机向下移动以避开障碍物。

应用时，为室内微型无人机设置一个室内地图，地图上的任一位置由二维的坐标点表示，该无人机根据室内数字地图和陀螺仪等传感器的实时数据，按照预设的第一速度向量严格地在室内地图范围内活动，当检测到有障碍物时，改变第一速度向量使得无人机避开障碍物，比如，预设第二速度向量的x＝5,当左右发现障碍物时第二速度向量的y＝2/-2，上下发现障碍物时第二速度向量的z＝1/-1，前方发现障碍物时第二速度向量的x＝-1。

本发明提供的方法中仅依靠一个图像采集设备实现无人机的视觉避障，降低了部署门槛，同时节省了用户的成本；采用的障碍物检测方式基于实时图像帧的灰度来检测障碍物，使得障碍物的检测处理时间短、效率高，更好地实现了在室内复杂环境下的无人机视觉避障。

一些实施例中，本发明提供的无人机视觉避障方法还包括：

S50：若无人机在飞行过程中与任何障碍物发生碰撞，则停止移动。

S60：基于碰撞发生前的图像帧对所述第一速度向量进行修正，控制所述无人机以修正后的所述第一速度向量移动，使得所述无人机移动到根据所述碰撞发生前的图像帧检测不到障碍物的区域。

一些实施例中，如图6所示，修正第一速度向量的方法，包括：

S61：采用障碍物检测方式对碰撞发生前的图像帧进行障碍物检测，以确定在无人机的移动方向上是否存在障碍物。

S62：根据图像帧修正无人机的第一速度向量。

根据图像帧修正无人机的第一速度向量，包括：若检测出障碍物，则将第一速度向量中对应于障碍物方位的维度的值设置为相反方向的值，直至无人机实时采集的图像帧不再被判断出障碍物。

S70：若无人机未到达预设的第一目标航路点，则执行第三速度向量使得所述无人机移动到第二目标航路点，所述第二目标航路点为从预设的飞行轨迹中选取的一个新的航路点，第三速度向量为根据无人机的当前位置和第二目标航路点的位置预设的速度向量。

通过S50-S70的方法，可在室内无人机的飞行过程中自适应的调整飞行轨迹，使得无人机在执行巡检任务时更加地顺畅。

如图7所示，本发明另一实施例中提供一种无人机避障系统，包括：智能底座100、无人机本体200、安装在无人机本体200上的图像采集设备300、主控设备400和图像处理设备500，图像采集设备300用于当无人机以第一速度向量沿预设的飞行轨迹移动时,实时采集无人机移动方向上的图像帧，并根据图像帧进行障碍物检测；智能底座100用于向主控设备400发送控制指令；主控设备400用于接收智能底座100发送的控制指令以控制无人机本体200的飞行，和，无人机本体200与智能底座100的通信；图像处理设备500用于执行前述的方法。

一些实施例中，无人机为室内微型无人机，其平台构型为多旋翼，外加光流传感器，以达到悬停的功能，主控设备包括三轴陀螺仪、三轴加速度计、三轴磁力计、气压计、通信模块和飞行控制软件，图像处理设备安装在室内微型无人机的正面，其采用障碍物检测方式对图像帧进行障碍物检测，以确定在室内微型无人机的移动方向上是否存在障碍物。

一些实施例中，室内微型无人机接收指令起飞到特定高度H，并等待智能底座100的命令开始任务，将飞行轨迹表示为多个航路点的二维坐标点，随后，智能底座100通过使用室内数字地图向主控设备400发送第一目标航路点，收到命令后，室内微型开始以预设的第一速度向量移动到第一目标航路点，同时智能底座100测量无人机当前位置和第一目标航路点之间的距离以判断是否到达第一目标航路点，在此过程中，单个的图像采集设备300按预设的频率采集图像帧并发送到机载的图像处理设备500，如图8所示，图像处理设备500将图像帧进行处理后得到边缘检测图，再将边缘检测图进行分割得到第一图像段、第二图像段、第三图像段、第四图像段和第五图像段，根据图像段的第一像素点的数量进行障碍物检测，以确定在室内微型的移动方向上是否存在障碍物，若存在障碍物图像处理设备500将检测结果发送给智能底座100，智能底座100改变第二速度向量并将其发送至主控设备400，主控设备400控制室内微型以改变的第二速度向量进行飞行，使得室内微型在移动时避开障碍物，这使得无室内微型使用基于速度的运动，而不是使用基于位置的运动，并且该系统无需依赖GPS装置，根据机载陀螺仪等传感器测量的实时速度、加速度、位置、方向等数据确定无人机在室内数字地图中的位置，以进一步降低成本。

一些实施例中，当无人机与任何障碍物发生碰撞时，立即停止移动并保存碰撞位置的坐标，在下一次进行同一空间的巡检飞行轨迹规划时可进行轨迹调整以避开此碰撞位置。

一种电子设备，如图9所示，包括：存储器600、处理器700及存储在存储器上并可在处理器700上运行的程序，处理器700执行程序时实现如前述的方法。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (7)

1.一种无人机视觉避障方法,其特征在于，包括：

当无人机以第一速度向量沿预设的飞行轨迹移动时,通过所述无人机的单个图像采集设备采集无人机移动方向上的图像帧；

采用障碍物检测方式对所述图像帧进行障碍物检测，以确定在无人机的移动方向上是否存在障碍物；

若存在所述障碍物，根据所述第一速度向量和所述图像帧获取第二速度向量；

控制所述无人机执行所述第二速度向量，以使得所述无人机在移动时避开所述障碍物；

所述采用障碍物检测方式对所述图像帧进行障碍物检测，包括：

对所述图像帧进行图像处理，以得到五个图像段；

分别计算出每个所述图像段中的第一像素点数量，所述第一像素点为灰度值大于250的像素点；

根据所述图像段的第一像素点的数量进行障碍物检测，以确定在无人机的移动方向上是否存在障碍物；

所述对所述图像帧进行图像处理，以得到五个图像段，包括：

将所述图像帧进行灰度转换，得到第一灰度图像；

对所述第一灰度图像进行模糊处理，得到第二灰度图像；

对所述第二灰度图像进行边缘检测处理，得到边缘检测图；

将所述边缘检测图进行分割，得到第一图像段、第二图像段、第三图像段、第四图像段和第五图像段；

所述根据所述图像段的第一像素点的数量进行障碍物检测，以确定在无人机的移动方向上是否存在障碍物，包括：

若第二图像段的所述第一像素点的数量小于第一阈值，则得到第一检测结果，所述第一检测结果为所述无人机当前位置的前方存在障碍物；

若所述第二图像段的第一像素点的数量大于等于第一阈值，和，所述第一图像段的第一像素点的数量小于第二阈值，和，所述第一图像段的第一像素点小于所述第三图像段的第一像素点的数量，则得到第二检测结果，所述第二检测结果为所述无人机当前位置的左前方区域比右前方区域开阔；

若所述第二图像段的第一像素点的数量大于第一阈值，和，所述第三图像段的第一像素点的数量小于第二阈值，和，且所述第三图像段的第一像素点小于所述第一图像段的第一像素点的数量，则得到第三检测结果，所述第三检测结果为所述无人机当前位置的左前方区域比右前方区域开阔；

若所述第一图像段的第一像素点的数量大于第一阈值，和，第四图像段的第一像素点的数量小于第二阈值，和，第四图像段的第一像素点的数量小于第五图像段，和，所述无人机的飞行高度大于预设层高时，则得到第四检测结果，所述第四检测结果为所述无人机前进方向的上方有障碍物。

2.如权利要求1所述的方法，其特征在于，所述控制所述无人机执行所述第二速度向量，以使得所述无人机在移动时避开所述障碍物，包括：

执行根据所述第一检测结果改变的所述第二速度向量，使得所述无人机向上移动以避开所述障碍物；

执行根据所述第二检测结果改变所述第二速度向量，使得所述无人机向左移动以避开所述障碍物；

执行根据所述第三检测结果改变所述第二速度向量，使得所述无人机向右移动以避开所述障碍物；

执行根据所述第四检测结果改变所述第二速度向量，使得所述无人机向下移动以避开所述障碍物。

3.如权利要求2所述的方法，其特征在于，还包括：

若所述无人机在飞行过程中与任何障碍物发生碰撞，则停止移动；

基于碰撞发生前的图像帧对所述第一速度向量进行修正，控制所述无人机以修正后的所述第一速度向量移动，使得所述无人机移动到根据所述碰撞发生前的图像帧检测不到障碍物的区域；

若所述无人机未到达所述预设的第一目标航路点，则执行第三速度向量使得所述无人机移动到第二目标航路点，所述第二目标航路点为从预设的飞行轨迹中选取的一个新的航路点；其中，

所述第三速度向量为根据无人机的当前位置和第二目标航路点的位置预设的速度向量。

4.如权利要求3所述的方法，其特征在于，所述修正所述第一速度向量的方法，包括：

采用所述障碍物检测方式对碰撞发生前的图像帧进行障碍物检测，以确定在无人机的移动方向上是否存在障碍物；

根据所述图像帧修正所述无人机的第一速度向量。

5.如权利要求4所述的方法，其特征在于，所述根据所述图像帧修正所述无人机的第一速度向量，包括：

若检测出障碍物，则将所述第一速度向量中对应于所述障碍物方位的维度的值设置为相反方向的值，直至所述无人机实时采集的图像帧不再被判断出障碍物。

6.一种无人机视觉避障系统，其特征在于，包括：智能底座、无人机本体、安装在所述无人机本体上的图像采集设备、主控设备和图像处理设备；

所述图像采集设备用于当无人机以第一速度向量沿预设的飞行轨迹移动时,实时采集无人机移动方向上的图像帧，并根据所述图像帧进行障碍物检测；

所述智能底座用于向所述主控设备发送控制指令；

所述主控设备用于接收所述智能底座发送的所述控制指令以控制所述无人机本体的飞行，和，所述无人机本体与所述智能底座的通信；

所述图像处理设备用于执行权利要求1-5任一项所述的方法。

7.一种电子设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如权利要求1-5任一项所述的方法。