CN114690802A

CN114690802A - 无人机双目光流避障方法、装置、无人机及存储介质

Info

Publication number: CN114690802A
Application number: CN202210351777.7A
Authority: CN
Inventors: 涂广毅
Original assignee: Shenzhen Huiyuan Innovation Technology Co ltd
Current assignee: Shenzhen Huiyuan Innovation Technology Co ltd
Priority date: 2022-04-02
Filing date: 2022-04-02
Publication date: 2022-07-01

Abstract

本发明实施例公开了一种无人机双目光流避障方法、装置、无人机及存储介质，包括：获取光流速度，根据所述光流速度计算当前双目摄像头进行拍摄的深度中心位置，并检测所述深度中心位置是否在实际拍摄的深度图像上；若所述深度中心位置不在所述深度图像上，则向用户发出警告并降低所述无人机的飞行速度；若所述深度中心位置在所述深度图像上，则根据所述无人机的尺寸规划一个以所述深度中心位置为中心的避障区域，并解算所述避障区域的深度信息进行避障操作。使得无人机飞行方向和机头不一致时，可以及时进行限制控制，防止出现事故导致无法及时避障。

Description

无人机双目光流避障方法、装置、无人机及存储介质

技术领域

本发明涉及无人机避障领域，尤其涉及一种无人机双目光流避障方法、装置、无人机及存储介质。

背景技术

当前通过双目测距模块来实现避障功能的无人机，都是只能实现特定方向的避障，例如，无人机机头方向安装了双目测距模块的无人机，只能在无人机向正前方飞行的时候才会有避障功能，机身其它方向安装了双目模块的飞机，也只是飞机朝该方向正向飞行的时候才会有避障的功能，如果朝其它方向飞，是无法躲避障碍的，以无人机机头方向安装双目测距模块的无人机避障为例，这样的飞机只有在朝正前方飞行的时候才会有躲避障碍的功能，如果朝前偏左或者前偏右一定的角度飞行，是无法躲避障碍的，因为无法得知无人机飞行方向和机头的相对夹角，所以当飞机飞行方向和机头方向不一致的时候，就无法准确躲避障碍。

发明内容

有鉴于此，本申请提供一种无人机双目光流避障方法，包括：

获取光流速度，根据所述光流速度计算当前双目摄像头进行拍摄的深度中心位置，并检测所述深度中心位置是否在实际拍摄的深度图像上；

若所述深度中心位置不在所述深度图像上，则向用户发出警告并降低所述无人机的飞行速度；

若所述深度中心位置在所述深度图像上，则根据所述无人机的尺寸规划一个以所述深度中心位置为中心的避障区域，并解算所述避障区域的深度信息进行避障操作。

进一步的，检测所述深度中心位置是否在所述深度图像上，包括：

根据所述光流速度，计算所述无人机的飞行方向与所述双目摄像头的拍摄方向之间的夹角，将所述夹角和所述双目摄像头的视场角进行对比；

若所述夹角大于所述视场角，则确定所述深度中心位置不在所述深度图像上。

进一步的，所述向用户发出警告并降低所述无人机的飞行速度，之前还包括：

当所述深度中心位置不在所述深度图像上时，根据所述夹角确定偏转方向，将当前双目摄像头切换到所述偏转方向一侧所对应的双目摄像头进深度图像的拍摄；

在切换后，再次检测所述深度中心位置是否在当前双目摄像头拍摄的深度图像上；

若所述深度中心位置依旧不在所述深度图像上，则执行向用户发出警告并降低所述无人机的飞行速度的操作。

进一步的，所述深度中心位置的计算公式为：

式中，P(x，y)为深度中心位置，h是飞机飞行的高度，ps表示双目摄像机像素颗粒的大小，f是双目相机的焦距，o_x为所述无人机在x轴上的光流速度，o_y为所述无人机在y轴上的光流速度，γ为比例系数。

若坐标中在x轴或y轴上的取值超出了所述深度图像的坐标范围，则确定所述深度中心位置不在所述深度图像上。

进一步的，解算所述避障区域的深度信息进行避障操作包括：

计算所述避障区域的最小图像深度，当所述最小图像深度小于预设的避障距离时，则按照预设避障方法进行避障。

进一步的，本申请实施例还提供一种无人机双目光流避障装置，包括：

坐标解算模块，用于获取光流速度，根据所述光流速度计算当前双目摄像头拍摄的深度图像的深度中心位置，并判断所述深度中心位置是否在所述深度图像上；

警告模块，用于若所述深度中心位置不在所述深度图像上，则向用户发出警告，并降低所述无人机的飞行速度；

避障模块，用于若所述深度中心位置在所述深度图像上，则根据所述无人机尺寸，在所述深度中心位置处规划避障区域，解算所述避障区域的深度信息进行避障操作。

进一步的，本申请实施例还提供一种无人机，包括：流光摄像头、至少一个双目摄像头、处理器和存储器，用于实时获取流光速度；所述双目摄像头用于获取深度图像；所述存储器存储有计算机程序，所述计算机程序在所述处理器上运行时执行上述实施例中任一项所述的无人机双目光流避障方法。

进一步的，包括：所述流光摄像头设置于无人机的底部；

所述双目摄像头设置于所述无人机的头部、尾部和侧面。

进一步的，本申请实施例还提供一种可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行上述实施例中任一所述的无人机双目光流避障方法。

本发明实施例公开了一种无人机双目光流避障方法、装置、无人机及存储介质，包括：获取光流速度，根据所述光流速度计算当前双目摄像头进行拍摄的深度中心位置，并检测所述深度中心位置是否在实际拍摄的深度图像上；若所述深度中心位置不在所述深度图像上，则向用户发出警告并降低所述无人机的飞行速度；若所述深度中心位置在所述深度图像上，则根据所述无人机的尺寸和所述深度中心位置规划一个避障区域，并解算所述避障区域的深度信息进行避障。使得无人机飞行方向和机头不一致时，可以及时进行限制控制，防止在摄像头无法观测到飞行方向上的图像时无法避障，进而出现事故，提高了无人机飞行时的安全性。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对本发明保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。

图1A示出了本申请一种无人机结构示意图；

图1B示出了本申请一种无人机侧视图；

图1C示出了本申请一种无人机仰视图；

图1D示出了本申请一种无人机主视图；

图2示出了本申请一种无人机双目光流避障方法流程示意图；

图3示出了本申请光流摄像头拍摄画面坐标示意图；

图4示出了本申请深度图像的深度中心计算示意图；

图5示出了本申请一种无人机双目光流避障装置示意图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

在下文中，可在本发明的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。

此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本发明的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本发明的各种实施例中被清楚地限定。

接下来以具体实施例来解释本申请的技术方案。

实施例1

如图1A至图1D所示，本申请的无人机100上装载了至少一个双目避障摄像头200，该双目避障摄像头可以设置在无人机前后左右四个方向上，用于对这四个行进方向进行避障，同时在无人机机腹，如图1C所示的无人机底部结构，也就是无人机下方设置有光流摄像头300，该光流摄像头用于获取无人机飞行时的光流速度，进而确定无人机的飞行速度和飞行方向。

本申请的无人机可以搭载至少一个双目摄像头来进行避障，为了方便描述，本实施例以搭载了4个双目摄像头的无人机来解释本申请的避障方案。

如图2所示，本申请的无人机双目光流避障方法包括以下步骤。

步骤S100，获取光流速度，根据所述光流速度计算当前双目摄像头进行拍摄的深度中心位置，并检测所述深度中心位置是否在实际拍摄的深度图像上。

本申请光流速度可以使用LK光流算法来计算，以确定无人机当前的光流速度(o_x，o_y)，其中o_x为所述无人机在x轴上的光流速度，o_y为所述无人机在y轴上的光流速度，如图3所示，为光流摄像头拍摄画面坐标，其中，图中的前方向为当前双目摄像头所在方向，无人机的飞行方向可以是如图3中的向量OA一样斜着飞，也可以是沿着Y或者X轴直线飞行，其中y轴为无人机的前后方向，x轴为无人机的左右方向，该前后方向以当前双目摄像头的拍摄方向为准，左右方向也是如此，在该坐标系中，无人机向前飞的y为负值，向后飞的y为正值，向右飞的x为正值，向左飞的x为负值，而远端O则在整个图像的正中心。

例如，向量OA代表当前无人机的飞行方向和飞行速度，通过正交分解，可以将其分解到X轴和Y轴上，得到光流速度(o_x，o_y)，当无人机向前或者以一定角度斜着飞行时，无人机本身的机身会有一定倾斜，如单纯的向前飞的话，机身会向前倾斜，向右前方飞的话，机身会向右前方倾斜，这种倾斜会带动双目摄像头的拍摄方向变化，导致双目摄像头所拍摄的画面中心并不是无人机飞行方向的画面，即不是所需要进行避障检测的深度中心。

对此，需要重新计算所拍摄的深度图像的深度中心位置，该深度中心位置的计算公式如下：

式中，P(x，y)为深度中心位置，h是飞机飞行的高度，ps表示双目摄像机像素颗粒的大小，f是双目相机的焦距，γ为比例系数。其中，P(x，y)是以深度图像中心为原点的直角坐标系下的坐标点。该坐标系如图4所示，Y轴以深度图像的上下方向为轴，上方为正，X轴为深度图像的作为方向为轴，以右方向为正。

根据上式计算，当无人机单纯朝向前方飞行时，o_x为0，o_y就是该无人机的飞行速度，此时计算得到的P(x，y)为(0，γ*o_y)，该坐标就是调整后的新的深度中心位置所在，显然，该坐标是位于深度图像正中心的上方。若是无人机的飞行方向为右前方或者左前方，则相应的深度中心位置会在深度图像的右上方或者左上方。

步骤S200，若所述深度中心位置不在所述深度图像上，则向用户发出警告并降低所述无人机的飞行速度。

每个双目摄像头都有自己的视场角，位于视场角外的图像是双目摄像头无法拍摄到的，也就是盲点，因此根据光流速度可以得到飞机的飞行方向，根据该飞行方向和当前双目摄像头夹角和双目摄像头的视场角进行比较，若是夹角大于视场角，则代表深度中心位置不可能落在当前摄像头所拍摄的画面上，无法提供有效的避障信息，无法进行有效的避障操作。

当判断深度中心不在深度图像上时，无人机可以切换当前的双目摄像头，通过别的方向的摄像头来进行避障，当所述深度中心位置不在所述深度图像上时，根据所述夹角确定偏转方向，将当前双目摄像头切换到所述偏转方向一侧所对应的双目摄像头进深度图像的拍摄。

比如当前无人机朝着右前方50度的方向飞行，而双目摄像机的视场角只有45度，显然该夹角大于了当前双目摄像机的视场角，当前双目摄像机无法有效工作，该夹角是无人机的右前方，偏转方向是右方，因此可以将当前双目摄像机切换到右边的双目摄像机，以右边的双目摄像机为前方来重新进行深度图像的拍摄和判断。当切换到右边的双目摄像机时，以该双目摄像机所在方向为新的前方，则此刻的无人机飞行方向会变成向左前方40度方向飞行，夹角小于视场角，则深度中心位置会存在于当前双目摄像机所拍摄的深度图像上。

若是在切换后，再次检测所述深度中心位置是否在当前双目摄像头拍摄的深度图像上；若是切换后，新的深度中心位置不在深度图像上，则不再进行切换，直接执行后续的警告等操作。

若无人机搭载的双目摄像头不足4个，比如只有前后两个，则不会进行上述双目摄像头切换的操作。

此外，得到深度中心位置后，可以检测该深度中心位置是否在当前双目摄像机所拍摄的深度图像上，对于拍摄得到的深度图像，有自己的图像大小，由此可以获得深度图像的坐标系，进而可以判断该深度中心位置P(x，y)是否存在该深度图像上，若深度中心位置坐标在x轴或y轴上的取值超出了所述深度图像的坐标范围，则确定所述深度中心位置不在所述深度图像上。

当深度中心不在深度图像上时，无人机无法自动避障，继续飞行有危险，因此无人机会将飞行速度减缓，并且还可以向用户发出警告。

警告方式可以是向无人机的控制器发出警报铃声、语音提示、屏幕上警告提示和指示灯闪烁等方式，告诉控制无人机的操控者当前无人机无法正常使用避障功能。

步骤S300，若所述深度中心位置在所述深度图像上，则以所述深度中心位置为中心，根据所述无人机的尺寸规划一个避障区域，并解算所述避障区域的深度信息进行避障操作。

若深度中心位置在深度图像上，如图4所示的B点，则以B点为中心，规划一个M*N的避障区域，该区域用于进行无人机的避障操作。

具体而言，该避障区域的M和N与无人机的尺寸相关，无人机越大，则M和N就越大，反之则越小，规划完该区域后，解算该区域内所有像素的深度信息，并获取这些蒜素中最小深度的图像，当最小图像深度小于预设的避障距离时，则按照预设避障方法进行避障。

图像深度代表了无人机和障碍物之间的距离，深度越大则越远，深度越小则越近，因此判断到避障区域内最小的图像深度，则代表探测到了无人机和最接近的障碍物的距离以及位置，当该距离小于预设的避障距离时，则代表无人机需要开始避障了，具体的避障方法可以由程序设定或者认为设定，本申请不对此做出限制。

实施例2

本申请实施例还提供一种无人机双目光流避障装置，如图5所示，包括：

坐标解算模块10，用于获取光流速度，根据所述光流速度计算当前双目摄像头拍摄的深度图像的深度中心位置，并判断所述深度中心位置是否在所述深度图像上。

警告模块20，用于若所述深度中心位置不在所述深度图像上，则向用户发出警告，并降低所述无人机的飞行速度。

避障模块30，用于若所述深度中心位置在所述深度图像上，则根据所述无人机尺寸，在所述深度中心位置处规划避障区域，解算所述避障区域的深度信息进行避障操作。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

Claims

1.一种无人机双目光流避障方法，其特征在于，包括：

2.根据权利要求1所述的无人机双目光流避障方法，其特征在于，检测所述深度中心位置是否在所述深度图像上，包括：

3.根据权利要求2所述的无人机双目光流避障方法，其特征在于，所述向用户发出警告并降低所述无人机的飞行速度，之前还包括：

4.根据权利要求1所述的无人机双目光流避障方法，其特征在于，所述深度中心位置的计算公式为：

式中，P(x，y)表示所述深度中心位置的坐标，h是飞机飞行的高度，ps表示双目摄像机像素颗粒的大小，f是双目相机的焦距，o_x为所述无人机在x轴上的光流速度，o_y为所述无人机在y轴上的光流速度，γ为比例系数。

5.根据权利要求4所述的无人机双目光流避障方法，其特征在于，检测所述深度中心位置是否在所述深度图像上，包括：

若所述深度中心位置的坐标中在x轴或y轴上的取值超出了所述深度图像的坐标范围，则确定所述深度中心位置不在所述深度图像上。

6.根据权利要求1所述的无人机双目光流避障方法，其特征在于，解算所述避障区域的深度信息进行避障操作包括：

7.一种无人机双目光流避障装置，其特征在于，包括：

8.一种无人机，其特征在于，包括：流光摄像头、至少一个双目摄像头、处理器和存储器，用于实时获取流光速度；所述双目摄像头用于获取深度图像；所述存储器存储有计算机程序，所述计算机程序在所述处理器上运行时执行权利要求1至6中任一项所述的无人机双目光流避障方法。

9.根据权利要求8所述的无人机，其特征在于，包括：

所述流光摄像头设置于无人机的底部；

所述双目摄像头设置于所述无人机的头部、尾部和侧面。

10.一种可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序在处理器上运行时执行权利要求1至6中任一项所述的无人机双目光流避障方法。