CN114115349B - 双目辅助避障方法、装置、无人机及存储介质 - Google Patents

Abstract

本发明实施例公开了一种双目辅助避障方法、装置、无人机及存储介质，所述方法包括：通过所述双目测距模块获取所述无人机前方区域图像和下方区域图像；解析所述前方区域图像的第一纹理值和所述下方区域图像的第二纹理值，并分别确定所述第一纹理值和第二纹理值是否可信；当所述第一纹理值可信时，通过前方双目测距模块测得与所述障碍物的可信距离；当所述第一纹理值不可信而第二纹理值可信时，确定上一个可信距离的第一时间点，根据所述第一时间点所对应的可信距离、所述第一时间点与当前第一纹理值的时间点之间的时间差，以及所述无人机当前的飞行速度得到新的可信距离。使得在前方图像纹理值不可信时也可以进行测距。

Description

双目辅助避障方法、装置、无人机及存储介质

技术领域

本发明涉及无人机避障领域，尤其涉及一种双目辅助避障方法、装置、无人机及存储介质。

背景技术

目前用双目测距模块来做避障比较成熟的方案，大都采用两个双目模块或者三个双目模块，两个双目模块的避障方案是在无人机机头和机腹下方各装一个双目测距模块，前方双目测距模块用来探测前方的距离，进而根据深度进行障碍规避，机腹下方的双目模块是用来探测飞机飞行高度，用以飞机下方的避障和飞行高度的控制。当前已经出现的用双目测距模块来避障的，虽然测试距离能满足室内外中低速飞行避障和复杂环境的避障，但由于是采用图像匹配来解算深度，遇到无纹理的环境，解算的深度就会失效，此时避障就会失败。

发明内容

有鉴于此，本发明提供一种双目辅助避障方法，应用于无人机，所述无人机包括至少两个分别安装在机头和机腹的双目测距模块，所述方法包括：

通过所述双目测距模块获取所述无人机前方区域图像和下方区域图像；

解析所述前方区域图像的第一纹理值和所述下方区域图像的第二纹理值，并分别确定所述第一纹理值和第二纹理值是否可信；

当所述第一纹理值可信时，通过前方双目测距模块测得与障碍物的可信距离；

当所述第一纹理值不可信而第二纹理值可信时，确定上一个可信距离的第一时间点，根据所述第一时间点所对应的可信距离、所述第一时间点与当前第一纹理值的时间点之间的时间差，以及所述无人机当前的飞行速度得到新的可信距离。

进一步的，当所述第一纹理值不可信而第二纹理值可信时，所述无人机当前的飞行速度通过所述无人机下方图像的光流速度计算得到；

当所述第二纹理值不可信而所述第一纹理值可信时，所述无人机当前的升降速度通过所述无人机前方图像的光流速度计算得到。

进一步的，所述无人机的飞行速度计算公式为：

式中h为所述无人机高度，fl为所述双目测距模块中的摄像头的焦距，flow为所述光流速度，pix_size为所述摄像头的像素大小，fps为帧率，v为所述无人机的飞行速度。

进一步的，所述新的可信距离计算公式为：

di＝di-1+v(ti-ti-1)

式中d_i为所述新的可信距离，d_i-1为所述第一时间点所对应的可信距离，v为所述飞行速度，v(t_i-t_i-1)为所述当前时间点t_i到所述第一时间点t_i-1累计的飞行距离。

进一步的，还包括：

若所述第二纹理值不可信，而所述第一纹理值可信，确定上一个可信的第二纹理值的第二时间点，根据所述第二时间点所对应的可信高度、所述第二时间点与当前第二纹理值的时间点之间的时间差，以及所述无人机当前升降速度得到新的可信高度。

进一步的，所述分别确定所述第一纹理值和第二纹理值是否可信包括：

将所述第一纹理值和第二纹理值分别和预设的可信阈值进行比较，若所述第一纹理值大于所述可信阈值，则为可信纹理值，若所述第一纹理值小于或等于所述可信阈值，则为不可信；

若所述第二纹理值大于所述可信阈值，则为可信纹理值，若所述第二纹理值小于或等于所述可信阈值，则为不可信。

进一步的，所述第一纹理值和第二纹理值都不可信时，所述无人机降落。

进一步的，本申请还提供一种双目辅助避障装置，应用于带有双目测距模块的无人机，所述无人机包括至少两个分别安装在机头和机腹的双目测距模块，所述装置包括：

采集模块，用于通过所述双目测距模块获取所述无人机前方区域图像和下方区域图像；

解析模块，用于解析所述前方区域图像的第一纹理值和所述下方区域图像的第二纹理值，并分别确定所述第一纹理值和第二纹理值是否可信；

测距模块，用于当所述第一纹理值可信时，通过前方双目测距模块测得与所述障碍物的可信距离；

辅助测距模块，用于当所述第一纹理值不可信而第二纹理值可信时，确定上一个可信的第一纹理值的第一时间点，根据所述第一时间点所对应的可信距离、所述第一时间点与当前第一纹理值的时间点之间的时间差，以及所述无人机当前的飞行速度得到新的可信距离。

进一步的，本申请还提供一种无人机，包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序在所述处理器上运行时执行上述实施例中任一所述的双目辅助避障方法。

进一步的，本申请还提供一种可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行上述实施例中任一所述的双目辅助避障方法。

本发明通过提供一种双目辅助避障方法，应用于无人机，所述无人机包括至少两个分别安装在机头和机腹的双目测距模块，所述方法包括：通过所述双目测距模块获取所述无人机前方区域图像和下方区域图像；解析所述前方区域图像的第一纹理值和所述下方区域图像的第二纹理值，并分别确定所述第一纹理值和第二纹理值是否可信；当所述第一纹理值可信时，通过前方双目测距模块测得与障碍物的可信距离；当所述第一纹理值不可信而第二纹理值可信时，确定上一个可信距离的第一时间点，根据所述第一时间点所对应的可信距离、所述第一时间点与当前第一纹理值的时间点之间的时间差，以及所述无人机当前的飞行速度得到新的可信距离。使得无人机在前方的图像纹理不可信时，也可以继续计算得到无人机和站感悟的距离。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对本发明保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。

图1示出了本申请实施例的双目辅助避障方法的流程示意图；

图2示出了本申请实施例的双目辅助避障方法的测距过程示意图；

图3示出了本申请实施例的无人机速度计算原理示意图；

图4示出了本申请实施例的双目辅助避障方法装置示意图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

在下文中，可在本发明的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。

此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本发明的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本发明的各种实施例中被清楚地限定。

实施例1

本实施例提供了一种双目辅助避障方法，如图1的流程图所示。

步骤S100，通过所述双目测距模块获取所述无人机前方区域图像和下方区域图像；

本实施例中，无人机会在机头设置一个双目测距模块，在机身下方设置一个双目测距模块，以此来保障对前方行进路线障碍物的测距，以及自身飞行高度的把控，保证无人机的安全，同样无人机具有四个方向，所以在前后左右四个方向上有会存在双目测距模块，在本实施例中，无人机朝着这四个方向中的某一个方向进行飞行时，该方向上的双目测距模块都称为前方测距模块，该模块所拍摄的图像就是前方区域图像，自然，位于机腹下方的双目测距模块拍摄到的图像为下方区域图像。

步骤S200，解析所述前方区域图像的第一纹理值和所述下方区域图像的第二纹理值，并分别确定所述第一纹理值和第二纹理值是否可信；

图像会有对应的纹理值，纹理值标识得失目标区域内向量像素插值的绝对值之和，在一定范围内，该纹理值越弱，距离越小，距离越大，纹理值就越强，因此本实施例中为该纹理值设定了一个可信阈值，以此来判断第一纹理值和第二纹理值是否可信。

具体而言，第一纹理值为x，可信阈值为y，当x>y时，则认为第一纹理值可信，若x<＝y时，则认为第一纹理值不可信，同样的第二纹理值也是这么判断。

当纹理值不可信时，双目测距模块所测量得到的距离就会不准，此时再使用双目测距模块得到的距离对于无人机来讲会很危险。

步骤S300，当所述第一纹理值可信时，通过前方双目测距模块测得与障碍物的可信距离；

当第一纹理值可信时，意味着对于双目测距模块来讲，前方与障碍物之间的距离是可以确实的测量得到的，且该测量得到的距离是一个可信距离。

步骤S400，当所述第一纹理值不可信而第二纹理值可信时，确定上一个可信距离的第一时间点，根据所述第一时间点所对应的可信距离、所述第一时间点与当前第一纹理值的时间点之间的时间差，以及所述无人机当前的飞行速度得到新的可信距离。

而当第一纹理值不可信，但是第二纹理值可信时，通过前方的双目测距模块所测量的距离就是不可信的，因此会影响无人机的避障功能，因此，在本实施例中，在这种情况下，会先找到最近的一个可信第一纹理值所对应的第一时间点，根据该时间点，可以找到所对应的可信距离d，并且根据当前时间以及无人机的速度，可以得到新的可信距离d_i。

具体的，该计算公式为：

d_i＝d_i-1+v(t_i-t_i-1) (1)

式中d_i为所述新的可信距离，d_i-1为所述第一时间点所对应的可信距离，v为所述飞行速度，v(t_i-t_i-1)为所述当前时间点t_i到所述第一时间点t_i-1累计的飞行距离。

本步骤的测距过程也可以结合图2理解，如图所示的无人机朝着左边的障碍物飞行，此时第一纹理值可信，距离为d_i-1，而在下一时刻，无人机前进了距离S，因为离障碍物更近使得第一纹理值不可信了，通过前方的双目测距模块无法准确测量得到具体的d_i，于是在最近的可信距离d_i-1的基础上，计算当前时间和该可信距离所对应的时间的时间差，以计算这段时间内无人机飞行的距离S，其中S＝v(t_i-t_i-1)，由此可以知，新的可信距离d_i可以通过上述公式1算得到。

其中，上述式子中的v是由位于机腹下方的双目测距模块得到，具体的计算公式如下：

式中h为所述无人机高度，fl为所述双目测距模块中的摄像头的焦距，flow为所述光流速度，pix_size为所述摄像头的像素大小，fps为帧率，v为所述无人机的飞行速度。

结合图3来理解上述公式2

通过小孔成像原理可知，目标从O’点移动到A’点的时候，在像平面中反映出目标像素从O点变化到A点，进而可以计算得到OA为flow个像素点。

摄像头模组的像素大小为pix_size，可以认为是个常数，摄像头模组的焦距为fl,无人机的飞行高度为h(因为第二纹理值可信，所以可通下双目测距模块解算得到)，于是，根据相似三角形原理有：

所以可以求得速度v

其中t为下双目摄像头采集连续两帧图像之间的间隔时间,和摄像头的帧率fps有关，而帧率是固定和已知的，t和fps的关系如下：

因此，联立式子3、4、5，无人机的速度可以转换为上述公式2。

根据上式的推导过程可知，本实施例中所计算得到的v为双目摄像机相邻两帧图像的速度，也就是说在公式1的时间差t_i-t_i-1也是一个固定值，该固定值由摄像机的帧率决定，因为摄像头的帧率普遍大于25帧，因此该时间就爱那个都小于40毫秒，因此可以认为在这梁旭的两帧图像之间的速度是匀速的，进而可以算出一系列连续两帧图像之间的实际位移，在这种算法下，即便无人机进行非匀速直线运动或者弧线运动，都可以计算得到前方障碍物的距离。

进一步的，当所述第二纹理值不可信，而所述第一纹理值可信，确定上一个可信的第二纹理值的第二时间点，根据所述第二时间点所对应的可信高度、所述第二时间点与当前第二纹理值的时间点之间的时间差，以及所述无人机当前升降速度得到新的可信高度。

这种情况下的计算高度方法和上述计算距离方法类似，两者方法相同，只是把前方的双目测距模块和下方双目测距模块所需要计算的数据对调即可。

进一步的，当第一纹理值和第二纹理值都不可信时，代表无法正常测距，则立刻停止飞行并降落。

本实施例的双目辅助避障方法，使得无人机在某一个双目测距模块无法正常工作时，无需因此停止工作，而可以通过计算之前的可信距离与当前行进的距离，来得到正确的可信距离，减少了无人机运行环境的要求，加强了无人机的测距功能，使得无人机可以适应更多的地形。

实施例2

进一步的，本申请还提供一种双目辅助避障装置，如图4所示，应用于无人机，所述装置包括：采集模块10，解析模块20，测距模块30和辅助测距模块40。

采集模块10，用于通过所述双目测距模块获取所述无人机前方区域图像和下方区域图像；

解析模块20，用于解析所述前方区域图像的第一纹理值和所述下方区域图像的第二纹理值，并分别确定所述第一纹理值和第二纹理值是否可信；

测距模块30，用于当所述第一纹理值可信时，通过前方双目测距模块测得与所述障碍物的可信距离；

辅助测距模块40，用于当所述第一纹理值不可信而第二纹理值可信时，确定上一个可信的第一纹理值的第一时间点，根据所述第一时间点所对应的可信距离、所述第一时间点与当前第一纹理值的时间点之间的时间差，以及所述无人机当前的飞行速度得到新的可信距离。

进一步的，本申请还提供一种无人机，包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序在所述处理器上运行时执行上述实施例中任一所述的双目辅助避障方法。

进一步的，本申请还提供一种可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行上述实施例中任一所述的双目辅助避障方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种双目辅助避障方法，其特征在于，应用于无人机，所述无人机包括至少两个分别安装在机头和机腹的双目测距模块，所述方法包括：

通过所述双目测距模块获取所述无人机前方区域图像和下方区域图像；

解析所述前方区域图像的第一纹理值和所述下方区域图像的第二纹理值，并分别确定所述第一纹理值和第二纹理值是否可信；

当所述第一纹理值可信时，通过前方双目测距模块测得与障碍物的可信距离；

当所述第一纹理值不可信而第二纹理值可信时，确定上一个可信距离的第一时间点，根据所述第一时间点所对应的可信距离、所述第一时间点与当前第一纹理值的当前时间点之间的时间差，以及所述无人机当前的飞行速度得到新的可信距离。

2.根据权利要求1所述的双目辅助避障方法，其特征在于，当所述第一纹理值不可信而第二纹理值可信时，所述无人机当前的飞行速度通过所述无人机下方图像的光流速度计算得到；

当所述第二纹理值不可信而所述第一纹理值可信时，所述无人机当前的升降速度通过所述无人机前方图像的光流速度计算得到。

3.根据权利要求2所述的双目辅助避障方法，其特征在于，所述无人机的飞行速度计算公式为：

式中h为无人机高度，fl为所述双目测距模块中的摄像头的焦距，flow为所述光流速度，pix_size为所述摄像头的像素大小，fps为帧率，v为所述无人机的飞行速度。

4.根据权利要求1所述的双目辅助避障方法，其特征在于，所述新的可信距离的计算公式为：

d_i＝d_i-1+v(t_i-t_i-1)

式中d_i为所述新的可信距离，d_i-1为所述第一时间点所对应的可信距离，v为所述飞行速度，v(t_i-t_i-1)为所述当前时间点t_i到所述第一时间点t_i-1累计的飞行距离。

5.根据权利要求1所述的双目辅助避障方法，其特征在于，还包括：

若所述第二纹理值不可信，而所述第一纹理值可信，确定上一个可信的第二纹理值的第二时间点，根据所述第二时间点所对应的可信高度、所述第二时间点与当前第二纹理值的时间点之间的时间差，以及所述无人机当前升降速度得到新的可信高度。

6.根据权利要求4所述的双目辅助避障方法，其特征在于，所述分别确定所述第一纹理值和第二纹理值是否可信包括：

将所述第一纹理值和第二纹理值分别和预设的可信阈值进行比较，若所述第一纹理值大于所述可信阈值，则为可信纹理值，若所述第一纹理值小于或等于所述可信阈值，则为不可信；

若所述第二纹理值大于所述可信阈值，则为可信纹理值，若所述第二纹理值小于或等于所述可信阈值，则为不可信。

7.根据权利要求5所述的双目辅助避障方法，其特征在于，所述第一纹理值和第二纹理值都不可信时，所述无人机降落。

8.一种双目辅助避障装置，其特征在于，应用于无人机，所述无人机包括至少两个分别安装在机头和机腹的双目测距模块，所述装置包括：

采集模块，用于通过所述双目测距模块获取所述无人机前方区域图像和下方区域图像；

解析模块，用于解析所述前方区域图像的第一纹理值和所述下方区域图像的第二纹理值，并分别确定所述第一纹理值和第二纹理值是否可信；

测距模块，用于当所述第一纹理值可信时，通过前方双目测距模块测得与障碍物的可信距离；

辅助测距模块，用于当所述第一纹理值不可信而第二纹理值可信时，确定上一个可信的第一纹理值的第一时间点，根据所述第一时间点所对应的可信距离、所述第一时间点与当前第一纹理值的时间点之间的时间差，以及所述无人机当前的飞行速度得到新的可信距离。

9.一种无人机，其特征在于，包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序在所述处理器上运行时执行权利要求1至7中任一项所述的双目辅助避障方法。

10.一种可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序在处理器上运行时执行权利要求1至7中任一项所述的双目辅助避障方法。