CN110007313A - 基于无人机的障碍物检测方法及装置 - Google Patents

基于无人机的障碍物检测方法及装置 Download PDF

Info

Publication number
CN110007313A
CN110007313A CN201910179024.0A CN201910179024A CN110007313A CN 110007313 A CN110007313 A CN 110007313A CN 201910179024 A CN201910179024 A CN 201910179024A CN 110007313 A CN110007313 A CN 110007313A
Authority
CN
China
Prior art keywords
barrier
light stream
unmanned plane
position data
optical flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910179024.0A
Other languages
English (en)
Inventor
周翊民
郝婧漩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201910179024.0A priority Critical patent/CN110007313A/zh
Publication of CN110007313A publication Critical patent/CN110007313A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/933—Lidar systems specially adapted for specific applications for anti-collision purposes of aircraft or spacecraft

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明实施例公开了一种基于无人机的障碍物检测方法及装置，该方法包括：基于无人机的图像采集装置采集实时视觉图像信息；根据光流算法计算所述视觉图像信息的光流，将所述光流与预设阈值进行比较以获取障碍物的第一位置数据；基于无人机的激光雷达检测所述障碍物的距离值，并根据所述距离值计算得到所述障碍物的第二位置数据；将所述第一位置数据与第二位置数据及进行数据拟合，以获得所述障碍物的实际位置数据。通过上述方法，能够准确地判断障碍物的距离，根据障碍物的位置数据做出相应的避障动作，能够取得很好的避障效果并且提高了运算速度。

Description

基于无人机的障碍物检测方法及装置
技术领域
本发明涉及无人机技术领域，尤其涉及一种基于无人机的障碍物检测方法及装置。
背景技术
随着无人机的推广与普及，各个领域对无人机的需求都在迅速增长。而无人机的避障技术一直都是大家关注的焦点，也是评价无人机安全性能的重要指标。
常用的避障技术主要有激光雷达避障、超声波传感器避障和视觉传感器避障等，无人机由于受限于体积与载重，采用视觉传感器来实现避障已成为当前微小型无人机环境感知及避障的主流研究方向。
传统的视觉避障方法采用较多的是基于双目视觉的避障方法，双目视觉信息能够比较方便的计算出无人机与障碍物之间的相对距离，从而根据距离来感知和规避障碍物。但这一方法也存在明显的缺陷，由于双目摄像头之间需要维持一定的距离，在一定程度上会影响无人机的体积和布局。此外，无人机在运动过程中会遇到静态障碍物和动态障碍物，而对于运动障碍物，传统的视觉避障方法不能做出精准的判断。
发明内容
本发明实施例提供一种基于无人机的障碍物检测方法及装置，能够提升对障碍物距离判断的准确性。
一种基于无人机的障碍物检测方法，包括：
基于无人机的图像采集装置采集实时视觉图像信息；
根据光流算法计算所述视觉图像信息的光流，将所述光流与预设阈值进行比较以获取障碍物的第一位置数据；
基于无人机的激光雷达检测所述障碍物的距离值，并根据所述距离值计算得到所述障碍物的第二位置数据；
将所述第一位置数据与第二位置数据及进行数据拟合，以获得所述障碍物的实际位置数据。
可选的，在其中一个实施例中，所述根据光流算法计算所述视觉图像信息的光流，将所述光流与预设阈值进行比较以获取障碍物的第一位置数据，包括：
根据金字塔LK光流算法计算所述视觉图像信息的LK光流；所述LK光流可以分解为径向光流与切向光流；
基于所述LK光流构建光流模型，根据连续两帧图像的光流模型计算所述无人机沿切向移动产生的切向光流；
根据所述LK光流与切向光流的向量差计算无人机沿径向移动产生的径向光流，比较所述径向光流与预设阈值的大小以获取障碍物的第一位置数据。
可选的，在其中一个实施例中，所述基于所述LK光流构建光流模型，根据连续两帧图像的光流模型计算所述无人机沿切向移动产生的切向光流，包括：
获取无人机飞行过程中采集的连续两帧图像；
基于径向光流与图像的中点共线，根据空间中的物点在两帧图像上的坐标计算出切向光流。
可选的，在其中一个实施例中，所述比较所述径向光流与预设阈值的大小以获取障碍物的第一位置数据，包括：
根据障碍物对无人机飞行产生影响的距离范围确定所述预设阈值；
当所述径向光流大于所述预设阈值时，则障碍物处于对无人机飞行产生影响的距离范围内；
当所述径向光流小于或等于所述预设阈值时，则障碍物处于对无人机飞行产生影响的距离范围之外。
可选的，在其中一个实施例中，所述基于无人机上的激光雷达检测所述障碍物的距离值，并根据所述距离值计算得到所述障碍物的第二位置数据，包括：
基于无人机的激光雷达向障碍物发射激光光束，并接收从所述障碍物反射回的激光光束，以测得无人机与所述障碍物的距离值；
根据不同时刻测得的距离值计算得到所述障碍物的运动速度及角度，进而获得所述障碍物的第二位置数据。
可选的，在其中一个实施例中，在所述基于无人机的图像采集装置采集实时视觉图像信息之后，所述方法还包括：
根据与地面参照物的相对运动判断障碍物是静态障碍物还是动态障碍物；
当所述障碍物为静态障碍物时，通过激光雷达测量所述障碍物的距离、速度、角度和尺寸；
当所述障碍物为动态障碍物时，通过光流算法和激光雷达共同检测所述障碍物的光流大小、距离、速度、角度和尺寸。
可选的，在其中一个实施例中，所述将所述第一位置数据与第二位置数据及进行数据拟合，以获得所述障碍物的实际位置数据，包括：
确定所述第一位置数据所占的第一权重，以及所述第二位置数据所占的第二权重；
根据所述第一权重与第一位置数据的乘积加上第二权重与第二位置数据的乘积，得到所述障碍物的实际位置数据。
一种基于无人机的障碍物检测装置，包括：
图像采集模块，用于基于无人机的图像采集装置采集实时视觉图像信息；
光流计算模块，用于根据光流算法计算所述视觉图像信息的光流，将所述光流与预设阈值进行比较以获取障碍物的第一位置数据；
激光雷达检测模块，用于基于无人机的激光雷达检测所述障碍物的距离值，并根据所述距离值计算得到所述障碍物的第二位置数据；
实际位置计算模块，用于将所述第一位置数据与第二位置数据及进行数据拟合，以获得所述障碍物的实际位置数据。
一种无人机，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述的方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。
实施本发明实施例，将具有如下有益效果：
上述基于无人机的障碍物检测方法及装置，通过基于无人机的图像采集装置采集实时视觉图像信息，根据光流算法计算所述视觉图像信息的光流，将所述光流与预设阈值进行比较以获取障碍物的第一位置数据，基于无人机的激光雷达检测所述障碍物的距离值，并根据所述距离值计算得到所述障碍物的第二位置数据，将所述第一位置数据与第二位置数据及进行数据拟合，以获得所述障碍物的实际位置数据。通过上述方法，能够准确地判断障碍物的距离，根据障碍物的位置数据做出相应的避障动作，能够取得很好的避障效果并且提高了运算速度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
其中：
图1为一个实施例中基于无人机的障碍物检测方法的流程图；
图2为另一个实施例中基于无人机的障碍物检测方法的流程图；
图3为另一个实施例中基于无人机的障碍物检测方法的流程图；
图4为一个实施例中金字塔LK光流算法的原理示意图；
图5为一个实施例中两帧图像的成像模型示意图；
图6为一个实施例中切向光流的成像模型示意图；
图7为一个实施例中光流的向量示意图；
图8为一个实施例中障碍物的距离区域信息示意图；
图9为一个实施例中基于无人机的障碍物检测装置的结构框图；
图10为一个实施例中无人机的内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请。可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一应用程序称为第二应用程序，且类似地，可将第二进应用程序为第一应用程序。第一应用程序和第二应用程序两者都是应用程序，但其不是同一应用程序。
图1为一个实施例中基于无人机的障碍物检测方法的流程图，本实施例中的基于无人机的障碍物检测方法，通过结合光流算法与激光雷达共同进行障碍物的检测，能够提升对障碍物距离判断的准确性。如图1所示，基于无人机的障碍物检测方法包括以下步骤102～步骤108：
步骤102：基于无人机的图像采集装置采集实时视觉图像信息。
其中，无人机上搭载有图像采集装置，图像采集装置可以是摄像头，例如单目摄像头或双目摄像头。具体的，无人机在飞行过程中，可以通过无人机的摄像头采集实时的视觉图像信息，根据该视觉图像信息可以得到某些特定运动的变换或某类特定特征点的变换规律。例如，可以结合光流传感器和图像处理技术，得到障碍物的位置、姿态、速度等相关数据。
步骤104：根据光流算法计算所述视觉图像信息的光流，将所述光流与预设阈值进行比较以获取障碍物的第一位置数据。
其中，光流算法指的是对视域中的物体运动进行检测的算法，用于描述相对于观察者的运动所造成的观测目标、表面或边缘的运动。光流可以表示连续两帧图像上像素点的运动量。本实施例根据光流算法计算所述视觉图像信息的光流，具体可以采用金字塔LK(Lucas-Kanade)光流算法计算该视觉图像信息的光流。可选的，还可以采用LK光流法、HS(Horn-Schunck)光流法等进行光流的计算，或结合多个光流算法进行光流的计算，本实施例对此不进行限定。
具体的，根据环境条件或作业需求，无人机在飞行过程中不仅有正前方向的移动，还有上下左右的移动，当无人机在飞行过程中的切向移动与径向移动都不为零时，金字塔LK光流可以分解为径向光流和切向光流。无人机正前方向的移动称为径向移动，垂直于无人机正前方向的移动称为切向移动，由无人机径向移动产生的光流称为径向光流，切向移动产生的光流称为切向光流。求解金字塔LK光流和切向光流的矢量差可得到径向光流，径向光流的大小能够表示前方物体的距离远近。本实施例通过分析摄像机成像得到径向光流与运动的关系，并基于此设定预设阈值，将计算得到的光流与预设阈值进行比较以获取障碍物的第一位置数据。
步骤106：基于无人机的激光雷达检测所述障碍物的距离值，并根据所述距离值计算得到所述障碍物的第二位置数据。
激光雷达具有抗干扰能力强、可以全天候应用的特点，无人机在飞行过程中可以利用激光雷达传感器获取环境信息，通过信号处理算法及目标跟踪技术对环境信息进行处理，从而得到障碍物的第二位置数据。
具体的，通过激光雷达可以测得不同时刻下无人机与障碍物的距离，同时获取无人机的速度和位移，根据无人机的速度和位移、以及不同时刻下无人机与障碍物的距离，可以计算得到障碍物的运动速度及角度，进而获取障碍物的位置数据。
步骤108：将所述第一位置数据与第二位置数据及进行数据拟合，以获得所述障碍物的实际位置数据。
通过光流算法测得的障碍物的第一位置数据和通过激光雷达测得的障碍物的第二位置数据都可能存在误差，为提高对障碍物检测的精确度，本实施例将获得的第一位置数据与第二位置数据进行数据拟合，得到障碍物的实际位置数据，实际位置数据可以理解为比第一位置数据和第二位置数据的精确度更高、更能表示障碍物所处位置的数据。
具体的，确定所述第一位置数据所占的第一权重，以及所述第二位置数据所占的第二权重，根据所述第一权重与第一位置数据的乘积加上第二权重与第二位置数据的乘积，得到障碍物的实际位置数据。
其中，第一权重和第二权重可以通过实验数据得出。例如，在实验过程中，设定障碍物的准确位置，将该准确位置设定为标准值W，基于光流算法计算得到该障碍物的第一位置W1，基于激光雷达检测得到该障碍物的第二位置W2。经过多次实验，得到多组第一位置参数W11、W12、W13...，以及多组第二位置参数W21、W22、W23...，将每组第一位置参数和每组第二位置参数依次带入以下公式：
W1*第一权重+W2*第二权重＝实际位置数据
获取计算得到的实际位置数据最接近标准值W的一组参数，根据这组参数可以获得第一权重与第二权重的比值，根据该比值即可确定第一权重和第二权重的具体值，其中，第一权重和第二权重的和为1。
上述基于无人机的障碍物检测方法，通过激光雷达来判断无人机与障碍物之间的距离，通过视觉图像处理和光流相融合的方法来检测动态障碍物的运动速度，能够准确地判断障碍物的距离，根据障碍物的位置数据做出相应的避障动作，能够取得很好的避障效果并且提高了运算速度。
如图2所示，在一个实施例中，所述根据光流算法计算所述视觉图像信息的光流，将所述光流与预设阈值进行比较以获取障碍物的第一位置数据，也即步骤104包括以下步骤202～步骤206：
步骤202：根据金字塔LK光流算法计算所述视觉图像信息的LK光流。
其中，LK光流可以分解为径向光流与切向光流，LK光流可以表示为：
本实施例采用图像金字塔对光流进行从粗到精的估计，以满足“小运动”、亮度恒定、区域一致三个假设。如图4所示，首先在图像金字塔最高层开始计算光流，然后用得到的运动估计结果作为下一层金字塔的起始点，再计算第二层光流，重复这个过程直到计算出金字塔最底层的光流，这样就能尽可能的满足“小运动”假设条件。
步骤204：基于所述LK光流构建光流模型，根据连续两帧图像的光流模型计算所述无人机沿切向移动产生的切向光流。
获取无人机飞行过程中采集的连续两帧图像，基于径向光流与图像的中点共线，根据空间中的物点在两帧图像上的坐标计算出切向光流。
具体的，如图5所示，获取连续拍摄两帧图像的成像模型，M为物点，m1、m2为像点，C1、C2为摄像机中心，P1、P2为两帧图像的中点。从图5可以看出，m1、m2与P1、P2在同一平面内，则线段m2P2在第一帧图像上的投影与线段m1P1共线。像点m1到m2的矢量即为两帧图像上物点M产生的光流，即为径向光流，由此可知径向光流的起点与终点和图像中点在同一条直线上。将这一原理推广到所有特征点可知：每个特征点对应的径向光流与图像中点共线。
进一步的，当无人机只有切向运动时，径向光流为0，则切向光流与LK光流相等。由摄像机成像原理可知，将摄像机平移L与将场景内所有物体平移的效果相同，因此当无人机有的切向运动时，可用摄像机位置不变，物体有的切向移动的模型表示。切向光流的成像模型如图6所示，C为摄像机中心，f为焦距，d为物距，切向光流与无人机切向运动的方向相反。如图6所示，M'为物体M经过平移后的位置，m为M在第一帧图像的成像位置，m'为M在第二帧图像的成像位置。M在两帧图像上的像点的平移量l'就是该特征点对应的切向光流。则切向光流l'可以表示为：
每个特征点的切向光流与摄像机的切向移动的距离成正比，与相机焦距f成正比，与物距d成反比。由此可知，所有特征点的切向光流方向相同，当摄像机有切向移动时，物距d近似相等的物体产生的切向光流近似相等。
进一步的，通过分析光流模型，计算切向光流。当无人机在飞行过程中的切向移动与径向移动都不为零时，LK光流可分解为径向光流与切向光流，其中所有径向光流与图像中点共线，所有切向光流方向相同，物距d近似相等的物体切向光流近似相等。
如图7所示，无人机在飞行过程中连续拍摄两帧图像，空间中的物点A、B在第一帧图像上的像点为A1、B1，在第二帧图像上的像点为A3、B3，以A点为例进行说明。为检测到的LK光流，已知A1的坐标为(x1，y1)、A3的坐标为(x3，y3)，设A2为径向光流的中点坐标，则为径向光流，为切向光流。设切向光流为(vqx，vqy)，则A2的坐标可以表示为(x3-vqx，y3-vqy)。切向光流的计算过程如下：
由径向光流与图像中点始终共线可得：
其中，k为径向光流与特征点到图像中点的距离h1的比值，令所有特征点的切向光流都为(vqx，vqy)，则有：
其中，n为特征点的个数，S为所有径向光流的终点横纵坐标比值与起点横纵坐标比值的差的平方和，对S求极小值可得到切向光流(vqx，vqy)的值。
步骤206：根据所述LK光流与切向光流的向量差计算无人机沿径向移动产生的径向光流，比较所述径向光流与预设阈值的大小以获取障碍物的第一位置数据。
无人机的实际运动可以分解为径向运动和切向运动，用金字塔LK光流求解得到无人机实际运动产生的光流，通过求解金字塔LK光流和切向光流的向量差可得到无人机径向移动产生的径向光流。进一步的，比较径向光流与预设阈值的大小以获取障碍物的第一位置数据。
具体的，径向光流与被检测物体的物距成反比，设无人机在危险距离处的径向光流为检测阈值，比较被检测物体产生的径向光流与检测阈值的大小可以判定被检测物体是否进入危险区域，从而检测出障碍物的位置。
在一个实施例中，比较所述径向光流与预设阈值的大小以获取障碍物的第一位置数据，还包括：根据障碍物对无人机飞行产生影响的距离范围确定所述预设阈值；当所述径向光流大于所述预设阈值时，则障碍物处于对无人机飞行产生影响的距离范围内；当所述径向光流小于或等于所述预设阈值时，则障碍物处于对无人机飞行产生影响的距离范围之外。
当场景中的物体有远有近时，远距离物体产生的切向光流较小，近距离物体产生的切向光流较大。距离较远的物体不会影响到无人机飞行，在检测障碍物时可以忽略不计，只有近距离物体才有可能成为障碍物，因此在检测障碍物时，剔除远距离物体产生的光流点，只保留近距离物体产生的光流点，可以提高近距离物体产生的切向光流的计算精度，从而达到提高障碍物检测准确性的目的。
举例来说，如图8所示，设L为无人机的危险距离，则到无人机的距离大于L的区域为安全区域，到无人机的距离小于L的区域为危险区域。若目标物体进入无人机危险区域，则会影响到无人机飞行，判定其为障碍物，需要采取避障措施，若未进入危险区域，则判定为非障碍物，无人机的飞行路线不变。如图8所示，检测到前方有三个物体，其中物体Ⅰ进入了危险区域，物体Ⅱ、物体Ⅲ未进入危险区域，因此物体Ⅰ为障碍物，物体Ⅱ、Ⅲ不是障碍物。
如图3所示，在一个实施例中，基于无人机上的激光雷达检测所述障碍物的距离值，并根据所述距离值计算得到所述障碍物的第二位置数据，也即步骤106还包括以下步骤302～步骤304：
步骤302：基于无人机的激光雷达向障碍物发射激光光束，并接收从所述障碍物反射回的激光光束，以测得无人机与所述障碍物的距离值。
步骤304：根据不同时刻测得的距离值计算得到所述障碍物的运动速度及角度，进而获得所述障碍物的第二位置数据。
举例来说，通过激光雷达可以测得某一时刻无人机与障碍物的第一距离，进一步测得下一时刻无人机与障碍物的第二距离，由于无人机速度可得，所以无人机的位移可以获得，假设障碍物和无人机在同一水平运动，可通过计算得到障碍物的运动速度及角度，根据障碍物的运动速度及角度可以获取障碍物的位置数据。
在一个实施例中，在所述基于无人机的图像采集装置采集实时视觉图像信息之后，该基于无人机的障碍物检测方法还包括：根据与地面参照物的相对运动判断障碍物是静态障碍物还是动态障碍物；当所述障碍物为静态障碍物时，通过激光雷达测量所述障碍物的距离、速度、角度和尺寸；当所述障碍物为动态障碍物时，通过光流算法和激光雷达共同检测所述障碍物的光流大小、距离、速度、角度和尺寸。本实施例通过激光雷达和光流算法相融合的方式对障碍物进行检测，对于静态障碍物，采用激光雷达不仅可以测量目标的距离、速度、角度，而且还可以对目标尺寸进行估计。通过激光雷达来判断无人机与障碍物之间的距离，通过视觉图像处理和光流相融合的方法来检测动态障碍物的运动速度，进而能够有效地躲避障碍物。
在一个实施例中，该基于无人机的障碍物检测方法还包括：在获取所述障碍物的实际位置数据后，根据所述障碍物的实际位置数据调整无人机的飞行路线以避开所述障碍物。例如，在根据光流算法计算视觉图像信息的光流后，可以控制无人机向光流值较小的一侧移动。
上述基于无人机的障碍物检测方法，通过基于无人机的图像采集装置采集实时视觉图像信息，根据光流算法计算所述视觉图像信息的光流，将所述光流与预设阈值进行比较以获取障碍物的第一位置数据，基于无人机的激光雷达检测所述障碍物的距离值，并根据所述距离值计算得到所述障碍物的第二位置数据，将所述第一位置数据与第二位置数据及进行数据拟合，以获得所述障碍物的实际位置数据。通过上述方法，能够准确地判断障碍物的距离，根据障碍物的位置数据做出相应的避障动作，能够取得很好的避障效果并且提高了运算速度。
应该理解的是，虽然上述附图1-3中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，附图1-3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
如图9所示，在一个实施例中，提供了一种基于无人机的障碍物检测装置，该装置包括图像采集模块910、光流计算模块920、激光雷达检测模块930、实际位置计算模块940。
图像采集模块910用于基于无人机的图像采集装置采集实时视觉图像信息。
光流计算模块920用于根据光流算法计算所述视觉图像信息的光流，将所述光流与预设阈值进行比较以获取障碍物的第一位置数据。
激光雷达检测模块930用于基于无人机的激光雷达检测所述障碍物的距离值，并根据所述距离值计算得到所述障碍物的第二位置数据。
实际位置计算模块940用于将所述第一位置数据与第二位置数据及进行数据拟合，以获得所述障碍物的实际位置数据。
上述基于无人机的障碍物检测装置，通过基于无人机的图像采集装置采集实时视觉图像信息，根据光流算法计算所述视觉图像信息的光流，将所述光流与预设阈值进行比较以获取障碍物的第一位置数据，基于无人机的激光雷达检测所述障碍物的距离值，并根据所述距离值计算得到所述障碍物的第二位置数据，将所述第一位置数据与第二位置数据及进行数据拟合，以获得所述障碍物的实际位置数据。通过上述方法，能够准确地判断障碍物的距离，根据障碍物的位置数据做出相应的避障动作，能够取得很好的避障效果并且提高了运算速度。
关于基于无人机的障碍物检测装置的具体限定可以参见上文中对于基于无人机的障碍物检测方法的限定，在此不再赘述。上述基于无人机的障碍物检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
本申请实施例中提供的基于无人机的障碍物检测装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述的基于无人机的障碍物检测方法的步骤。
图10为一个实施例中无人机的内部结构示意图。如图10所示，该终端包括通过系统总线连接的处理器、存储器、摄像头和激光雷达。其中，该处理器用于提供计算和控制能力，支撑整个终端的运行。存储器用于存储数据、程序等，存储器上存储至少一个计算机程序，该计算机程序可被处理器执行，以实现本申请实施例中提供的适用于终端的基于无人机的障碍物检测方法。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种基于无人机的障碍物检测方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。摄像头用于采集实时视觉图像信息，根据光流算法可以计算该视觉图像信息的光流，根据光流与预设阈值进行比较可以获取障碍物的位置数据。激光雷达用于检测障碍物的距离值，并根据该距离值可以计算得到障碍物的位置数据。
本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的终端的限定，具体的终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行如上述各实施例中所描述的基于无人机的障碍物检测方法。
本申请实施例还提供了一种计算机程序产品。一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各实施例中所描述的基于无人机的障碍物检测方法。
在上述实施例中，可以全部或部分的通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或半导体介质(例如固态硬盘Solid State Disk(SSD))等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种基于无人机的障碍物检测方法，其特征在于，包括：
基于无人机的图像采集装置采集实时视觉图像信息；
根据光流算法计算所述视觉图像信息的光流，将所述光流与预设阈值进行比较以获取障碍物的第一位置数据；
基于无人机的激光雷达检测所述障碍物的距离值，并根据所述距离值计算得到所述障碍物的第二位置数据；
将所述第一位置数据与第二位置数据及进行数据拟合，以获得所述障碍物的实际位置数据。
2.根据权利要求1所述的方法，其特征在于，所述根据光流算法计算所述视觉图像信息的光流，将所述光流与预设阈值进行比较以获取障碍物的第一位置数据，包括：
根据金字塔LK光流算法计算所述视觉图像信息的LK光流；所述LK光流可以分解为径向光流与切向光流；
基于所述LK光流构建光流模型，根据连续两帧图像的光流模型计算所述无人机沿切向移动产生的切向光流；
根据所述LK光流与切向光流的向量差计算无人机沿径向移动产生的径向光流，比较所述径向光流与预设阈值的大小以获取障碍物的第一位置数据。
3.根据权利要求2所述的方法，其特征在于，所述基于所述LK光流构建光流模型，根据连续两帧图像的光流模型计算所述无人机沿切向移动产生的切向光流，包括：
获取无人机飞行过程中采集的连续两帧图像；
基于径向光流与图像的中点共线，根据空间中的物点在两帧图像上的坐标计算出切向光流。
4.根据权利要求2所述的方法，其特征在于，所述比较所述径向光流与预设阈值的大小以获取障碍物的第一位置数据，包括：
根据障碍物对无人机飞行产生影响的距离范围确定所述预设阈值；
当所述径向光流大于所述预设阈值时，则障碍物处于对无人机飞行产生影响的距离范围内；
当所述径向光流小于或等于所述预设阈值时，则障碍物处于对无人机飞行产生影响的距离范围之外。
5.根据权利要求1所述的方法，其特征在于，所述基于无人机上的激光雷达检测所述障碍物的距离值，并根据所述距离值计算得到所述障碍物的第二位置数据，包括：
基于无人机的激光雷达向障碍物发射激光光束，并接收从所述障碍物反射回的激光光束，以测得无人机与所述障碍物的距离值；
根据不同时刻测得的距离值计算得到所述障碍物的运动速度及角度，进而获得所述障碍物的第二位置数据。
6.根据权利要求1所述的方法，其特征在于，在所述基于无人机的图像采集装置采集实时视觉图像信息之后，所述方法还包括：
根据与地面参照物的相对运动判断障碍物是静态障碍物还是动态障碍物；
当所述障碍物为静态障碍物时，通过激光雷达测量所述障碍物的距离、速度、角度和尺寸；
当所述障碍物为动态障碍物时，通过光流算法和激光雷达共同检测所述障碍物的光流大小、距离、速度、角度和尺寸。
7.根据权利要求1所述的方法，其特征在于，所述将所述第一位置数据与第二位置数据及进行数据拟合，以获得所述障碍物的实际位置数据，包括：
确定所述第一位置数据所占的第一权重，以及所述第二位置数据所占的第二权重；
根据所述第一权重与第一位置数据的乘积加上第二权重与第二位置数据的乘积，得到所述障碍物的实际位置数据。
8.一种基于无人机的障碍物检测装置，其特征在于，包括：
图像采集模块，用于基于无人机的图像采集装置采集实时视觉图像信息；
光流计算模块，用于根据光流算法计算所述视觉图像信息的光流，将所述光流与预设阈值进行比较以获取障碍物的第一位置数据；
激光雷达检测模块，用于基于无人机的激光雷达检测所述障碍物的距离值，并根据所述距离值计算得到所述障碍物的第二位置数据；
实际位置计算模块，用于将所述第一位置数据与第二位置数据及进行数据拟合，以获得所述障碍物的实际位置数据。
9.一种无人机，其特征在于，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。
CN201910179024.0A 2019-03-08 2019-03-08 基于无人机的障碍物检测方法及装置 Pending CN110007313A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910179024.0A CN110007313A (zh) 2019-03-08 2019-03-08 基于无人机的障碍物检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910179024.0A CN110007313A (zh) 2019-03-08 2019-03-08 基于无人机的障碍物检测方法及装置

Publications (1)

Publication Number Publication Date
CN110007313A true CN110007313A (zh) 2019-07-12

Family

ID=67166657

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910179024.0A Pending CN110007313A (zh) 2019-03-08 2019-03-08 基于无人机的障碍物检测方法及装置

Country Status (1)

Country Link
CN (1) CN110007313A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110488319A (zh) * 2019-08-22 2019-11-22 重庆长安汽车股份有限公司 一种基于超声波和摄像头融合的碰撞距离计算方法及系统
CN110738850A (zh) * 2019-10-17 2020-01-31 深圳成谷科技有限公司 路侧安全监控管理系统、控制方法和设备
CN111290383A (zh) * 2020-02-13 2020-06-16 山东汇贸电子口岸有限公司 控制移动机器人移动的方法、装置及系统
CN111796602A (zh) * 2020-06-18 2020-10-20 江苏大学 一种植保无人机障碍物探测和预警系统
CN112286230A (zh) * 2020-11-13 2021-01-29 国家电网有限公司 无人机视觉图像算法、避障步骤及其信息融合处理系统
CN112364741A (zh) * 2020-11-02 2021-02-12 湖南航天宏图无人机系统有限公司 无人机单目远距离障碍检测方法、装置及无人机
CN113867402A (zh) * 2021-10-29 2021-12-31 仲恺农业工程学院 一种基于基准面的农田无人机避障作业方法和装置
CN114846295A (zh) * 2020-12-17 2022-08-02 深圳市大疆创新科技有限公司 一种可移动平台的控制方法、装置及可移动平台
CN115033019A (zh) * 2022-06-01 2022-09-09 天津飞眼无人机科技有限公司 一种无人机避障方法
CN115933752A (zh) * 2023-02-16 2023-04-07 杭州硬十科技有限公司 一种基于ai的无人机动态避障预测控制方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104573646A (zh) * 2014-12-29 2015-04-29 长安大学 基于激光雷达和双目相机的车前行人检测方法及系统
CN106681353A (zh) * 2016-11-29 2017-05-17 南京航空航天大学 基于双目视觉与光流融合的无人机避障方法及系统
CN106814744A (zh) * 2017-03-14 2017-06-09 吉林化工学院 一种无人机飞行控制系统以及方法
CN109407103A (zh) * 2018-09-07 2019-03-01 昆明理工大学 一种无人机雾天障碍物识别装置及其识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104573646A (zh) * 2014-12-29 2015-04-29 长安大学 基于激光雷达和双目相机的车前行人检测方法及系统
CN106681353A (zh) * 2016-11-29 2017-05-17 南京航空航天大学 基于双目视觉与光流融合的无人机避障方法及系统
CN106814744A (zh) * 2017-03-14 2017-06-09 吉林化工学院 一种无人机飞行控制系统以及方法
CN109407103A (zh) * 2018-09-07 2019-03-01 昆明理工大学 一种无人机雾天障碍物识别装置及其识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张小东: "《基于视觉的旋翼无人机避障技术研究》", 《中国优秀硕士学位论文全文数据库 工程科技II辑》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110488319B (zh) * 2019-08-22 2023-04-07 重庆长安汽车股份有限公司 一种基于超声波和摄像头融合的碰撞距离计算方法及系统
CN110488319A (zh) * 2019-08-22 2019-11-22 重庆长安汽车股份有限公司 一种基于超声波和摄像头融合的碰撞距离计算方法及系统
CN110738850A (zh) * 2019-10-17 2020-01-31 深圳成谷科技有限公司 路侧安全监控管理系统、控制方法和设备
CN111290383A (zh) * 2020-02-13 2020-06-16 山东汇贸电子口岸有限公司 控制移动机器人移动的方法、装置及系统
CN111290383B (zh) * 2020-02-13 2023-09-19 山东汇贸电子口岸有限公司 控制移动机器人移动的方法、装置及系统
CN111796602A (zh) * 2020-06-18 2020-10-20 江苏大学 一种植保无人机障碍物探测和预警系统
CN112364741A (zh) * 2020-11-02 2021-02-12 湖南航天宏图无人机系统有限公司 无人机单目远距离障碍检测方法、装置及无人机
CN112286230A (zh) * 2020-11-13 2021-01-29 国家电网有限公司 无人机视觉图像算法、避障步骤及其信息融合处理系统
CN114846295A (zh) * 2020-12-17 2022-08-02 深圳市大疆创新科技有限公司 一种可移动平台的控制方法、装置及可移动平台
CN113867402A (zh) * 2021-10-29 2021-12-31 仲恺农业工程学院 一种基于基准面的农田无人机避障作业方法和装置
CN113867402B (zh) * 2021-10-29 2022-12-20 仲恺农业工程学院 一种基于基准面的农田无人机避障作业方法和装置
CN115033019A (zh) * 2022-06-01 2022-09-09 天津飞眼无人机科技有限公司 一种无人机避障方法
CN115933752A (zh) * 2023-02-16 2023-04-07 杭州硬十科技有限公司 一种基于ai的无人机动态避障预测控制方法
CN115933752B (zh) * 2023-02-16 2023-06-06 杭州硬十科技有限公司 一种基于ai的无人机动态避障预测控制方法

Similar Documents

Publication Publication Date Title
CN110007313A (zh) 基于无人机的障碍物检测方法及装置
US20210190497A1 (en) Simultaneous location and mapping (slam) using dual event cameras
CN112785702A (zh) 一种基于2d激光雷达和双目相机紧耦合的slam方法
CN106370884B (zh) 基于双目相机计算机视觉技术的车辆测速方法
JP5671281B2 (ja) 位置姿勢計測装置、位置姿勢計測装置の制御方法及びプログラム
US9025857B2 (en) Three-dimensional measurement apparatus, measurement method therefor, and computer-readable storage medium
US8711214B2 (en) Position and orientation measurement apparatus, position and orientation measurement method, and storage medium
Nair et al. Moving obstacle detection from a navigating robot
CN102788572B (zh) 一种工程机械吊钩姿态的测量方法、装置及系统
CN110914703A (zh) 对点云中基于运动的不准确性的校正
JP6782903B2 (ja) 自己運動推定システム、自己運動推定システムの制御方法及びプログラム
CN115731268A (zh) 基于视觉/毫米波雷达信息融合的无人机多目标跟踪方法
US11346666B2 (en) System and method for measuring a displacement of a mobile platform
CN105043350A (zh) 一种双目视觉测量方法
US20120050496A1 (en) Moving Obstacle Detection Using Images
WO2024114119A1 (zh) 一种基于双目相机引导的传感器融合方法
JPH09226490A (ja) 横断物の検出装置
Song et al. DGM-VINS: Visual–inertial SLAM for complex dynamic environments with joint geometry feature extraction and multiple object tracking
CN117576665B (zh) 一种面向自动驾驶的单摄像头三维目标检测方法及系统
CN104471436B (zh) 用于计算对象的成像比例的变化的方法和设备
EP4131166A1 (en) Three-dimensional model generation method and three-dimensional model generation device
US8351653B2 (en) Distance estimation from image motion for moving obstacle detection
Vaida et al. Automatic extrinsic calibration of LIDAR and monocular camera images
Iorpenda et al. Object-specific time-to-collision estimates from monocular vision for drones
US8922648B2 (en) Rotation cancellation for moving obstacle detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190712

RJ01 Rejection of invention patent application after publication