CN112364741B - 无人机单目远距离障碍检测方法、装置及无人机 - Google Patents

无人机单目远距离障碍检测方法、装置及无人机 Download PDF

Info

Publication number
CN112364741B
CN112364741B CN202011203316.2A CN202011203316A CN112364741B CN 112364741 B CN112364741 B CN 112364741B CN 202011203316 A CN202011203316 A CN 202011203316A CN 112364741 B CN112364741 B CN 112364741B
Authority
CN
China
Prior art keywords
image
unmanned aerial
aerial vehicle
neural network
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011203316.2A
Other languages
English (en)
Other versions
CN112364741A (zh
Inventor
李想
田尊华
马洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Aerospace Hongtu Uav System Co ltd
Original Assignee
Hunan Aerospace Hongtu Uav System Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Aerospace Hongtu Uav System Co ltd filed Critical Hunan Aerospace Hongtu Uav System Co ltd
Priority to CN202011203316.2A priority Critical patent/CN112364741B/zh
Publication of CN112364741A publication Critical patent/CN112364741A/zh
Application granted granted Critical
Publication of CN112364741B publication Critical patent/CN112364741B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种无人机单目远距离障碍检测方法、装置及无人机。所述方法包括：获取无人机上单目相机拍摄的图像序列；将所述图像序列输入预先训练的神经网络模型，得到当前图像相对于所述图像序列中任意一帧图像对应的膨胀率矩阵；从无人机的飞控模块中获取所述当前图像与所述任意一帧图像之间无人机的相对位移；根据所述相对位移和所述膨胀率矩阵，计算当前图像中每一点与无人机之间的距离；根据当前图像中每一点与无人机之间的距离，得到深度信息图像，实现对障碍物的检测。采用本方法能够只采用单目相机可在较远距离发现探测障碍物，而且成本、功耗和重量都相比其它方案更低，具有较高的应用价值与市场潜力。

Description

无人机单目远距离障碍检测方法、装置及无人机
技术领域
本申请涉及无人机技术领域，特别是涉及一种无人机单目远距离障碍检测方法、装置及无人机。
背景技术
目前可用的无人机避障技术主要包括：TOF相机、结构光相机、超声波雷达、双目相机、单相机、激光雷达LIDAR/多光束激光测距、毫米波雷达。这些无人机避障技术的优缺点如下：
TOF(飞行时间技术)相机：即飞行时间传感器，基本原理就是传感器发射一定频率的红外/激光信号，然后根据反射信号与原信号的相位差计算信号的飞行时间，即可换算出距离障碍物的距离。TOF与传统激光雷达的主要区别是：整个场景都是用单个光脉冲进行拍摄的，而非旋转的激光束逐点拍摄。TOF相机采用专用图像传感器捕获整个三维场景，因此无需移动部件。该方法技术比较成熟，作用距离较超声波更远，而且高等级的TOF传感器可以获得障碍物的深度图像，但缺点在于抗干扰能力较差(激光TOF稍好)。TOF易受到高楼之间的玻璃光干扰系统，就是遭遇太阳光的主要能量波段，使TOF暴漏不足，明显缺点就是测量距离变短，难以用于室外。
结构光相机：将编码的光栅或线光源等投射到被测物上，再使用摄像机接收该物体表面反射的结构光图案，由于接收图案必会因物体的立体型状而发生变形，根据它们产生的畸变来解调出被测物的三维信息。普通的结构光方法仍然是部分采用了三角测距原理的深度计算。其优点是：模块小；功耗相对较低；刷新率高，测量分辨率相对较高；缺点是：激光发射设备容易坏，更换需要标定且标定难度大，不易修复；编码光抗干扰差，容易被强光淹没，不适合室外。
超声波雷达：该方法的优点就是技术成熟，成本很低；但缺点在于作用距离近(常用的中低端超声波传感器作用距离不超过10m)，且对反射面有一定要求。固定翼无人机速度较快，该技术不适用。
双目相机：主动双目则是和人眼一样用两个普通摄像头针对同一个场景采集左右两张图像，通过三角定位原理以视差的方式来计算被测物距离。其优点是：成本低；分辨率高；帧率高；抗干扰强，适应不同光照环境；缺点是：算法复杂，计算量大计算芯片需要很高的计算性能，双目需要标定。
激光雷达LIDAR/多光束激光测距：激光雷达–光感测距技术(Lidar)通常使用脉冲激光束对周围环境进行扫描，并且测量信号从扫描对象返回到检测器的时间。激光扫描仪使用偏转镜偏转激光束，这使得它们能够实现非常宽的视野(FOV)。在扫描过程中，激光雷达系统将扫描各个距离点，根据这些点则可以计算出周围环境的3D图像。
毫米波雷达：雷达作为一项成熟的飞机防撞技术，其探测范围、扫描角速度、更新率和信号质量等均相对较高，最大的优点是可以做到全天候。将雷达用于低空飞行无人机防撞主要问题在于大小、重量和功耗的限制，此外雷达的分辨率略低。
超声波、TOF相机、结构光相机，因其本身原理造成的探测距离近，不适应高速飞行的固定翼无人机。
双目相机因探测距离仍受限于基线长度，且计算量大对整机系统影响大。毫米波雷达和激光避障雷达存在分辨率较低或价格昂贵的问题。
考虑到固定翼无人机较高的飞行速度，需在较远距离发现探测障碍物，并且需要较高的分辨率便于规划避障航线，结合成本、功耗和重量尽可能低的需求，急需一种无人机单目远距离障碍检测方法及其装置的新型技术。
发明内容
基于此，有必要针对上述技术问题，提供一种无人机单目远距离障碍检测方法。
为实现上述目的，本发明提供了一种无人机单目远距离障碍检测方法，所述方法包括：
获取无人机上单目相机拍摄的图像序列；
将所述图像序列输入预先训练的神经网络模型，得到当前图像相对于所述图像序列中任意一帧图像对应的膨胀率矩阵；
从无人机的飞控模块中获取所述当前图像与所述任意一帧图像之间无人机的相对位移；
根据所述相对位移和所述膨胀率矩阵，计算当前图像中每一点与无人机之间的距离；
根据当前图像中每一点与无人机之间的距离，得到深度信息图像，实现对障碍物的检测。
进一步的，将所述图像序列输入预先训练的神经网络模型，得到当前图像相对于所述图像序列中任意一帧图像对应的膨胀率矩阵，包括：
从所述图像序列中确定当前图像，以及从所述图像序列中确定任意一帧图像；
将所述当前图像和所述任意一帧图像输入预先训练的神经网络模型的输入层；
通过所述神经网络模型对所述当前图像和所述任意一帧图像进行处理计算，由所述神经网络模型的输出层输出与两帧图像大小相同的膨胀率矩阵。
进一步的，所述神经网络模型为卷积神经网络模型；
通过所述神经网络模型对所述当前图像和所述任意一帧图像进行处理计算，包括：通过所述卷积神经网络模型的卷积网络进行第一次卷积处理，通过所述卷积神经网络模型的反卷积网络进行第二次卷积处理。
进一步的，训练所述神经网络模型的方式，包括：
对单目相机拍摄的样本图像进行标注，以及对所述样本图像进行比例缩放、旋转操作，得到多个样本子图像，采用所述样本图像的标注对所述样本子图像进行标注；
根据所述样本图像和所述样本子图像构建样本集；
根据所述样本集对所述神经网络模型进行训练。
进一步的，根据所述相对位移和所述膨胀率矩阵，计算图像中障碍物与无人机之间的距离；根据中障碍物与无人机之间的距离，得到深度信息图像，实现对障碍物的检测，包括：
从无人机的飞控模块中获取所述当前图像与所述任意一帧图像之间无人机的相对位移以及飞行速度，得到所述当前图像和所述任意一帧图像之间的拍摄时间间隔；
根据所述当前图像和所述任意一帧图像之间的拍摄时间间隔，所述当前图像和所述任意一帧图像对应的所述膨胀率矩阵以及飞行速度，得到当前图像中障碍物与无人机之间的障碍物距离；
根据当前图像中障碍物与无人机之间的障碍物距离得到深度信息图像，实现对障碍物的检测。
本发明还提供了一种无人机单目远距离障碍检测装置，所述装置包括：
图像获取模块，用于获取无人机上单目相机拍摄的图像序列；
膨胀率矩阵获取模块，用于所述图像序列输入预先训练的神经网络模型，得到当前图像相对于所述图像序列中任意一帧图像对应的膨胀率矩阵；
深度信息图像获取模块，用于从无人机的飞控模块中获取所述当前图像与所述任意一帧图像之间无人机的相对位移；根据所述相对位移和所述膨胀率矩阵，计算当前图像中障碍物与无人机之间的距离；根据中障碍物与无人机之间的距离，得到深度信息图像，实现对障碍物的检测。
进一步的，所述膨胀率矩阵获取模块，还包括：
输入模块，用于从所述图像序列中确定当前图像，以及从所述图像序列中确定任意一帧图像；并将所述当前图像和所述任意一帧图像输入预先训练的神经网络模型的输入层；
输出模块，用于通过所述神经网络模型对所述当前图像和所述任意一帧图像进行处理计算，由所述神经网络模型的输出层输出与两帧图像大小相同的膨胀率矩阵。
进一步的，所述膨胀率获取模块，还包括：
卷积处理模块，用于通过所述神经网络模型的卷积网络进行第一次卷积处理，通过所述神经网络模型的反卷积网络进行第二次卷积处理。
本发明还提供了一种无人机，包括单目相机、飞控模块、图像处理模块和无人机本体，所述图像处理模块包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述无人机单目远距离障碍检测方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述无人机单目远距离障碍检测方法的步骤。
本发明具有以下有益效果：
1、本发明提供的一种单目相机障碍检测方法，利用近距离障碍物因无人机前向飞行导致的图像膨胀远大于远距离的障碍物，从而通过检测图像膨胀率来计算障碍物距离。因无人机前向运动形成的长基线远大于传统双目立体成像基线，其性能更优，检测距离更远。
2、本发明提供的一种单目相机障碍检测方法，在固定翼无人机避障领域具有独特优势，可在较远距离发现探测障碍物，并且需要较高的分辨率便于规划避障航线，而且成本、功耗和重量都相比其它方案更低，具有较高的应用价值与市场潜力。
除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照图，对本发明作进一步详细的说明。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明无人机单目远距离障碍检测方法的流程图；
图2为障碍物距离与视场角变化关系图；
图3为本发明无人机单目远距离障碍检测系统结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
如图1所示，本发明提供了一种无人机单目远距离障碍检测方法，所述方法包括以下步骤：
步骤101：获取无人机上单目相机拍摄的图像序列。
步骤102：将所述图像序列输入预先训练的神经网络模型，得到当前图像相对于所述图像序列中任意一帧图像对应的膨胀率矩阵。
其中，所述图像序列中任意一帧图像不包括当前图像，因为当前图像相对于当前图像的膨胀率为0。所述神经网络模型为卷积神经网络模型，也可以是循环神经网络RNN，长短期记忆网络LSTM，门控循环单元GRU等神经网络模型。
步骤103：从无人机的飞控模块中获取所述当前图像与所述任意一帧图像之间无人机的相对位移。其中，所述当前图像与所述任意一帧图像之间无人机的相对位移即为当前图像与所述任意一帧图像成像时刻无人机的变化。
步骤104：根据所述相对位移和所述膨胀率矩阵，计算当前图像中每一点与无人机之间的距离；根据当前图像中每一点与无人机之间的距离，得到深度信息图像，实现对障碍物的检测。
本发明提供的一种单目相机障碍检测方法，主要利用近距离障碍物因无人机前向飞行导致的图像膨胀远大于远距离的障碍物，从而通过检测图像膨胀率来计算障碍物距离。因无人机前向运动形成的长基线远大于传统双目立体成像基线，故其性能更优，检测距离更远。
因此，本发明提供的一种单目相机障碍检测方法，在固定翼无人机避障领域具有独特优势，可在较远距离发现探测障碍物，并且需要较高的分辨率便于规划避障航线，而且成本、功耗和重量都相比其它方案更低，具有较高的应用价值与市场潜力。
在一个具体实施例中，将所述图像序列输入预先训练的神经网络模型，得到当前图像相对于所述图像序列中任意一帧图像对应的膨胀率矩阵，包括：
从所述图像序列中确定当前图像，以及从所述图像序列中确定任意一帧图像；
将所述当前图像和所述任意一帧图像输入预先训练的神经网络模型的输入层；
通过所述神经网络模型对所述当前图像和所述任意一帧图像进行处理计算，由所述神经网络模型的输出层输出与所述两帧图像大小相同的膨胀率矩阵。
在一个具体实施例中，所述神经网络模型为卷积神经网络模型；
通过所述神经网络模型对所述当前图像和所述任意一帧图像进行处理计算，包括：通过所述卷积神经网络模型的卷积网络进行第一次卷积处理，通过所述神经网络模型的反卷积网络进行第二次卷积处理。
在一个具体实施例中，训练所述神经网络模型的方式，包括：
对单目相机拍摄的样本图像进行标注，以及对所述样本图像进行比例缩放、旋转操作，得到多个样本子图像，采用所述样本图像的标注对所述样本子图像进行标注；
根据所述样本图像和所述样本子图像构建样本集；
根据所述样本集对所述神经网络模型进行训练。
在一个具体实施例中，根据所述相对位移和所述膨胀率矩阵，计算图像中障碍物与无人机之间的距离；根据中障碍物与无人机之间的距离，得到深度信息图像，实现对障碍物的检测，包括：
从无人机的飞控模块中获取所述当前图像与所述任意一帧图像之间无人机的相对位移以及飞行速度，得到所述当前图像和所述任意一帧图像之间的拍摄时间间隔；
根据所述当前图像和所述任意一帧图像之间的拍摄时间间隔，所述当前图像和所述任意一帧图像对应的所述膨胀率矩阵以及飞行速度，得到当前图像中障碍物与无人机之间的障碍物距离；
根据当前图像中障碍物与无人机之间的障碍物距离得到深度信息图像，实现对障碍物的检测。
具体的，如图2所示，假设单目相机拍摄的前一帧图像中无人机距障碍物的距离为d+△d，此时障碍物在图像中的视场角为r；单目相机拍摄的当前帧图像中无人机距障碍物的距离为d，此时障碍物在图像中的视场角为r+△r；因障碍物实际尺寸不变，可推导出：
d＝△d×r/△r
△d为无人机在两帧图像之间运动的距离，由飞控给出，也可以由速度进行估算：
△d＝V×△t
图像的膨胀率e定义为：
e＝△r/r
代入可得：
d＝V×△t/e
从而可计算图像中各点距无人机的当前距离，得到无人机相机视场中的深度信息图像，实现对障碍物的检测。将所述深度信息图像发送飞控模块以进行障碍规避。
本发明还提供了一种无人机单目远距离障碍检测装置，所述装置包括：
图像获取模块，用于获取无人机上单目相机拍摄的图像序列；
膨胀率矩阵获取模块，用于所述图像序列输入预先训练的神经网络模型，得到当前图像相对于所述图像序列中任意一帧图像对应的膨胀率矩阵；
深度信息图像获取模块，用于从无人机的飞控模块中获取所述当前图像与所述任意一帧图像之间无人机的相对位移；根据所述相对位移和所述膨胀率矩阵，计算当前图像中障碍物与无人机之间的距离；根据中障碍物与无人机之间的距离，得到深度信息图像，实现对障碍物的检测。
具体的，所述膨胀率获取模块，还包括：
所述膨胀率矩阵获取模块，还包括：
输入模块，用于从所述图像序列中确定当前图像，以及从所述图像序列中确定任意一帧图像；并将所述当前图像和所述任意一帧图像输入预先训练的神经网络模型的输入层；
输出模块，用于通过所述神经网络模型对所述当前图像和所述任意一帧图像进行处理计算，由所述神经网络模型的输出层输出与所述两帧图像大小相同的膨胀率矩阵。
具体的，所述神经网络模型为卷积神经网络模型；所述膨胀率获取模块，还包括：
卷积处理模块，用于通过所述卷积神经网络模型的卷积网络进行第一次卷积处理，通过所述卷积神经网络模型的反卷积网络进行第二次卷积处理。
关于无人机单目远距离障碍检测装置的具体限定可以参见上文中对于无人机单目远距离障碍检测方法的限定，在此不再赘述。上述无人机单目远距离障碍检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，本发明还提供了一种无人机，如图3所示，包括单目相机、飞控模块、图像处理模块和无人机本体，所述单目相机、飞控模块和图像处理模块均设置在无人机本体上。所述图像处理模块包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
在一个实施例中，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (6)

1.无人机单目远距离障碍检测方法，其特征在于，所述方法包括：
获取无人机上单目相机拍摄的图像序列；
将所述图像序列输入预先训练的神经网络模型，得到当前图像相对于所述图像序列中任意一帧图像对应的膨胀率矩阵；
从无人机的飞控模块中获取所述当前图像与所述任意一帧图像之间无人机的相对位移；
根据所述相对位移和所述膨胀率矩阵，计算当前图像中每一点与无人机之间的距离；
根据当前图像中每一点与无人机之间的距离，得到深度信息图像，实现对障碍物的检测；
其中，将所述图像序列输入预先训练的神经网络模型，得到当前图像相对于所述图像序列中任意一帧图像对应的膨胀率矩阵，包括：
从所述图像序列中确定当前图像，以及从所述图像序列中确定任意一帧图像；
将所述当前图像和所述任意一帧图像输入预先训练的神经网络模型的输入层；
通过所述神经网络模型对所述当前图像和所述任意一帧图像进行处理计算，由所述神经网络模型的输出层输出与两帧图像大小相同的膨胀率矩阵；
根据所述相对位移和所述膨胀率矩阵，计算图像中障碍物与无人机之间的距离；根据中障碍物与无人机之间的距离，得到深度信息图像，实现对障碍物的检测，包括：
从无人机的飞控模块中获取所述当前图像与所述任意一帧图像之间无人机的相对位移以及飞行速度，得到所述当前图像和所述任意一帧图像之间的拍摄时间间隔；
根据所述当前图像和所述任意一帧图像之间的拍摄时间间隔，所述当前图像和所述任意一帧图像对应的所述膨胀率矩阵以及飞行速度，得到当前图像中障碍物与无人机之间的障碍物距离；
根据当前图像中障碍物与无人机之间的障碍物距离得到深度信息图像，实现对障碍物的检测。
2.根据权利要求1所述的无人机单目远距离障碍检测方法，其特征在于，所述神经网络模型为卷积神经网络模型；
通过所述神经网络模型对所述当前图像和所述任意一帧图像进行处理计算，包括：通过所述卷积神经网络模型的卷积网络进行第一次卷积处理，通过所述卷积神经网络模型的反卷积网络进行第二次卷积处理。
3.根据权利要求1所述的无人机单目远距离障碍检测方法，其特征在于，训练所述神经网络模型的方式，包括：
对单目相机拍摄的样本图像进行标注，以及对所述样本图像进行比例缩放、旋转操作，得到多个样本子图像，采用所述样本图像的标注对所述样本子图像进行标注；
根据所述样本图像和所述样本子图像构建样本集；
根据所述样本集对所述神经网络模型进行训练。
4.一种无人机单目远距离障碍检测装置，其特征在于，所述装置包括：
图像获取模块，用于获取无人机上单目相机拍摄的图像序列；
膨胀率矩阵获取模块，用于将所述图像序列输入预先训练的神经网络模型，得到当前图像相对于所述图像序列中任意一帧图像对应的膨胀率矩阵；
深度信息图像获取模块，用于从无人机的飞控模块中获取所述当前图像与所述任意一帧图像之间无人机的相对位移；根据所述相对位移和所述膨胀率矩阵，计算当前图像中障碍物与无人机之间的距离；根据中障碍物与无人机之间的距离，得到深度信息图像，实现对障碍物的检测；
所述膨胀率矩阵获取模块，还包括：
输入模块，用于从所述图像序列中确定当前图像，以及从所述图像序列中确定任意一帧图像；并将所述当前图像和所述任意一帧图像输入预先训练的神经网络模型的输入层；
输出模块，用于通过所述神经网络模型对所述当前图像和所述任意一帧图像进行处理计算，由所述神经网络模型的输出层输出与两帧图像大小相同的膨胀率矩阵。
5.根据权利要求4所述的无人机单目远距离障碍检测装置，其特征在于，所述膨胀率获取模块，还包括：
卷积处理模块，用于通过所述神经网络模型的卷积网络进行第一次卷积处理，通过所述神经网络模型的反卷积网络进行第二次卷积处理。
6.一种无人机，包括单目相机、飞控模块、图像处理模块和无人机本体，所述图像处理模块包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至3中任一项所述方法的步骤。
CN202011203316.2A 2020-11-02 2020-11-02 无人机单目远距离障碍检测方法、装置及无人机 Active CN112364741B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011203316.2A CN112364741B (zh) 2020-11-02 2020-11-02 无人机单目远距离障碍检测方法、装置及无人机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011203316.2A CN112364741B (zh) 2020-11-02 2020-11-02 无人机单目远距离障碍检测方法、装置及无人机

Publications (2)

Publication Number Publication Date
CN112364741A CN112364741A (zh) 2021-02-12
CN112364741B true CN112364741B (zh) 2023-04-18

Family

ID=74512532

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011203316.2A Active CN112364741B (zh) 2020-11-02 2020-11-02 无人机单目远距离障碍检测方法、装置及无人机

Country Status (1)

Country Link
CN (1) CN112364741B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113391642B (zh) * 2021-05-28 2022-06-03 西南交通大学 一种基于单目视觉的无人机自主避障方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104457775A (zh) * 2014-12-12 2015-03-25 北京航天宏图信息技术有限责任公司 路径确定方法、装置和导航仪
CN111142557A (zh) * 2019-12-23 2020-05-12 清华大学 无人机路径规划方法、系统、计算机设备及可读存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7130745B2 (en) * 2005-02-10 2006-10-31 Toyota Technical Center Usa, Inc. Vehicle collision warning system
CN107292932B (zh) * 2016-04-07 2020-06-09 上海交通大学 基于图像膨胀率的迎面视频测速方法
CN107272735A (zh) * 2017-06-16 2017-10-20 深圳市可飞科技有限公司 移动平台自动规避碰撞的方法、系统及移动平台
CN107368095B (zh) * 2017-08-29 2018-08-21 中国人民解放军国防科技大学 一种小型固定翼无人机空中防撞系统及防撞方法
CN107443430B (zh) * 2017-09-12 2019-11-05 珠海市一微半导体有限公司 智能机器人碰撞障碍物的检测方法及建图方法
CN107992065A (zh) * 2017-09-14 2018-05-04 北京航空航天大学 一种固定翼无人机群移动目标跟踪与避障防碰撞方法
CN108323190B (zh) * 2017-12-15 2022-07-29 深圳市道通智能航空技术股份有限公司 一种避障方法、装置和无人机
CN109255302A (zh) * 2018-08-15 2019-01-22 广州极飞科技有限公司 目标物识别方法及终端、移动装置控制方法及终端
CN109407103A (zh) * 2018-09-07 2019-03-01 昆明理工大学 一种无人机雾天障碍物识别装置及其识别方法
CN110007313A (zh) * 2019-03-08 2019-07-12 中国科学院深圳先进技术研究院 基于无人机的障碍物检测方法及装置
CN110427044A (zh) * 2019-07-17 2019-11-08 河北科技大学 基于改进速度障碍法的无人机冲突探测与冲突解脱方法
CN111260719B (zh) * 2020-01-09 2022-10-25 上海交通大学 一种基于神经网络算法的碰撞时间计算系统和方法
CN111813124B (zh) * 2020-07-22 2022-08-19 浙江迈睿机器人有限公司 一种基于拓扑地图的移动机器人混合调度方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104457775A (zh) * 2014-12-12 2015-03-25 北京航天宏图信息技术有限责任公司 路径确定方法、装置和导航仪
CN111142557A (zh) * 2019-12-23 2020-05-12 清华大学 无人机路径规划方法、系统、计算机设备及可读存储介质

Also Published As

Publication number Publication date
CN112364741A (zh) 2021-02-12

Similar Documents

Publication Publication Date Title
US20220277557A1 (en) Target detection method based on fusion of vision, lidar, and millimeter wave radar
US11719788B2 (en) Signal processing apparatus, signal processing method, and program
EP3264364B1 (en) Method and apparatus for obtaining range image with uav, and uav
US10262242B2 (en) Image scanning system and image scanning method
CN109490908B (zh) 一种线扫描激光雷达及扫描方法
CN111492265A (zh) 基于3d激光雷达测量的多分辨率、同时定位和地图绘制
CN113160327A (zh) 一种点云补全的实现方法和系统
CN113227839A (zh) 具有结构光照明器的飞行时间传感器
JP4691701B2 (ja) 人数検出装置及び方法
KR102151815B1 (ko) 카메라 및 라이다 센서 융합을 이용한 객체 검출 방법 및 그를 위한 장치
CN110325879A (zh) 用于压缩三维深度感测的系统和方法
CN105115445A (zh) 基于深度相机与双目视觉复合的三维成像系统及成像方法
JP2004530144A (ja) 画像情報を提供する方法
CN111712828A (zh) 物体检测方法、电子设备和可移动平台
US20210117696A1 (en) Method and device for generating training data for a recognition model for recognizing objects in sensor data of a sensor, in particular, of a vehicle, method for training and method for activating
CN112150620A (zh) 使用距离传感器多次扫描和来自连续图像帧的多视图几何结构的密集映射
CN109444916A (zh) 一种无人驾驶可行驶区域确定装置及方法
EP3471063A1 (en) Three-dimensional imaging method and system
English et al. TriDAR: A hybrid sensor for exploiting the complimentary nature of triangulation and LIDAR technologies
CN112364741B (zh) 无人机单目远距离障碍检测方法、装置及无人机
JP2019128350A (ja) 画像処理方法、画像処理装置、車載装置、移動体、システム
CN113777622A (zh) 轨道障碍物辨识的方法及装置
CN113128248A (zh) 障碍物检测方法、装置、计算机设备和存储介质
Steinbaeck et al. Occupancy grid fusion of low-level radar and time-of-flight sensor data
WO2022195954A1 (ja) センシングシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant