CN114200471A - 基于无人机的森林火源检测系统、方法、存储介质、设备 - Google Patents

基于无人机的森林火源检测系统、方法、存储介质、设备 Download PDF

Info

Publication number
CN114200471A
CN114200471A CN202111486045.0A CN202111486045A CN114200471A CN 114200471 A CN114200471 A CN 114200471A CN 202111486045 A CN202111486045 A CN 202111486045A CN 114200471 A CN114200471 A CN 114200471A
Authority
CN
China
Prior art keywords
unmanned aerial
aerial vehicle
fire source
module
forest fire
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111486045.0A
Other languages
English (en)
Other versions
CN114200471B (zh
Inventor
曹月花
魏鑫华
李辉
林泽
廖龙吟
廖恒
伍文豪
钱柏宏
陈宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
School of Information Engineering of Hangzhou Dianzi University
Original Assignee
School of Information Engineering of Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by School of Information Engineering of Hangzhou Dianzi University filed Critical School of Information Engineering of Hangzhou Dianzi University
Priority to CN202111486045.0A priority Critical patent/CN114200471B/zh
Publication of CN114200471A publication Critical patent/CN114200471A/zh
Application granted granted Critical
Publication of CN114200471B publication Critical patent/CN114200471B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/933—Lidar systems specially adapted for specific applications for anti-collision purposes of aircraft or spacecraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
    • Y02A40/28—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture specially adapted for farming

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Fire-Detection Mechanisms (AREA)

Abstract

本发明属于森林火灾勘查技术领域，公开了一种基于无人机的森林火源检测系统、方法、存储介质、设备，所述基于无人机的森林火源检测系统包括：初始化模块、探测模块、惯性数据采集模块、定位模块、避障规划模块、距离确定模块、火源识别模块以及反馈模块。本发明利用搭载有激光雷达、双目相机的无人机进行远程火源检测，利用无人机的高空优势，进行大范围的巡查，用地面站软件收集温度，采集图像、森林检测等数据，通过图像的处理、特征识别发现可能存在山火隐患并且及时反馈信息，配合救火人员快速实施救援，提高了森林火源检测的安全性与智能性；同时能够有效的提高森林着火的反应速度。

Description

基于无人机的森林火源检测系统、方法、存储介质、设备
技术领域
本发明属于森林火灾勘查技术领域，尤其涉及一种基于无人机的森林火源检测系统、方法、存储介质、设备。
背景技术
目前，我国森林资源较为贫乏，森林覆盖率约为13％左右，人均森林占有面积仅为世界平均值的1/6，但森林大火每年都有发生，如何有效解决森林防火、灭火的问题，又成为林业工作的重中之重。
无人机中低空监测系统具有机动快速、使用成本低、维护操作简单等技术特点，具有对地快速实时巡察监测能力，是一种新型的中低空实时电视成像和红外成像快速获取系统。可以在地面巡护无法顾及的偏远地区发生林火的早期发现以及对重大森林火灾现场的各种动态信息的准确把握和及时了解。
无人机技术在火灾现场进行救援，具体应用过程中可以及时勘查火灾现场实况具有实际意义。出现火灾之后，利用传统人工方式通常无法对现场进行全面勘测，而且传统方法在应用过程中危险性比较高，无人机的出现应用解决此项实际问题，克服了传统方法中的弊端。首先，无人机日常维护操作都比较简单，使用时不需要专门的起落机场，在出现危险的现场可以及时进行勘察并且实现运输，无人机运行过程中不需要配备驾驶人员，只需要操作人员进行远程操控，而且操作命令下达非常快速，短时间内没有任何危险可以完成操作，相对来说无人机机身成本比较低，即便是在救援过程中出现损坏，损失也不会太大，而且应用在复杂地形现场无人机可以随时起飞降落不受限制。
通过上述分析，现有技术存在的问题及缺陷为：传统的利用人工进行森林火灾勘查的技术不能全面进行勘测，同时危险程度高，现有技术还没有利用无人机进行森林火灾勘查的方法。
解决以上问题及缺陷的难度为：无人机对数据实时性要求很高，难度在于规划出来的路径一般是平滑、安全的，但是该算法存在局部最优点问题，在特定的环境下容易陷入局部极小点，即由于环境中数个障碍物分布在特定位置，使得存在一些局部的极值区域，无人机便无法脱离该区域继续进行路径规划。如在正向面对空心碗状的障碍物时，会在其中心投影上左右振荡，导致卡在该障碍物前，又或由于引力过大导致速度过快，速度还没降下来就径直撞上障碍物。为了解决该问题，把安全半径调大，使其有更长的缓冲距离并修正引力函数，避免离目标点太远导致引力过大，同时，在面对安全距离严重超限的情况下，对无人机进行强制后拉，来避免无人机与物体的碰撞。排斥力与引力干扰因素比较多，很难通过比例系数的调整，将其分别转换成线速度并传递给速度控制节点，完成无人机的定向导航，并对接下来可能起火的位置进行预防。
解决以上问题及缺陷的意义为：在飞行前我们使用了ROS中的Gazebo虚拟仿真软件进行测试。将每次仿真的数据记录下来进行分析，解决了流程上的很多问题，大大降低了无人机在实际环境下失控的可能性。使用基于激光雷达的slam算法，使得无人机可以在室内等无法获取GPS信号的地方自主定位。将一个机器人放入未知环境中的未知位置，是否有办法让机器人一边移动一边逐步描绘出此环境完全的地图，所谓完全的地图(aconsistentmap)是指不受障碍行进到房间可进入的每个角落。利用无人机自主飞行，配合地面站(QG)规划出地理围栏和禁飞区域，这样无人机就可以在无人操作下在某一指定邻域进行巡逻。对比一些只有遥控控制的无人机在发现火源后还要人为的操控飞向火源位置节省了大量的救援时间，也减少了人员学习操作无人机的时间。在发现火源后，无人机在必要时，可以从高空下降，利用其改进后的人工势场法能够很好的规避树杈进入森林里，从而更近距离的观察火源，及其周围环境。为接下来的救援提供有利的条件。
发明内容
针对现有技术存在的问题，本发明提供了一种基于无人机的森林火源检测系统、方法、存储介质、设备。
本发明是这样实现的，一种基于无人机的森林火源检测系统，所述基于无人机的森林火源检测系统包括：
初始化模块，用于通过地面站连接到无人机，对无人机的各个传感器参数进行初始化并校准；
探测模块，用于利用搭载有激光雷达、双目相机的无人机飞行至相应区域，并对周围环境进行360°的全方位扫描测距检测、获取相应的影像数据；
惯性数据采集模块，用于利用惯性传感器进行数据采集；
定位模块，用于将探测模块获取的相关数据与惯性传感器数据融合确定无人机在空间坐标系的相对位置；同时用于基于激光雷达的测距扫描结果确定雷达所在平面上障碍物距离雷达的直线距离；
避障规划模块，用于利用优化的人工势场法进行避障规划；
距离确定模块，用于确定无人机当前位置与任务点的直线距离；
火源识别模块，用于对探测模块获取的相应影像数据进行处理，进行火源的识别与位置检测；
反馈模块，用于无人机将检测的火源位置反馈至地面站。
本发明的另一目的在于提供一种应用于所述基于无人机的森林火源检测系统的基于无人机的森林火源检测方法，所述基于无人机的森林火源检测方法包括：
步骤一，通过地面站连接到无人机，对无人机的各个传感器参数进行初始化并校准；可以保证无人机可以正常工作。
步骤二，利用双目相机、激光雷达、惯性传感器、GPS以及其他传感器进行相应数据的采集，基于采集的数据判断无人机是否遇到障碍，若遇到障碍则基于优化的人工势场法进行避障；可以保证无人机不被干扰，顺利的飞行。
步骤三，基于采集的数据判断无人机是否达到目标位置，若达到目标位置，则利用双目相机进行图像的采集；可以保证无人机找到火源位置，并保持安全高度。
步骤四，基于采集的图像进行火源识别，确定火源的位置，并调整无人机靠近火源位置。可以保证无人机可以精准的返回火源位置信息。
进一步，所述基于优化的人工势场法进行避障包括：
将安全半径调大，同时，在面对安全距离严重超限的情况下，强制控制无人机后拉；计算得到排斥力即障碍物与引力即目标点后，通过比例系数的调整，将排斥力、引力分别转换成线速度并传递给速度控制节点，通过设定外环和内环两距离，通过判断障碍物与无人机的距离控制无人机的速度，控制无人机避障。
进一步，所述基于采集的数据判断无人机是否达到目标位置包括：
通过获取雷达相邻角度的距离之差，得到对应平面处的突变值，当突变值大于预设阈值后，判定此处平面可能不平整或拥有断层，通过调整预设阈值判断断层所在的位置即过道相对于无人机位置所在的角度；
基于所述过道相对于无人机位置所在的角度确定过道的中心坐标，再通过计算的到当前位置与目标位置的直线距离，判断无人机是否达到目标位置。
进一步，所述基于采集的图像进行火源识别，确定火源的位置包括：
对采集的图像通过预处理，利用YOLOv3网络对预处理后的图像进行特征识别，将特征识别结果与事先的图像集对比确实是否存在火源；
若存在火源，则对比图像中心像素点和视频中心像素点确定无人机与火源位置。
进一步，所述YOLOv3网络包括：
多尺度检测模块、特征提取模块以及分类模块；
特征提取模块包括：利用于残差神经网络改进的Darknet53网络作为特征提取器进行特征提取；
分类模块包括：利用sigmoid激活函数进行图像的多分类。
进一步，所述sigmoid的函数表达式如下：
Figure BDA0003396597960000051
其中，z表示一个线性组合。
进一步，所述确定火源的位置之后还需进行：将确定的火源位置反馈至地面站。
本发明的另一目的在于提供一种接收用户输入程序存储介质，所存储的计算机程序使电子设备执行所述基于无人机的森林火源检测方法，包括下列步骤：
步骤一，通过地面站连接到无人机，对无人机的各个传感器参数进行初始化并校准；
步骤二，利用双目相机、激光雷达、惯性传感器、GPS以及其他传感器进行相应数据的采集，基于采集的数据判断无人机是否遇到障碍，若遇到障碍则基于优化的人工势场法进行避障；
步骤三，基于采集的数据判断无人机是否达到目标位置，若达到目标位置，则利用双目相机进行图像的采集；
步骤四，基于采集的图像进行火源识别，确定火源的位置，并调整无人机靠近火源位置。
本发明的另一目的在于提供一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施所述基于无人机的森林火源检测方法。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明利用无人机利用PX4(自动驾驶平台)进行远程火源检测，利用无人机的高空优势，进行大范围的巡查，用地面站软件收集温度，采集图像，森林检测等数据，发现可能存在山火隐患并且及时反馈信息，配合救火人员快速实施救援，提高了火源检测的安全性与智能性。
本发明的无人机设置有激光雷达、高帧率单目相机和双目相机，可实现自主定位、导航与环境感知，搭载深度学习等人工智能技术的无人机平台。本发明的无人机搭载GPU处理器，支持cuda，cudnn等并行运算加速器，搭载了yolo等神经网络算法，可以快速完成诸如目标识别，目标跟踪等感知任务。
附图说明
图1是本发明实施例提供的基于无人机的森林火源检测系统结构示意图；
图中：1、初始化模块；2、探测模块；3、惯性数据采集模块；4、定位模块；5、避障规划模块；6、距离确定模块；7、火源识别模块；8、反馈模块。
图2是本发明实施例提供的基于无人机的森林火源检测方法流程图。
图3是本发明实施例提供的速度矢量示意图。
图4是本发明实施例提供的避障原理示意图。
图5是本发明实施例提供的推理速度对比图。
图6是本发明实施例提供的ROS节点启动流程图。
图7是本发明实施例提供的ROS自主任务程序流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种基于无人机的森林火源检测系统、方法、存储介质、设备，下面结合附图对本发明作详细的描述。
如图1所示，本发明实施例提供的基于无人机的森林火源检测系统包括：
初始化模块1，用于通过地面站连接到无人机，对无人机的各个传感器参数进行初始化并校准；
探测模块2，用于利用搭载有激光雷达、双目相机的无人机飞行至相应区域，并对周围环境进行360°的全方位扫描测距检测、获取相应的影像数据；
惯性数据采集模块3，用于利用惯性传感器进行数据采集；
定位模块4，用于将探测模块获取的相关数据与惯性传感器数据融合确定无人机在空间坐标系的相对位置；同时用于基于激光雷达的测距扫描结果确定雷达所在平面上障碍物距离雷达的直线距离；
避障规划模块5，用于利用优化的人工势场法进行避障规划；
距离确定模块6，用于确定无人机当前位置与任务点的直线距离；
火源识别模块7，用于对探测模块获取的相应影像数据进行处理，进行火源的识别与位置检测；
反馈模块8，用于无人机将检测的火源位置反馈至地面站。
如图2所示，本发明实施例提供的基于无人机的森林火源检测方法包括：
S101，通过地面站连接到无人机，对无人机的各个传感器参数进行初始化并校准；
S102，利用双目相机、激光雷达、惯性传感器、GPS以及其他传感器进行相应数据的采集，基于采集的数据判断无人机是否遇到障碍，若遇到障碍则基于优化的人工势场法进行避障；
S103，基于采集的数据判断无人机是否达到目标位置，若达到目标位置，则利用双目相机进行图像的采集；
S104，基于采集的图像进行火源识别，确定火源的位置，并调整无人机靠近火源位置；将确定的火源位置反馈至地面站。
本发明实施例提供的基于优化的人工势场法进行避障包括：
将安全半径调大，同时，在面对安全距离严重超限的情况下，强制控制无人机后拉；计算得到排斥力即障碍物与引力即目标点后，通过比例系数的调整，将排斥力、引力分别转换成线速度并传递给速度控制节点，通过设定外环和内环两距离，通过判断障碍物与无人机的距离控制无人机的速度，控制无人机避障。
本发明实施例提供的基于采集的数据判断无人机是否达到目标位置包括：
通过获取雷达相邻角度的距离之差，得到对应平面处的突变值，当突变值大于预设阈值后，判定此处平面可能不平整或拥有断层，通过调整预设阈值判断断层所在的位置即过道相对于无人机位置所在的角度；
基于所述过道相对于无人机位置所在的角度确定过道的中心坐标，再通过计算的到当前位置与目标位置的直线距离，判断无人机是否达到目标位置。
本发明实施例提供的基于采集的图像进行火源识别，确定火源的位置包括：
对采集的图像通过预处理，利用YOLOv3网络对预处理后的图像进行特征识别，将特征识别结果与事先的图像集对比确实是否存在火源；
若存在火源，则对比图像中心像素点和视频中心像素点确定无人机与火源位置。
本发明实施例提供的YOLOv3网络包括：
多尺度检测模块、特征提取模块以及分类模块；
特征提取模块包括：利用于残差神经网络改进的Darknet53网络作为特征提取器进行特征提取；
分类模块包括：利用sigmoid激活函数进行图像的多分类。
本发明实施例提供的sigmoid的函数表达式如下：
Figure BDA0003396597960000081
其中，z表示一个线性组合。
下面结合具体实施例对本发明的技术方案做进一步说明。
实施例1：
基于我国森林火灾频发，本发明打算利用无人机利用PX4(自动驾驶平台)进行远程火源检测。利用无人机的高空优势，进行大范围的巡查，用地面站软件收集温度，采集图像，森林检测等数据，发现可能存在山火隐患并且及时反馈信息。从而配合救火人员快速实施救援。
1、系统组成及基本部件
拥有激光雷达、高帧率单目相机和双目相机，可实现自主定位、导航与环境感知，搭载深度学习等人工智能技术的无人机平台。搭载GPU处理器，支持cuda，cudnn等并行运算加速器，搭载了yolo等神经网络算法，可以快速完成诸如目标识别，目标跟踪等感知任务。
1.1环境配置
(1)30A堵转保护电调、1045自锁桨、2216无刷电机、4S大容量锂电池；
(2)410mm轴距，铝合金、碳纤复合结构设计，轻量、坚硬；
(2)传感器：T265双目相机、RPLIDAR-A2型360°激光雷达、激光定高模块、视觉相机、GPS、气压计；
(3)控制器：英伟达人工智能计算机JetsonNano
1.2基本部件的介绍
1.2.1 RPLIDAR-A2型360°激光雷达
RPLIDAR-A2型360°激光雷达在运行工作时其测距核心会顺时针旋转，可实现对周围环境360°的全方位扫描测距检测，测量距离可达16米，以便于获取周围环境的更多信息。其采样频率高达8000次/秒，可以实现快速精确建图，而且它的内部还采用了自主设计的无刷电机，极大程度上减小了由于机械摩擦所产生的噪音。
1.2.2 T265双目相机
T265双目相机尺寸108*25*13毫米，仅重55克。具有高度优化的专有V-SLAM算法直接在设备上运行，在预期的使用条件下提供低于1％的闭环漂移。
1.2.3英伟达人工智能计算机JetsonNano
472GFLOPS的浮点运算能力，四核Cortex-A57 CPU，Maxwell架构，128个CUDA单元的GPU和4GB LPDDR4内存。搭载ROS系统，自主研发基于ROS主题与消息指令的完整API，基于Python和C++的开源示例程序。
2、方案实现
2.1前期准备
首先通过地面站连接到无人机，对无人机的各个传感器参数进行初始化并校准，确保固件版本为1.9.2。然后对机载电脑进行配置与测试，启动mavros节点，查看节点是否正常与地面站通过tcp通信，再测试传图与预测是否一致。由于任务有一定的危险性，所以在使用实体机前，先用了虚拟环境进行模拟测试。
2.2环境模拟
不同于地面移动机器人，无人机系统对bug的容忍度很低，任何细微的代码错误都容易造成极为严重后果的飞行事故，以导致飞行设备的损坏。因此在飞行之前，利用仿真环境模拟无人机实际飞行是十分必要的。Gazebo就是一个可以与ROS配套使用的3D仿真环境。
本发明对该比赛的场地进行了仿真，通过Gazebo的仿真本发明更好的观察到了无人机运行的轨迹以及双目相机能观察到的范围。Gazebo还能提供众多的传感器插件，可以极大程度模拟真实的传感器对场景的感知行为，获取三维虚拟场景中的传感数据，实现虚拟机器人平台对虚拟环境的交互感知，这为系统调试带来极大的便利。这对本发明后面优化人工势场法起到重要的帮助。
2.3逻辑分析
起飞与降落可以通过直接调用Mavros提供的接口进行一键完成。由于无人机在向目标航点的运动过程中所遇到的物体具有未知性，故全任务过程中需要拥有避障算法来解决该问题。除此之外，穿过障碍物的前提是要寻找航线，故此处需要使用巡航算法。最后还需要预测火源位置，所以需要通过相机标定获取到目标图像的实际位置，计算出火源所在的大概位置。
2.4实现算法
2.4.1定位
常见的移动机器人领域定位有位姿跟踪和全局定位两种无人机底部的激光定高传感器、前面搭载的T265双目摄像头所返回的实时参数，与飞控的内部imu传感器数据融合后得到无人机在空间坐标系的相对位置，这是整个任务成功完成的基础。除此之外，无人机还搭载了RPLIDAR-A2型雷达，凭借其360°全方位高精度的测距扫描，本发明可以准确的获得一个雷达所在平面上障碍物距离雷达的直线距离。
2.4.2校准
本发明还应用了QGroundControl(地面站)进行了传感器校准，同时QG也可以自动规划任务。并且QG还能规划地理围栏和禁飞区域，这就使得无人机在飞行过程中不会远离本发明设定的范围，从而导致的信号丢失。而QG的设置集合点也能让本发明的无人机在发现火源且完成任务后，及时的回到设置点，而不是在照着原路避障返回。
2.4.3避障
移动机器人智能的一个重要标志就是自主导航，而实现机器人自主导航有个基本要求——避障。避障是指移动机器人在运动过程中，通过传感器感知到在其运动路线上存在静态或动态障碍物时，按照一定的算法绕过障碍物，最后达到目标点。
飞行过程中为了避免碰撞到物体，本发明对该问题采用了人工势场法，并对其存在的缺点进行了优化。人工势场法是一种仿生学思想，是局部路径规划的一种常用方法。仿照电子同性相斥，异性相吸的思想，将目标点看成负电荷，将机器人及其起点和障碍物带正电荷，通过同性电荷相斥，异性电荷相吸的原理，使无人机朝目标点运动，而障碍物作为同性电子产生斥力，阻碍无人机向其靠近。因此，无人机所受的合力等于这一点所有引力和斥力的和。由于采用的是线速度控制，本发明用速度表示力，力越大速度越快。
2.4.4巡航
通过获取雷达相邻角度的距离之差，可以得到对应平面处的突变值，当突变值大于某个阈值后，则可以判定该处平面可能不平整或拥有“断层”，在任务给定的环境条件下，则可以通过调整这个阈值来判断“断层”所在的位置即过道相对于无人机位置所在的角度。
在得到这个角度后，运用简单的几何知识即可获得过道的理论位置以及过道的宽度，从而确定过道的中心坐标，再通过计算的到当前位置与任务点的直线距离。
2.4.5火源识别
对于如何识别火源，本发明采用的方法是采用无人机自带的双目相机和图像识别相结合。图像识别是计算机对图像进行处理，分析，和识别不同模式的目标和对象的技术。通过双目相机获得的图像，通过图像识别算法，确定火源的位置。图像的识别通常分为四个流程:图像采集→图像预处理→特征提取→图像识别。
在无人机高速移动的同时需要对图像进行识别，这就要求识别时兼具精度和速度，而YOLO系列的模型在保有一定精度的基础上拥有很快的推理速度。YOLOv3在上一代的基础上进行了一些改进，包括多尺度检测等，并使用基于残差神经网络改进的Darknet53网络作为特征提取器，YOLOV3的推理速度远超其他模型。在分类上使sigmoid激活函数，支持了目标的多分类，具有推理速度快，性价比高，通用强等优点。其中sigmoid的函数表达式如下：
Figure BDA0003396597960000121
其中z是一个线性组合，比如z可以等于：w1*x1+w2*x2+b，可知g(z)的结果是在(0，1)内，这样一来就可以表示样本的概率。在实际飞行中，YOLOV3的识别效果也是非常的准确，可以正确的识别到图像上的物体并锚框。通过YOLOv3，无人机可以发现有浓烟的地方，通过与事先的图像集对比得知是否有火源。若有火源则对比图片中心像素点和视频中心像素点得知无人机与火源位置，从而朝着火源方向前进。
在到达火源的位置附近后，无人机将会将消息反馈给地面站，地面站的人员通过得到的消息进一步实施救援任务。
3、算法改进
虽然人工势场法容易理解，规划出来的路径一般是平滑、安全的，但是该算法存在局部最优点问题，在特定的环境下容易陷入局部极小点，即由于环境中数个障碍物分布在特定位置，使得存在一些局部的极值区域，无人机便无法脱离该区域继续进行路径规划。如在正向面对空心碗状的障碍物时，会在其中心投影上左右振荡，导致卡在该障碍物前，又或由于引力过大导致速度过快，速度还没降下来就径直撞上障碍物。为了解决该问题，本发明把安全半径调大，使其有更长的缓冲距离并修正引力函数，避免离目标点太远导致引力过大，同时，在面对安全距离严重超限的情况下，对无人机进行强制后拉，来避免无人机与物体的碰撞。在计算出排斥力与引力后，通过比例系数的调整，将其分别转换成线速度并传递给速度控制节点，完成无人机的定向导航。
在优化了人工势场法后，本发明通过设定外环和内环两距离，通过判断障碍物与无人机的距离来控制无人机的速度，使其能够平稳的通过障碍物，到达目标点。
4、实现流程
首先通过ROS依次启动mavros、雷达、视觉、摄像头和roscore等相结点，将各节点获取的数据反馈到自主任务节点中，最后在自主任务节点中完成任务。自主任务程序通过读取配置文件，获取各种传感器所反馈的数据判断无人机是否遇到了障碍物了，如果无人机遇到各类障碍物，通过人工势场算法避障，导航至最后的货源位置，随后通过画面，调整自身位置，靠近火源位置。
本发明使得无人机能够按照既定任务，完成一个又一个小目标。通过对避障算法的数学推理、参数修改以及程序逻辑改善，本发明不仅对无人机的整个飞行过程有了整体把握，还得到了一个相对安全的运行路径。在此期间不仅对硬件设备有深入了解，还对ROS的架构、通信机制、C++编程的掌握程度有大大提升。
无人机可以发现有浓烟的地方，通过与事先的图像集对比得知是否有火源。若有火源则对比图片中心像素点和视频中心像素点得知无人机与火源位置，从而朝着火源方向前进。在到达火源的位置附近后，无人机将会将消息反馈给地面站，地面站的人员通过得到的消息进一步实施救援任务。
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于无人机的森林火源检测方法，其特征在于，所述基于无人机的森林火源检测方法包括：
步骤一，通过地面站连接到无人机，对无人机的各个传感器参数进行初始化并校准；
步骤二，利用双目相机、激光雷达、惯性传感器、GPS以及其他传感器进行相应数据的采集，基于采集的数据判断无人机是否遇到障碍，若遇到障碍则基于优化的人工势场法进行避障；
步骤三，基于采集的数据判断无人机是否达到目标位置，若达到目标位置，则利用双目相机进行图像的采集；
步骤四，基于采集的图像进行火源识别，确定火源的位置，并调整无人机靠近火源位置。
2.如权利要求1所述基于无人机的森林火源检测方法，其特征在于，所述基于优化的人工势场法进行避障包括：
将安全半径调大，同时，在面对安全距离严重超限的情况下，强制控制无人机后拉；计算得到排斥力即障碍物与引力即目标点后，通过比例系数的调整，将排斥力、引力分别转换成线速度并传递给速度控制节点，通过设定外环和内环两距离，通过判断障碍物与无人机的距离控制无人机的速度，控制无人机避障。
3.如权利要求1所述基于无人机的森林火源检测方法，其特征在于，所述基于采集的数据判断无人机是否达到目标位置包括：
通过获取雷达相邻角度的距离之差，得到对应平面处的突变值，当突变值大于预设阈值后，判定此处平面可能不平整或拥有断层，通过调整预设阈值判断断层所在的位置即过道相对于无人机位置所在的角度；
基于所述过道相对于无人机位置所在的角度确定过道的中心坐标，再通过计算的到当前位置与目标位置的直线距离，判断无人机是否达到目标位置。
4.如权利要求1所述基于无人机的森林火源检测方法，其特征在于，所述基于采集的图像进行火源识别，确定火源的位置包括：
对采集的图像通过预处理，利用YOLOv3网络对预处理后的图像进行特征识别，将特征识别结果与事先的图像集对比确实是否存在火源；
若存在火源，则对比图像中心像素点和视频中心像素点确定无人机与火源位置。
5.如权利要求4所述基于无人机的森林火源检测方法，其特征在于，所述YOLOv3网络包括：
多尺度检测模块、特征提取模块以及分类模块；
特征提取模块包括：利用于残差神经网络改进的Darknet53网络作为特征提取器进行特征提取；
分类模块包括：利用sigmoid激活函数进行图像的多分类。
6.如权利要求5所述基于无人机的森林火源检测方法，其特征在于所述sigmoid的函数表达式如下：
Figure FDA0003396597950000021
其中，z表示一个线性组合。
7.如权利要求1所述基于无人机的森林火源检测方法，其特征在于，所述确定火源的位置之后还需进行：将确定的火源位置反馈至地面站。
8.一种实施权利要求1～7任意一项所述基于无人机的森林火源检测方法的基于无人机的森林火源检测系统，其特征在于，所述基于无人机的森林火源检测系统包括：
初始化模块，用于通过地面站连接到无人机，对无人机的各个传感器参数进行初始化并校准；
探测模块，用于利用搭载有激光雷达、双目相机的无人机飞行至相应区域，并对周围环境进行360°的全方位扫描测距检测、获取相应的影像数据；
惯性数据采集模块，用于利用惯性传感器进行数据采集；
定位模块，用于将探测模块获取的相关数据与惯性传感器数据融合确定无人机在空间坐标系的相对位置；同时用于基于激光雷达的测距扫描结果确定雷达所在平面上障碍物距离雷达的直线距离；
避障规划模块，用于利用优化的人工势场法进行避障规划；
距离确定模块，用于确定无人机当前位置与任务点的直线距离；
火源识别模块，用于对探测模块获取的相应影像数据进行处理，进行火源的识别与位置检测；
反馈模块，用于无人机将检测的火源位置反馈至地面站。
9.一种接收用户输入程序存储介质，所存储的计算机程序使电子设备执行如权利要求1-7任意一项所述基于无人机的森林火源检测方法，包括下列步骤：
步骤一，通过地面站连接到无人机，对无人机的各个传感器参数进行初始化并校准；
步骤二，利用双目相机、激光雷达、惯性传感器、GPS以及其他传感器进行相应数据的采集，基于采集的数据判断无人机是否遇到障碍，若遇到障碍则基于优化的人工势场法进行避障；
步骤三，基于采集的数据判断无人机是否达到目标位置，若达到目标位置，则利用双目相机进行图像的采集；
步骤四，基于采集的图像进行火源识别，确定火源的位置，并调整无人机靠近火源位置。
10.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1-7任意一项所述基于无人机的森林火源检测方法的步骤。
CN202111486045.0A 2021-12-07 2021-12-07 基于无人机的森林火源检测系统、方法、存储介质、设备 Active CN114200471B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111486045.0A CN114200471B (zh) 2021-12-07 2021-12-07 基于无人机的森林火源检测系统、方法、存储介质、设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111486045.0A CN114200471B (zh) 2021-12-07 2021-12-07 基于无人机的森林火源检测系统、方法、存储介质、设备

Publications (2)

Publication Number Publication Date
CN114200471A true CN114200471A (zh) 2022-03-18
CN114200471B CN114200471B (zh) 2022-08-23

Family

ID=80651058

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111486045.0A Active CN114200471B (zh) 2021-12-07 2021-12-07 基于无人机的森林火源检测系统、方法、存储介质、设备

Country Status (1)

Country Link
CN (1) CN114200471B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115671617A (zh) * 2022-11-03 2023-02-03 国网冀北电力有限公司超高压分公司 柔直换流站火灾定位方法、装置、设备及存储介质
CN117128957A (zh) * 2023-10-27 2023-11-28 湖南光华防务科技集团有限公司 一种多源信息融合的无人机火源定位方法及系统
CN117523499A (zh) * 2023-12-29 2024-02-06 广东邦盛北斗科技股份公司 基于北斗定位与感知的森林防火监测方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105629974A (zh) * 2016-02-04 2016-06-01 重庆大学 一种基于改进型人工势场法的机器人路径规划方法及系统
CN108459612A (zh) * 2017-02-21 2018-08-28 北京航空航天大学 基于人工势场法的无人机编队控制方法及装置
CN108646761A (zh) * 2018-07-12 2018-10-12 郑州大学 基于ros的机器人室内环境探索、避障和目标跟踪方法
CN112034456A (zh) * 2020-08-27 2020-12-04 五邑大学 烟雾巡检系统、方法、控制装置及存储介质
CN112884090A (zh) * 2021-04-14 2021-06-01 安徽理工大学 基于改进YOLOv3的火灾检测识别方法
CN113359141A (zh) * 2021-07-28 2021-09-07 东北林业大学 一种基于无人机多传感器数据融合的林火定位方法及系统
CN113566825A (zh) * 2021-07-07 2021-10-29 哈尔滨工业大学（深圳） 基于视觉的无人机导航方法、系统及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105629974A (zh) * 2016-02-04 2016-06-01 重庆大学 一种基于改进型人工势场法的机器人路径规划方法及系统
CN108459612A (zh) * 2017-02-21 2018-08-28 北京航空航天大学 基于人工势场法的无人机编队控制方法及装置
CN108646761A (zh) * 2018-07-12 2018-10-12 郑州大学 基于ros的机器人室内环境探索、避障和目标跟踪方法
CN112034456A (zh) * 2020-08-27 2020-12-04 五邑大学 烟雾巡检系统、方法、控制装置及存储介质
CN112884090A (zh) * 2021-04-14 2021-06-01 安徽理工大学 基于改进YOLOv3的火灾检测识别方法
CN113566825A (zh) * 2021-07-07 2021-10-29 哈尔滨工业大学（深圳） 基于视觉的无人机导航方法、系统及存储介质
CN113359141A (zh) * 2021-07-28 2021-09-07 东北林业大学 一种基于无人机多传感器数据融合的林火定位方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115671617A (zh) * 2022-11-03 2023-02-03 国网冀北电力有限公司超高压分公司 柔直换流站火灾定位方法、装置、设备及存储介质
CN117128957A (zh) * 2023-10-27 2023-11-28 湖南光华防务科技集团有限公司 一种多源信息融合的无人机火源定位方法及系统
CN117128957B (zh) * 2023-10-27 2024-01-02 湖南光华防务科技集团有限公司 一种多源信息融合的无人机火源定位方法及系统
CN117523499A (zh) * 2023-12-29 2024-02-06 广东邦盛北斗科技股份公司 基于北斗定位与感知的森林防火监测方法及系统
CN117523499B (zh) * 2023-12-29 2024-03-26 广东邦盛北斗科技股份公司 基于北斗定位与感知的森林防火监测方法及系统

Also Published As

Publication number Publication date
CN114200471B (zh) 2022-08-23

Similar Documents

Publication Publication Date Title
US11866198B2 (en) Long-duration, fully autonomous operation of rotorcraft unmanned aerial systems including energy replenishment
CN114200471B (zh) 基于无人机的森林火源检测系统、方法、存储介质、设备
Ma'Sum et al. Simulation of intelligent unmanned aerial vehicle (UAV) for military surveillance
US10152059B2 (en) Systems and methods for landing a drone on a moving base
Lee et al. Deep learning-based monocular obstacle avoidance for unmanned aerial vehicle navigation in tree plantations: Faster region-based convolutional neural network approach
US20180364740A1 (en) Systems and methods for charging unmanned aerial vehicles on a moving platform
Winkvist et al. Towards an autonomous indoor aerial inspection vehicle
US20190339718A1 (en) System and method for preceptive navigation of automated vehicles
Perez et al. Autonomous collision avoidance system for a multicopter using stereoscopic vision
Lim et al. Three-dimensional (3D) dynamic obstacle perception in a detect-and-avoid framework for unmanned aerial vehicles
Leong et al. Vision-based sense and avoid with monocular vision and real-time object detection for uavs
Mejias et al. Two seconds to touchdown-vision-based controlled forced landing
Sanchez-Lopez et al. A vision based aerial robot solution for the mission 7 of the international aerial robotics competition
Dubey et al. Droan-disparity-space representation for obstacle avoidance: Enabling wire mapping & avoidance
Lin Moving obstacle avoidance for unmanned aerial vehicles
AU2022262832A1 (en) System infrastructure for manned vertical take-off and landing aerial vehicles
Beul et al. Trajectory generation with fast lidar-based 3D collision avoidance for agile MAVs
Dinaux et al. FAITH: Fast iterative half-plane focus of expansion estimation using optic flow
Park Development of a quadrotor-type UAV platform for autonomous collision avoidance under teleoperation
Avalos Stereo vision-based system for detection, track and capture of intruder flying drones
Ollero et al. AERIAL-CORE: AI-Powered Aerial Robots for Inspection and Maintenance of Electrical Power Infrastructures
Rave Edge Processing of Image for UAS Sense and Avoidance
M'Sila et al. Automated Foreign Object Debris Detection System based on UAV
Naveenkumar et al. Autonomous Drone Using Time-of-Flight Sensor for Collision Avoidance
WO2022133528A1 (en) Collision avoidance for manned vertical take-off and landing aerial vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant