CN117128957B - 一种多源信息融合的无人机火源定位方法及系统 - Google Patents
一种多源信息融合的无人机火源定位方法及系统 Download PDFInfo
- Publication number
- CN117128957B CN117128957B CN202311403939.8A CN202311403939A CN117128957B CN 117128957 B CN117128957 B CN 117128957B CN 202311403939 A CN202311403939 A CN 202311403939A CN 117128957 B CN117128957 B CN 117128957B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- information
- point
- aerial vehicle
- unmanned aerial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 230000004927 fusion Effects 0.000 title claims abstract description 34
- 238000001931 thermography Methods 0.000 claims abstract description 37
- 230000001133 acceleration Effects 0.000 claims abstract description 28
- 230000007613 environmental effect Effects 0.000 claims description 17
- 230000010354 integration Effects 0.000 claims description 14
- 238000005457 optimization Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 8
- 238000013519 translation Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 230000036544 posture Effects 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 2
- 238000005295 random walk Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/0014—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation from gases, flames
- G01J5/0018—Flames, plasma or welding
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/48—Thermography; Techniques using wholly visual means
- G01J5/485—Temperature profile
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/40—UAVs specially adapted for particular uses or applications for agriculture or forestry operations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J2005/0077—Imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Automation & Control Theory (AREA)
- Data Mining & Analysis (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Plasma & Fusion (AREA)
- Electromagnetism (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种多源信息融合的无人机火源定位方法及系统，包括：通过无人机挂载激光雷达、IMU和热成像仪进行信息采集；点云数据去除运动畸变，并生成点云深度图；将点云深度图和热成像仪生成的热成像图归一化处理，点云深度图的像素关联温度信息；采用帧间匹配的方法计算每个激光点的位置，生成激光里程计因子，IMU角速度和加速度预积分生成预积分因子，使用因子图融合激光里程计因子和预积分因子，得到环境和无人机的位置；使用滑动窗口搜索点云深度图，计算每个滑动窗口的温度平均值，通过温度平均值计算着火点的位置。本发明采用分层的思想融合多传感器信息，在火源定位中引入热成像仪的温度信息，实现无人机火源定位的功能。
Description
技术领域
本发明涉及无人机导航定位技术领域，特别涉及一种多源信息融合的无人机火源定位方法及系统。
背景技术
森林火灾是一种突发性强、破坏性大、处置救助较为困难的自然灾害，人工灭火往往由于环境复杂，行动不便等原因，严重影响灭火效率，采用飞机挂载灭火弹对火场进行灭火更具简单快捷性，效果突出。
采用飞机挂载灭火弹进行森林灭火的关键在于找到着火点即灭火位置，由于自然环境以及火场的变化发展，火场是动态变化的，因此需要及时将火场的坐标信息传送给运载飞机以及灭火弹。目前国际上对着火点定位方法的研究取得了长足进步，产生了诸如基于GPS和微波测距的森林着火点定位方法、基于CMYK 颜色特征的火灾区域定位新方法和基于PSO-GA 算法的无人机集群森林火灾探查方法，虽然他们可以实现良好的定位效果，但是由于缺乏温度信息，难以找到着火点的准确位置，因此需要提出一种新型的方法及系统，实现无人机火源定位的功能。
发明内容
本发明提供了一种多源信息融合的无人机火源定位方法及系统，以解决目前森林火灾着火点定位不准，信息源单一的技术问题。
为解决上述技术问题，本发明提供了如下技术方案：
一方面，本发明提供了一种多源信息融合的无人机火源定位方法，该多源信息融合的无人机火源定位方法包括：
通过无人机挂载激光雷达、IMU和热成像仪进行信息采集，所述激光雷达采集环境点云数据，所述IMU采集无人机自身位姿和加速度信息，所述热成像仪采集环境温度信息生成热成像图；
对点云数据去除运动畸变，并生成点云深度图；
将点云深度图和热成像仪生成的热成像图归一化处理，将点云深度图的像素关联温度信息；
采用帧间匹配的方法计算每个激光点的位置信息，生成激光里程计因子，IMU的角速度和加速度信息预积分生成预积分因子，使用因子图融合激光里程计因子和预积分因子，得到环境和无人机的位置；
使用滑动窗口搜索点云深度图，计算每个滑动窗口的温度平均值，并利用该平均值得到着火点位置。
进一步地，所述无人机挂载激光雷达、IMU和热成像仪的数据，包括：
所述激光雷达采集所用的是3D激光雷达，使用64束扫描线，扫描频率是10HZ，点云数据包含无人机到环境的距离信息；
所述IMU，英文名为Inertial measurement unit即惯性测量单元，它由三个单轴的加速度计和三个单轴的陀螺仪组成，加速度计检测物体在载体坐标系统独立三轴的加速度信号，而陀螺仪检测载体相对于导航坐标系的角速度信号，对这些信号进行处理之后，便可解算出载体的位置和旋转信息；
所述热成像仪可以将物体发出的不可见红外能量转变为可见的热成像图。热成像图上面的不同颜色代表被测物体的不同温度，因此可以通过热成像图，得到环境的温度值。
进一步地，所述对获取的激光点云数据去除运动畸变并生成点云深度图，包括：
激光点云的畸变是由于一帧数据的采集过程中，雷达载体进行运动导致，因此需要先计算采集过程中雷达的运动，然后在每帧中根据每个点的相对时间进行补偿这个运动量，包括旋转和平移的补偿。
首先计算采集过程中一帧点云中第一个激光点和最后一个激光点的位姿信息，包含平移和旋转变化量；
然后根据每个点的相对时间进行位姿的补偿，将第一个激光点和最后一个激光点的位姿变化量平均补偿到一帧内不同时间的激光点上。
进一步地，所述对去除运动畸变的点云生成点云深度图，包括：
所述激光雷达采集64线束，每一线束采集512个激光点，因此将每个激光点进行深度投影，生成一帧二维图像即点云深度图，该图像所述点云深度图的每个像素点包含着无人机到反射点的距离信息。
进一步地，所述点云深度图和热成像图归一化处理，点云深度图的像素关联温度信息，包括：
所述点云深度图像素格式为512*64，所述热成像图的像素格式为256*192；
对点云深度图和热成像图归一化处理，生成像素格式一致的256*64的图像；
再将归一化处理后热成像图与归一化处理后点云深度图中的像素一一对应，并将热成像图中像素所包含的温度值赋予点云深度图中的像素，实现点云深度图与热成像图温度信息的关联。
进一步地，所述采用帧间匹配的方法计算每个激光点的位置信息，生成激光里程计因子，包括：
采用帧间匹配的方法计算无人机的位置信息，帧间匹配时随机计算两帧点云对应激光点的距离信息，利用最小二乘法通过迭代使误差函数最小时，得到两帧点云位姿的变化量，由于初始位置已知，因此通过该方法不断计算得到无人机的实时位置。
进一步地，所述IMU的角速度和加速度信息预积分生成预积分因子，所述基于激光里程计因子和IMU预积分因子，使用因子图进行融合，所述方法包括：
对IMU测得的角速度和加速度信息进行预积分处理，构建预积分因子；
将所述激光里程计因子计算构建变量节点，预积分因子构成相关变量节点间的因子节点，一起加入因子图中进行联合优化，得到全局一致的位置轨迹，并经过地图的拼接后，得到全局一致性的地图。
进一步地，所述使用滑动窗口搜素深度图，计算每个滑动窗口的温度平均值，利用该温度平均值得到着火点位置，包括：
关联温度值的点云深度图像素格式为256*64，对每帧点云深度图进行拼接，得到全局一致性地图深度图；
设置滑动窗口大小为64*64，以每秒256像素点的速度沿无人机位置轨迹方向移动，计算不同时刻滑动窗口的温度平均值和位置平均值；
温度平均值最高的滑动窗口即为着火点范围位置，着火点即为滑动窗口的中心点。
另一方面，本发明还提供了一种多源信息融合的无人机火源定位系统，该多源信息融合的无人机火源定位系统包括：
传感器数据采集模块，通过无人机挂载激光雷达、IMU和热成像仪进行信息采集，所述激光雷达采集环境点云数据，所述IMU采集无人机自身位姿和加速度信息，所述热成像仪采集环境温度信息生成热成像图，对点云数据去除运动畸变，并生成点云深度图；
点云深度与温度关联模块，点云深度图和热成像图归一化处理，点云深度图的像素关联温度信息；
传感器数据融合模块，采用帧间匹配的方法计算每个激光点的位置信息，生成激光里程计因子，IMU的角速度和加速度信息预积分生成预积分因子，使用因子图融合激光里程计因子和预积分因子，得到环境和无人机的位置；
着火点搜索模块，使用滑动窗口搜索点云深度图，计算每个滑动窗口的温度平均值，并利用该平均值得到着火点位置。
本发明提供的技术方案带来的有益效果至少包括：
本发明将热成像仪的温度信息引入无人机定位算法，增加了算法信息的丰富度，实现着火点定位的目的；多源信息融合采用分级融合的思想，激光雷达生成的点云深度图关联和热成像仪的温度信息，之后将激光雷达和IMU用因子图融合在一起进行联合优化，充分发挥每个传感器信息的作用，同时避免了信息冗余，相比于单传感器和单一信息源的系统，本发明具有更高的鲁棒性能。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种多源信息融合的无人机火源定位方法步骤实施图；
图2为本发明实施例提供的一种多源信息融合的无人机火源定位系统模块示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
实施例一
本实施例提供了一种多源信息融合的无人机火源定位方法，该方法可以由电子设备实现。具体地，本实施例的方法包括以下步骤：
S10：通过无人机挂载激光雷达、IMU和热成像仪进行信息采集，所述激光雷达采集环境点云数据，所述IMU采集无人机自身位姿和加速度信息，所述热成像仪采集环境温度信息生成热成像图；
S11：对点云数据去除运动畸变，并生成点云深度图；
S12：将点云深度图和热成像仪生成的热成像图归一化处理，将点云深度图的像素关联温度信息；
S13：采用帧间匹配的方法计算每个激光点的位置信息，生成激光里程计因子，IMU的角速度和加速度信息预积分生成预积分因子，使用因子图融合激光里程计因子和预积分因子，得到环境和无人机的位置；
S14：使用滑动窗口搜索点云深度图，计算每个滑动窗口的温度平均值，并利用该平均值得到着火点位置。
综上，本实施例的无人机火源定位方法主要有以下特点：1、本方法利用将热成像仪的温度信息引入无人机定位方法，丰富了信息源，目的在于实现着火点定位功能，其主要特点如下：（1）归一化点云深度图和热成像图，点云深度图的像素关联温度信息；（2）本方法在进行多源信息融合时采用分级融合的思想，先对激光雷达和热成像仪的有效数据进行关联融合，之后将激光雷达和IMU信息用因子图融合在一起进行联合优化，充分发挥了每个传感器信息的作用。2、相比传统着火点定位算法，本方法使用了温度信息，更适用于着火点定位；3、本方法在进行着火点搜索时使用了滑动窗口的方式，通过计算整个滑动窗口的温度平均值确定着火点范围，利用滑动窗口的中心位置确定着火点位置，计算简单高效。
实施例二
本实施例将结合相应的附图对本发明的一种多源信息融合的无人机火源定位方法进行更详细的描述，如图1所示，该方法主要分为五个步骤，一是通过无人机挂载激光雷达、IMU和热成像仪进行信息采集，所述激光雷达采集环境点云数据，所述IMU采集无人机自身位姿和加速度信息，所述热成像仪采集环境温度信息生成热成像图；二是对点云数据去除运动畸变，并生成点云深度图；三是将点云深度图和热成像仪生成的热成像图归一化处理，将点云深度图的像素关联温度信息；四是采用帧间匹配的方法计算每个激光点的位置信息，生成激光里程计因子，IMU的角速度和加速度信息预积分生成预积分因子，使用因子图融合激光里程计因子和预积分因子，得到环境和无人机的位置；其中，因子图优化采用GTSAM，它是一个在机器人领域和计算机视觉领域用于平滑和建图的C++库；五是使用滑动窗口搜索点云深度图，计算每个滑动窗口的温度平均值，并利用该平均值得到着火点位置。
具体地，本实施例的方法包括以下步骤：
步骤S10：激光雷达、IMU和热成像仪，其中激光雷达获得环境点云数据，IMU获得无人机自身位姿和加速度信息，热成像仪获得环境温度信息；
激光雷达采集所用的是3D激光雷达，64线束，频率10HZ，角分辨为0.2°，每秒采集10帧点云数据，点云数据包含无人机到环境的距离信息，且排列杂乱无章；
IMU（英文：Inertial measurement unit，简称 IMU）即惯性测量单元，它由三个单轴的加速度计和三个单轴的陀螺仪组成，加速度计检测物体在载体坐标系统独立三轴的加速度信号，而陀螺仪检测载体相对于导航坐标系的角速度信号，对这些信号进行处理之后，便可解算出载体的位置和旋转信息；
热成像仪可以将物体发出的不可见红外能量转变为可见的热成像图。热成像图上面的不同颜色代表被测物体的不同温度，因此可以通过热成像图，得到环境的温度值。
步骤S11：点云数据去除运动畸变，并生成点云深度图。
激光点云的畸变是由于一帧数据的采集过程中，雷达载体进行运动导致，因此需要先计算采集过程中雷达的运动，然后在每帧中根据每个点的相对时间进行补偿这个运动量，包括旋转和平移的补偿。
首先计算采集过程中一帧点云中第一个激光点和最后一个激光点的位姿信息，包含平移和旋转变化量；
然后根据每个点的相对时间进行位姿的补偿，将第一个激光点和最后一个激光点的位姿变化量平均补偿到一帧内不同时间的激光点上。
设t是当前点云中激光点的时间戳，m表示扫描线束的扫描频率数，且设置其初始值为0，激光点的位姿可由帧间匹配得到。表示载体的姿态包含激光的六自由度运动，当扫描频率数为m时，/>是激光LIDAR在/>时刻的姿态，表示载体的姿态是关于点云时间戳t的函数，/>，其中/>是平移矩阵，/>是旋转矩阵。
假定是第一个激光点和最后一个激光点的位姿变化量，/>表示第一个激光点的位姿，/>表示最后一个激光点的位姿，则：
当给定一个激光点y，是第一个激光点的时间戳，/>是最一个激光点的时间戳，i表示激光点的排序号，/>是上述激光点补偿后的位姿，上述位姿可以通过线性插值计算出/>
通过上述过程去除运动畸变。
激光雷达每一线束采集512个激光点，共64线束，因此将每个激光点进行深度投影，生成一帧二维图像即点云深度图，该图像的每个像素点包含着无人机到反射点的距离信息。
步骤S12：将点云深度图和热成像仪生成的热成像图归一化处理，点云深度图的像素关联温度信息。
点云深度图像素格式为512*64，热成像图的像素格式为256*192，为将每个点云深度图的像素赋予温度信息，需要将点云深度图和热成像图归一化处理，生成像素格式一致的256*64的图像，之后将热成像图的温度值与点云深度图的对应像素点相关联。
步骤S13：采用帧间匹配的方法计算每个激光点的位置信息，生成激光里程计因子，IMU的角速度和加速度信息预积分生成预积分因子，使用因子图融合上述两种因子，得到更加准确的环境和无人机位置。
采用帧间匹配的方法计算无人的位置信息，帧间匹配时随机计算两帧点云对应激光点的距离信息，利用最小二乘法迭代使误差函数最小时，即可得到两帧点云位姿的变化量，由于初始位置已知，因此可以通过该方法不断计算得到无人机的实时位姿。ICP的误差函数公式如下所示：
其中，是指激光点的误差函数，n是激光雷达扫描线束，/>是指在第j+1时刻第k条扫描线（scan）的激光点的向量（以初始位置为坐标原点），/>是指在第j时刻第u条扫描线（scan）的激光点的向量。
在得到误差函数之后，需要对误差函数进行求解，采取的方法是LM算法进行激光里程计的运动估计，最后统一为一个非线性函数求解计算。同时将其转换为激光里程计因子进行联合优化。
IMU主要可以测量得到角速度和加速度信息。具体形式如下公式所示：
其中，和/>代表了IMU的测量值旋转角速度和加速度，由于存在随机游走bias（其中/>和/>分别是在/>时刻角速度和加速度的随机游走）和白噪声(其中/>和/>分别是/>时刻角速度和加速度的白噪声)，因此测量值会存在干扰，/>和/>是角速度和加速度的真实值，/>是在 /> 时刻B无人机坐标系下测量得到的信息到W世界坐标系下的变换矩阵，/>是重力常量。
所以如果环境干扰过大，某些情况下仅以IMU的信息作为基准，误差过大，考虑IMU自身的误差干扰，为提高计算效率，对IMU信息进行预积分处理，构建预积分因子，具体公式如下所示，分别代表了无人机的速度，加速度及旋转方向的变化关系。
其中分别代表了无人机的速度位置和旋转的信息，/>是指在时刻到/>变换时间内的速度变化，其他同理。最后将所述激光里程计因子计算构建变量节点，预积分因子构成相关变量节点间的因子节点，做联合优化，得到更加准确的环境和无人机位置信息。
需要说明的是，在多传感器融合的方案中，有基于滤波器法和基于图优化法，目前主流的方式是以批量处理的图优化方式，该算法不仅考虑相邻帧间的信息，而且对全局信息进行关联，可有效降低累计误差。因子图是概率图的一种，能够在最大后验概率推断问题中表示为归一化后验概率的能力，因而成为概率机器人领域理想的图模型。主要内容就是构建因子图和对信息矩阵得增量优化，在因子图构建的过程中，主要有因子节点和变量节点，在SLAM问题里，把位姿X构建为变量节点，本方法中由激光里程计因子计算得到，之后将预积分因子构成相关变量节点间的因子节点，最后通过GTSAM库进行优化，得到全局一致的位置轨迹，由于准确的位姿也会使观测信息更加精准，经过地图的拼接后，从而得到全局一致性地图。
步骤S14：使用滑动窗口搜素点云深度图，计算每个滑动窗口的温度平均值，并通过温度平均值计算着火点的位置。
关联温度值的点云深度图像素格式为256*64，对每帧点云深度图进行拼接，得到全局一致性地图深度图。设置滑动窗口大小为64*64，滑动窗口沿轨迹方向移动，且每个滑动窗口不重叠。
计算不同时刻滑动窗口的温度平均值
其中,表示滑动窗口的温度平均值,r表示滑动窗口的序列号，H表示像素值的总数，W表示每个像素关联的温度值。
计算不同时刻滑动窗口的位置平均值
其中,表示滑动窗口的温度平均值,r表示滑动窗口的序列号，H表示像素值的总数，T表示每个像素的位姿信息，位置信息主要包含x、y和z三个坐标轴的信息。
经过比较，温度平均值最高的滑动窗口即为着火点范围位置。
其中，表示温度平均值最高的滑动窗口，R表达该滑动窗口对应的序列号。
滑窗的中心点即为着火点。
其中，/>表示着火点位置，/>表示温度平均值最高的滑动窗口内像素的位置信息，位置信息主要包含x、y和z三个坐标轴的信息。
综上，本发明将热成像仪的温度信息引入无人机定位方法及系统，丰富了系统信息源，目的在于实现着火点定位功能，提高系统整体的鲁棒性；本方法在进行多源信息融合时采用分级融合的思想，先对激光雷达和热成像仪的有效数据进行关联融合，之后将激光雷达和IMU信息用因子图的方式融合在一起进行联合优化，充分发挥了每个传感器信息的作用，更适用于着火点定位；本方法在进行着火点搜索时使用了滑动窗口的方式，通过计算整个滑动窗口的温度平均值确定着火点范围，并通过温度平均值计算着火点的位置，计算简单高效。
实施例三
本实施例提供了一种多源信息融合的无人机火源定位系统，该多源信息融合的无人机火源定位系统的主要模块如图2所示：
传感器数据采集模块，通过无人机挂载激光雷达、IMU和热成像仪进行信息采集，所述激光雷达采集环境点云数据，所述IMU采集无人机自身位姿和加速度信息，所述热成像仪采集环境温度信息生成热成像图，对点云数据去除运动畸变，并生成点云深度图；
点云深度与温度关联模块，点云深度图和热成像图归一化处理，点云深度图的像素关联温度信息；
传感器数据融合模块，采用帧间匹配的方法计算每个激光点的位置信息，生成激光里程计因子，IMU的角速度和加速度信息预积分生成预积分因子，使用因子图融合激光里程计因子和预积分因子，得到环境和无人机的位置；
着火点搜索模块，使用滑动窗口搜索点云深度图，计算每个滑动窗口的温度平均值，并通过温度平均值计算着火点的位置。
本实施例的一种多源信息融合的无人机火源定位系统与上述实施例的无人机火源定位方法相对应；其中，本实施例的一种多源信息融合的无人机火源定位系统中的各功能模块所实现的功能与上述实施例的无人机火源定位方法中的各流程步骤一一对应；故，在此不再赘述。
Claims (6)
1.一种多源信息融合的无人机火源定位方法，其特征在于，包括以下步骤：
S10：通过无人机挂载激光雷达、IMU和热成像仪进行信息采集，所述激光雷达采集环境点云数据，所述IMU采集无人机自身位姿和加速度信息，所述热成像仪采集环境温度信息生成热成像图；
S11:对点云数据去除运动畸变，并生成点云深度图，包括以下步骤：
所述激光雷达采集64线束，每一线束采集512个激光点，因此将每个激光点进行深度投影，生成一帧二维图像即点云深度图，所述点云深度图的每个像素点包含着无人机到反射点的距离信息；
S12:将点云深度图和热成像仪生成的热成像图归一化处理，将点云深度图的像素关联温度信息，包括以下步骤：
对点云深度图和热成像图归一化处理，生成像素格式一致的256*64的图像，其中，所述点云深度图像素格式为512*64，所述热成像图的像素格式为256*192；
再将归一化处理后热成像图与归一化处理后点云深度图中的像素一一对应，并将热成像图中像素所包含的温度值赋予点云深度图中的像素，实现点云深度图与热成像图温度信息的关联；
S13:采用帧间匹配的方法计算每个激光点的位置，生成激光里程计因子，IMU的角速度和加速度信息预积分生成预积分因子，使用因子图融合激光里程计因子和预积分因子，得到无人机的位置；
S14:使用滑动窗口搜索点云深度图，计算每个滑动窗口的温度平均值，并通过温度平均值计算着火点的位置。
2.如权利要求1所述的多源信息融合的无人机火源定位方法，其特征在于，所述步骤S11中对点云数据去除运动畸变，包括以下步骤：
首先计算采集过程中一帧点云中第一个激光点和最后一个激光点的位姿信息，包含平移和旋转变化量；
然后根据每个点的相对时间进行位姿补偿，将第一个激光点和最后一个激光点位姿变化量平均补偿到一帧内不同时间的激光点上。
3.如权利要求1所述的多源信息融合的无人机火源定位方法，其特征在于，所述步骤S13采用帧间匹配的方法计算每个激光点的位置信息，生成激光里程计因子，包括以下步骤：
采用帧间匹配的方法计算无人机的位置信息，帧间匹配时随机计算两帧点云对应激光点的距离信息，利用最小二乘法通过迭代使误差函数最小时，得到两帧点云位姿的变化量，由于初始位置已知，因此通过该方法不断计算得到无人机的实时位置。
4.如权利要求1所述的多源信息融合的无人机火源定位方法，其特征在于，所述步骤S13对IMU的角速度和加速度信息预积分生成预积分因子，基于激光里程计因子和IMU预积分因子，使用因子图进行融合，包括以下步骤：
对IMU测得的角速度和加速度信息进行预积分处理，构建预积分因子；
将所述激光里程计因子计算构建变量节点，预积分因子构成相关变量节点间的因子节点，一起加入因子图中进行联合优化，得到全局一致的位置轨迹，并经过地图的拼接后，得到全局一致性的地图。
5.如权利要求1所述的多源信息融合的无人机火源定位方法，其特征在于，所述步骤S14使用滑动窗口搜素深度图，计算每个滑动窗口的温度平均值，利用该温度平均值得到着火点位置，包括以下步骤：
关联温度值的点云深度图像素格式为256*64，对每帧点云深度图进行拼接，得到全局一致性地图深度图；
设置滑动窗口大小为64*64，以每秒256像素点的速度沿无人机位置轨迹方向移动，计算不同时刻滑动窗口的温度平均值和位置平均值；
温度平均值最高的滑动窗口即为着火点范围位置，着火点即为滑动窗口的中心点。
6.一种多源信息融合的无人机火源定位系统，其特征在于，包括：
通过无人机挂载激光雷达、IMU和热成像仪进行信息采集；
所述激光雷达采集环境点云数据；
所述IMU采集无人机自身位姿和加速度信息；
所述热成像仪采集环境温度信息生成热成像图；
实现如权利要求1-5任意一项所述的一种多源信息融合的无人机火源定位方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311403939.8A CN117128957B (zh) | 2023-10-27 | 2023-10-27 | 一种多源信息融合的无人机火源定位方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311403939.8A CN117128957B (zh) | 2023-10-27 | 2023-10-27 | 一种多源信息融合的无人机火源定位方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117128957A CN117128957A (zh) | 2023-11-28 |
| CN117128957B true CN117128957B (zh) | 2024-01-02 |
Family
ID=88851186
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311403939.8A Active CN117128957B (zh) | 2023-10-27 | 2023-10-27 | 一种多源信息融合的无人机火源定位方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117128957B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101650866A (zh) * | 2009-09-22 | 2010-02-17 | 华南理工大学 | 一种应用于无人机的火灾检测系统及其火灾检测方法 |
| CN109490899A (zh) * | 2018-11-12 | 2019-03-19 | 广西交通科学研究院有限公司 | 一种基于激光雷达和红外热成像仪的隧道内火源定位方法 |
| CN113359141A (zh) * | 2021-07-28 | 2021-09-07 | 东北林业大学 | 一种基于无人机多传感器数据融合的林火定位方法及系统 |
| CN114200471A (zh) * | 2021-12-07 | 2022-03-18 | 杭州电子科技大学信息工程学院 | 基于无人机的森林火源检测系统、方法、存储介质、设备 |
| CN115265523A (zh) * | 2022-09-27 | 2022-11-01 | 泉州装备制造研究所 | 机器人同时定位与建图方法、装置及可读介质 |
| CN115407353A (zh) * | 2022-07-26 | 2022-11-29 | 南京航空航天大学 | 基于红外成像与单线激光雷达的火源识别定位方法 |
| CN116109955A (zh) * | 2023-04-10 | 2023-05-12 | 中国人民解放军陆军装甲兵学院 | 一种无人机平台火源定位装置及方法 |
| CN116310678A (zh) * | 2023-03-02 | 2023-06-23 | 中国矿业大学 | 固态激光雷达与热成像视觉融合的火源识别及定位方法 |
| WO2023150888A1 (en) * | 2022-02-11 | 2023-08-17 | Hummingbird Drones Inc. | System and method for firefighting and locating hotspots of a wildfire |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101237089B1 (ko) * | 2011-10-12 | 2013-02-26 | 계명대학교 산학협력단 | 랜덤 포레스트 분류 기법을 이용한 산불연기 감지 방법 |
| US20230123483A1 (en) * | 2021-10-19 | 2023-04-20 | Good Machine LLC | Systems for detecting and monitoring a small area wildfire and methods related thereto |
-
2023
- 2023-10-27 CN CN202311403939.8A patent/CN117128957B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101650866A (zh) * | 2009-09-22 | 2010-02-17 | 华南理工大学 | 一种应用于无人机的火灾检测系统及其火灾检测方法 |
| CN109490899A (zh) * | 2018-11-12 | 2019-03-19 | 广西交通科学研究院有限公司 | 一种基于激光雷达和红外热成像仪的隧道内火源定位方法 |
| CN113359141A (zh) * | 2021-07-28 | 2021-09-07 | 东北林业大学 | 一种基于无人机多传感器数据融合的林火定位方法及系统 |
| CN114200471A (zh) * | 2021-12-07 | 2022-03-18 | 杭州电子科技大学信息工程学院 | 基于无人机的森林火源检测系统、方法、存储介质、设备 |
| WO2023150888A1 (en) * | 2022-02-11 | 2023-08-17 | Hummingbird Drones Inc. | System and method for firefighting and locating hotspots of a wildfire |
| CN115407353A (zh) * | 2022-07-26 | 2022-11-29 | 南京航空航天大学 | 基于红外成像与单线激光雷达的火源识别定位方法 |
| CN115265523A (zh) * | 2022-09-27 | 2022-11-01 | 泉州装备制造研究所 | 机器人同时定位与建图方法、装置及可读介质 |
| CN116310678A (zh) * | 2023-03-02 | 2023-06-23 | 中国矿业大学 | 固态激光雷达与热成像视觉融合的火源识别及定位方法 |
| CN116109955A (zh) * | 2023-04-10 | 2023-05-12 | 中国人民解放军陆军装甲兵学院 | 一种无人机平台火源定位装置及方法 |
Non-Patent Citations (3)
| Title |
|---|
| An Indoor Autonomous Inspection and Firefighting Robot Based on SLAM and Flame Image Recognition;Li Sen et al.;《FIRE-SWITZERLAND》;第6卷(第3期);1-20 * |
| 新型智能消防灭火机器人设计及实现;李瑞等;《南京理工大学学报》;第46卷(第5期);553-560 * |
| 输电线路山火可见光-红外多光源精准定位技术;何立夫;陆佳政;刘毓;李波;罗晶;章国勇;;高电压技术(第08期);122-129 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117128957A (zh) | 2023-11-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106802668B (zh) | 基于双目与超声波融合的无人机三维避撞方法及系统 | |
| CN111156998B (zh) | 一种基于rgb-d相机与imu信息融合的移动机器人定位方法 | |
| CN113124856B (zh) | 基于uwb在线锚点的视觉惯性紧耦合里程计及计量方法 | |
| WO2019093532A1 (ko) | 스트레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템 | |
| CN113625774B (zh) | 局部地图匹配与端到端测距多无人机协同定位系统和方法 | |
| EP4155873A1 (en) | Multi-sensor handle controller hybrid tracking method and device | |
| CN114088087B (zh) | 无人机gps-denied下高可靠高精度导航定位方法和系统 | |
| CN110887486B (zh) | 一种基于激光线辅助的无人机视觉导航定位方法 | |
| CN113551665B (zh) | 一种用于运动载体的高动态运动状态感知系统及感知方法 | |
| CN111623773B (zh) | 一种基于鱼眼视觉和惯性测量的目标定位方法及装置 | |
| CN112115607A (zh) | 一种基于多维赛博空间的移动智能体数字孪生系统 | |
| CN109581365A (zh) | 一种基于多旋翼无人机的生命探测系统、方法 | |
| CN114608554B (zh) | 一种手持slam设备以及机器人即时定位与建图方法 | |
| CN115574816B (zh) | 仿生视觉多源信息智能感知无人平台 | |
| CN114964276A (zh) | 一种融合惯导的动态视觉slam方法 | |
| CN107941167B (zh) | 一种基于无人机载具和结构光扫描技术的空间扫描系统及其工作方法 | |
| CN117685953A (zh) | 面向多无人机协同定位的uwb与视觉融合定位方法及系统 | |
| WO2020189909A2 (ko) | 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법 | |
| CN115435784A (zh) | 高空作业平台激光雷达与惯导融合定位建图装置及方法 | |
| CN113790726B (zh) | 一种融合相机、轮速计和单uwb信息的机器人室内定位方法 | |
| CN112945233B (zh) | 一种全局无漂移的自主机器人同时定位与地图构建方法 | |
| CN117128957B (zh) | 一种多源信息融合的无人机火源定位方法及系统 | |
| CN114723920A (zh) | 一种基于点云地图的视觉定位方法 | |
| CN114459474A (zh) | 一种基于因子图的惯性/偏振/雷达/光流紧组合导航的方法 | |
| CN208314856U (zh) | 一种用于单目机载目标检测的系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |