CN116339337A - 基于红外成像、激光雷达和声音定向探测的目标智能定位控制系统及其方法 - Google Patents

基于红外成像、激光雷达和声音定向探测的目标智能定位控制系统及其方法 Download PDF

Info

Publication number
CN116339337A
CN116339337A CN202310326251.8A CN202310326251A CN116339337A CN 116339337 A CN116339337 A CN 116339337A CN 202310326251 A CN202310326251 A CN 202310326251A CN 116339337 A CN116339337 A CN 116339337A
Authority
CN
China
Prior art keywords
dimensional
data
module
detection
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310326251.8A
Other languages
English (en)
Inventor
王建
韩非
李锐剑
吕文涛
姚市萌
赵希亭
谭钧耀
周涛
高承帅
吴彬彬
陈潜
刘剑
杨斌
张琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daiwu Intelligent Technology Shanghai Co ltd
Shanghai Shentian Industrial Co ltd
Shanghai Radio Equipment Research Institute
Original Assignee
Daiwu Intelligent Technology Shanghai Co ltd
Shanghai Shentian Industrial Co ltd
Shanghai Radio Equipment Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daiwu Intelligent Technology Shanghai Co ltd, Shanghai Shentian Industrial Co ltd, Shanghai Radio Equipment Research Institute filed Critical Daiwu Intelligent Technology Shanghai Co ltd
Priority to CN202310326251.8A priority Critical patent/CN116339337A/zh
Publication of CN116339337A publication Critical patent/CN116339337A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/48—Thermography; Techniques using wholly visual means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/0004—Gaseous mixtures, e.g. polluted air
    • G01N33/0009—General constructional details of gas analysers, e.g. portable test equipment
    • G01N33/0062—General constructional details of gas analysers, e.g. portable test equipment concerning the measuring method or the display, e.g. intermittent measurement or digital display
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0252—Radio frequency fingerprinting
    • G01S5/02521—Radio frequency fingerprinting using a radio-map
    • G01S5/02524—Creating or updating the radio-map
    • G01S5/02525—Gathering the radio frequency fingerprints
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/27—Regression, e.g. linear or logistic regression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Electromagnetism (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Graphics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Geometry (AREA)
  • Evolutionary Biology (AREA)
  • Medicinal Chemistry (AREA)
  • Food Science & Technology (AREA)
  • Combustion & Propulsion (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Probability & Statistics with Applications (AREA)

Abstract

本发明涉及一种基于红外成像、激光雷达和声音定向探测的目标智能定位控制系统，其中，该系统包括红外成像模块、激光雷达模块、声音定向探测模块、无线电探测模块、气体检测模块、三维建图与感知模块、三维融合与处理模块、目标定位与跟踪模块以及决策与预警模块；本发明还涉及一种相应的方法。采用了本发明的该基于红外成像、激光雷达和声音定向探测的目标智能定位控制系统及其方法，将每帧的三维点红外成像数据、麦克风声源概率分布、无线和气体探测信息，映射为三维场景中的待救援对象概率分布，提供了基于三维的融合环境探测与待救援对象定位能力，高效科学地改善救援侦查效率，显著增强被困人员定位的效率和准度，具有较为广泛的应用范围。

Description

基于红外成像、激光雷达和声音定向探测的目标智能定位控 制系统及其方法
技术领域
本发明涉及应急救援技术领域，尤其涉及数据融合与智能定位技术领域，具体是指一种基于红外成像、激光雷达和声音定向探测的目标智能定位控制系统及其方法。
背景技术
在应急救援行业中，如何准确快速地探测和定位待救援对象是非常重要的。由于各种原因，被困人员可能处于深山、狭谷、洞穴、地下建筑等环境中，甚至被埋在废墟、泥石流等灾害场所中。此时，准确快速地探测和定位待救援对象，对救援行动的成功与否至关重要。但是，由于环境复杂、探测难度大、现场信息不足等困难，待救援对象的探测和定位成为救援行业中的难点和瓶颈。
目前，针对待救援对象探测和定位问题，已经有一些技术方案。其中，传统的机器人探测技术存在着环境适应性差、探测精度不高、工作时间短等问题；而基于视觉传感器的探测技术虽然具有一定的优势，但在低照度、雾霾等恶劣环境下存在着探测效果不佳的问题；基于声音的探测技术可以应用于深山、狭谷等环境中，但存在着信号复杂、精度不高等问题；而无线电、气体等探测技术则存在着噪声干扰、检测距离短等限制。因此，现有单一传感器的定位技术难以综合解决应急救援行业中待救援对象探测和定位的难题。
发明内容
本发明的目的是克服了上述现有技术的缺点，提供了一种具有高精度、高速度、高稳定性的基于红外成像、激光雷达和声音定向探测的目标智能定位控制系统及其方法。
为了实现上述目的，本发明的基于红外成像、激光雷达和声音定向探测的目标智能定位控制系统及其方法如下：
该基于红外成像、激光雷达和声音定向探测的目标智能定位控制系统，其主要特点是，所述的系统包括：
激光雷达模块，通过高精度激光测距仪扫描目标，并实时测量周围环境点的距离、角度和高度信息；同时结合点云信息处理模块对扫描获取到的相关信息结合进行处理。
红外成像模块，通过高灵敏度红外传感器捕捉当前救援任务下的目标热辐射特征，并生成高分辨率的红外图像数据；并使用红外图像处理模块对生成的红外图像数据进行相应的处理。
声音定向探测模块，通过高灵敏度麦克风阵列捕捉目标发出的声音信号，并通过声音信号处理模块中的信号处理算法确定声音目标的方向和声源概率分布情况；
无线电探测模块，通过高灵敏度天线和射频接收器检测目标的无线电信号，再通过无线电信号处理模块识别和定位无线通信设备；
气体检测模块，通过高灵敏度气体传感器监测目标周围的气体成分，并通过气体检测处理模块检测可能存在的有害气体或对目标有指示性的气体；
三维建模与感知模块，与所述的激光雷达模块相连接，其内部还设置有激光雷达数据处理单元和多源融合位姿解算单元，用于获取监测目标的三维模型和场景信息，为目标定位提供立体感知能力；其中，多源融合位姿解算单元通过融合来自不同数据源的信息(如激光雷达、红外相机、超声波、无线探测等信息)，实现对探测装备或探测机器人的精确位姿估计，提高三维建模的准确性和鲁棒性。
三维融合与处理模块，与所述的三维建模与感知模块、红外成像模块、声音定向探测模块、无线电探测模块和气体检测模块相连接，其内部设置有红外成像数据处理单元、声音定向探测数据处理单元、无线探测数据处理单元、气体探测数据处理单元、三维神经网络概率场构建单元以及传感器数据融合单元，通过采用多传感器数据融合算法，对红外成像模块、激光雷达模块、声音定向探测模块、三维建模与感知模块、无线电探测模块和气体检测模块采集到的数据进行三维融合与处理，以提高目标的定位精度和鲁棒性；
其中，三维神经网络概率场构建单元利用深度学习技术，将多传感器数据融合到一个统一的三维神经网络概率场中，以有效识别和定位目标，提高目标定位的精度和可靠性。
目标定位与跟踪模块，与所述的三维融合与处理模块相连接，用于根据所述的三维融合与处理模块输出的目标位置信息，实时对该目标进行定位和跟踪处理，以确保目标不丢失；以及
决策与预警模块，与所述的目标定位与跟踪模块相连接，用于结合所述的三维融合与处理模块和目标定位与跟踪模块输出的数据信息，并进行目标行为分析与预测，通过制定探测策略与执行方案，进行实时预警提示、潜在风险评估以及应对措施制定。
该利用上述系统实现基于红外成像、激光雷达和声音定向探测的目标智能定位控制方法，其主要特点是，所述的方法包括以下步骤：
(1)使用激光雷达模块实时获取周围环境点云信息；
(2)三维建模与感知模块利用所述的激光雷达模块获取的点云信息进行实时三维建模；
(3)基于所述的激光雷达模块获取的轨迹信息，实时增量式生成当前环境下的三维点云结构，并利用三维融合与处理模块将同步接收到的红外成像模块、声音定向探测模块、无线电探测模块和气体检测模块的传感器数据进行融合定位以及参数计算；
(4)将计算出的所述的红外成像模块、声音定向探测模块、无线电探测模块和气体检测模块的接收数据传输至所述的三维融合与处理模块进行融合处理；
(5)所述的三维融合与处理模块根据各个传感器数据和三维建模与感知模块提供的三维点云结构信息，计算当前目标所处的位置以及概率分布情况；
(6)目标定位与跟踪模块根据所述的三维融合与处理模块输出的目标位置信息和概率分布进行实时定位和跟踪处理，以确保目标不丢失；
(7)决策与预警模块根据所述的三维融合与处理模块和目标定位与跟踪模块输出的三维环境信息和目标位置信息进行决策处理，给出后续操作建议或进行自主探测，并在危险时刻给出预警。
较佳地，所述的步骤(2)具体包括以下步骤：
(2.1)探测装备或探测机器人通过激光雷达发射激光束并测量其回波反射时间，获取当前环境下目标物体的位置信息，包括反射激光的时间、角度、距离、反射强度，并计算出单帧三维点云数据，所述的单帧三维点云数据包括每个点的三维点坐标(x,y,z)和反射时间，并以此建立局部三维点云地图；
(2.2)利用所述的激光雷达获取到的各个数据信息，从激光雷达的三维点云中进行特征点的提取，将获取到的相邻时刻的点云数据进行特征匹配，找到相同的特征点，以此生成一个特征匹配列表，并分别记录各个特征点的参考帧特征id、目标帧特征id以及特征匹配置信度，实时增量式地更新所述的探测装备或探测机器人的三维运动位姿轨迹；
(2.3)基于获取到的三维运动位姿轨迹，将其中的每一帧的三维点云数据均转换到机器人坐标系下，合并为一个点云数据集进行体素滤波处理，并根据所述的探测装备或探测机器人的运动轨迹不断更新点云地图，实现对环境的实时建模。
较佳地，所述的步骤(3)具体包括以下步骤：
(3.1)预标定激光雷达与红外成像、麦克风阵列、无线电探测和气体探测传感器之间的相对位移和矩阵，形成外参，该外参表示为一个4×4的浮点数矩阵；
(3.2)接收同步的红外成像数据、麦克风阵列数据、无线电探测数据和气体探测传感器数据；
(3.3)根据当前所述的探测装备或探测机器人的运动位姿和三维点云结构信息，计算可视范围内三维位置的红外数据信息；
(3.3.1)获取红外成像数据：从红外成像传感器中获取一帧红外成像数据；
(3.3.2)提取对应激光雷达数据：根据时间戳，从激光雷达数据中提取与红外成像数
据相对应的单帧三维点云数据；
(3.3.3)点云配准：根据所述的红外成像传感器与激光雷达的外参矩阵，将提取到的激光雷达数据与红外成像数据进行配准，即将两种数据对齐，并将所述的红外成像数据映
射到对应位置的三维点云数据中；
(3.3.4)点云融合：将配准后的红外成像数据与原有的三维点云数据进行融合，形成
新的三维点云数据；
(3.4)根据当前探测装备或探测机器人的运动位姿和信号朝向信息，计算三维环境中可能的声源概率分布；
(3.4.1)获取声源数据：从麦克风阵列中，获取声波强度和声源方向角数据；
(3.4.2)转换到机器人坐标系下：根据麦克风阵列与激光雷达的外参矩阵，将声源方向角数据转换到机器人坐标系下的声源方向，该方向包含两个数据：三维起点坐标，三维
方向向量；
(3.4.3)融合存储数据：从机器人坐标系下声源起点出发，模拟声波传播方向，并记录声波概率，沿方向向量获取第一个点，并沿第一个点的法向量，计算反射方向，并从反射方向出发获取到下一个点，依次重复当前该步骤，直到获得一定反射距离内的三维点列表，并按照距离远近分配权重，为所述的三维点列表的三维点赋予声源概率数据；
(3.4.4)点云融合：将融合后的点云数据写回三维点云信息中；
(3.5)根据当前探测装备或探测机器人的运动位姿将获取到的无线电和气体探测数据记录到所述的探测装备或探测机器人的所在位置；
(3.5.1)获取无线电和气体探测传感器数据；
(3.5.2)根据时间戳，从激光雷达数据中提取当前时间对应的雷达位姿；
(3.5.3)根据所述的雷达位姿，创建一个三维标记点，并记录无线和气体探测传感器
数据；
(3.5.4)点云融合：将融合后的点云数据写回三维点云信息中。
较佳地，所述的步骤(4)具体包括以下步骤：
(4.1)将获取到的所述的红外成像模块、声音定向探测模块、无线电探测模块和气体检测模块的接收数据进行数据预处理，包括根据时间戳对齐不同传感器的数据以及对原始数据进行去噪、滤波处理；
(4.2)根据目标点到各个环境点的最短路径构建有向距离场：将通过三维建模获得的各个三维点云信息输入至神经网络进行聚类、分块和特征提取，计算得到SDF特征，并通过体素化采样，计算有向距离场；
(4.3)根据预处理后的传感器数据，分别建立红外辐射概率场、音频神经辐射概率场、无线电神经辐射概率场和气体神经密度概率场；
(4.4)使用反向传播算法通过训练多层感知器MLP，将各个不同的概率场进行融合处理。
较佳地，所述的步骤(4.3)建立红外辐射概率场具体包括：
传感器平台位姿计算：获取传感器平台在当前环境中的位姿和红外成像的内参和外参，并通过通用的相机模型进行投影得到相机二维到环境三维的对应关系；
二维红外图像投影：将二维红外图片上的每个像素进行射线化投影，并穿过所述的有向距离场的空间；
神经网络优化：使用多层感知器MLP的神经网络对当前获得的投影函数进行迭代优化与回归，得到红外神经网络辐射场；
体积密度采样：对所述的红外神经网络辐射场进行分块采样，并得到各个点上的体积密度；
红外图像渲染：在预设位置建立相机模型并进行投影，通过积分累计射线上的所有体积密度值，并渲染得到红外图像；
所述的步骤(4.3)建立音频神经辐射概率场具体包括：
声音信号处理：使用麦克风阵列采集环境中的声音信号，并对声音信号进行预处理；
声波传播与反射模型：基于声波传播与反射模型，建立音频神经辐射场，并利用声波的声程和三维环境信息，计算出声源位置和声波到达时间；
神经网络优化：通过多层感知器MLP的神经网络对音频辐射场进行迭代优化和回归，得到最终的音频神经辐射概率场。
较佳地，所述的步骤(4.3)建立无线电神经辐射概率场具体包括：
无线电信号处理：使用无线传感器采集环境中的无线电信号，并对信号进行预处理；
无线电信号传播模型：基于不同频率无线电信号的传播、反射和穿透模型，建立无线电神经辐射场，并计算出信号的传播路径和信号到达时间；
神经网络优化：通过多层感知器MLP的神经网络对无线电辐射场进行迭代优化和回归，得到最终的无线电神经辐射概率场；
所述的步骤(4.3)建立气体密度概率场具体包括：
气体信息处理：使用气体探测器采集环境中的气体信息，并对气体信息进行预处理；
气体扩散模型：基于气体扩散模型，建立气体密度场，计算出气体的密度和预计分布情况；
神经网络优化：通过多层感知器MLP的神经网络对气体密度场进行迭代优化和回归，得到最终的气体神经辐射概率场。
较佳地，所述的步骤(4.4)具体包括以下步骤：
(4.4.1)输入层：将各个不同概率场的数据作为神经网络的输入；
(4.4.2)隐藏层：通过多个隐藏层学习各个不同概率场之间的关联性，其中所述的隐藏层的神经元数量和激活函数将根据具体任务和数据集进行调整；
(4.4.3)输出层：输出经过融合后的三维神经网络概率场，其中输出层的神经元数量应与输入层相同，以保证输出的概率场具有相同的维度；
(4.4.4)权重融合：在训练过程中，根据预测误差调整神经网络权重，通过权重融合，使得所述的神经网络学习到不同概率场之间的关联性，从而实现有效融合。
较佳地，所述的步骤(5)具体包括以下步骤：
(5.1)采用单一传感器，计算三维点云结构中每一个点云对应的点在红外辐射概率场中的概率值，当概率值大于预设阈值时，则认为该点为待救援对象所处的位置；
(5.2)采用多传感器融合处理方式，结合不同传感器的概率场计算概率分布情况；
(5.2.1)体素化渲染：将当前的三维模型进行体素化，将每个体素中的点云数据转换
为神经网络能够处理的格式；
(5.2.2)射线投影：将每个传感器经过神经网络处理后得到的与其相对于的辐射场进
行射线投影，计算每个射线与体素的交点；
(5.2.3)累计概率：对于每个射线与体素的交点，计算其在对应传感器的神经网络辐
射场中的概率值，并累加得到融合概率；
(5.2.4)判断：设定一个阈值，当融合概率大于阈值时，则认为该点为待救援对象所处的位置。
较佳地，所述的步骤(7)具体包括以下步骤：
(7.1)风险分析：根据输入的三维环境信息，通过对获取到的各种传感器数据进行综合分析，分析环境中可能存在的风险，并进行风险区域的识别；
(7.2)路径规划：对当前生成的三维环境模型进行分析，通过结合风险区域信息，计算出到达目标位置的最短路径或最安全路径；
(7.3)目标跟踪：根据目标定位与跟踪模块提供的目标位置信息，实时跟踪目标，实时更新目标在三维环境中的位置；
(7.4)预警：根据风险分析结果，实时给出相应的预警信息。
采用了本发明的该基于红外成像、激光雷达和声音定向探测的目标智能定位控制系统及其方法，利用激光雷达发射激光光束即可测量其反射时间，以来获取环境中的物体位置信息。同时，利用实时增量式建立三维点云地图技术方案，可以在探测装备或探测机器人运动中实时生成物体位置的三维坐标，从而建立环境的三维点云地图。该技术方案具有高精度、高速度、高稳定性等优点，可以应用于各种环境下的定位和探测，能够有效的提高救援侦查效率、降低待救援对象准确定位的难度，从而高效科学地改善了救援侦查效率，显著增强被困人员定位的效率和准度，相较于现有技术而言，具有更广泛的应用范围。
附图说明
图1为本发明的基于红外成像、激光雷达和声音定向探测的目标智能定位控制系统及其方法的流程图。
图2为本发明的基于红外成像、激光雷达和声音定向探测的目标智能定位控制系统的结构示意图。
具体实施方式
为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。
在详细说明根据本发明的实施例前，应该注意到的是，在下文中，术语“包括”、“包含”或任何其他变体旨在涵盖非排他性的包含，由此使得包括一系列要素的过程、方法、物品或者设备不仅包含这些要素，而且还包含没有明确列出的其他要素，或者为这种过程、方法、物品或者设备所固有的要素。
请参阅图1和图2所示，该基于红外成像、激光雷达和声音定向探测的目标智能定位控制系统，其中，所述的系统包括：
激光雷达模块，通过高精度激光测距仪扫描目标，并实时测量周围环境点的距离、角度和高度信息；
红外成像模块，通过高灵敏度红外传感器捕捉当前救援任务下的目标热辐射特征，并生成高分辨率的红外图像数据；
声音定向探测模块，通过高灵敏度麦克风阵列捕捉目标发出的声音信号，并通过信号处理算法确定声音目标的方向和声源概率分布情况；
无线电探测模块，通过高灵敏度天线和射频接收器检测目标的无线电信号，以识别和定位无线通信设备；
气体检测模块，通过高灵敏度气体传感器监测目标周围的气体成分，以检测可能存在的有害气体或对目标有指示性的气体；
三维建模与感知模块，与所述的激光雷达模块相连接，用于获取监测目标的三维模型和场景信息，为目标定位提供立体感知能力；
三维融合与处理模块，与所述的三维建模与感知模块、红外成像模块、声音定向探测模块、无线电探测模块和气体检测模块相连接，通过采用多传感器数据融合算法，对红外成像模块、激光雷达模块、声音定向探测模块、三维建模与感知模块、无线电探测模块和气体检测模块采集到的数据进行三维融合与处理，以提高目标的定位精度和鲁棒性；
目标定位与跟踪模块，与所述的三维融合与处理模块相连接，用于根据所述的三维融合与处理模块输出的目标位置信息，实时对该目标进行定位和跟踪处理，以确保目标不丢失；以及
决策与预警模块，与所述的目标定位与跟踪模块相连接，用于结合所述的三维融合与处理模块和目标定位与跟踪模块输出的数据信息，并进行目标行为分析与预测，通过制定探测策略与执行方案，进行实时预警提示、潜在风险评估以及应对措施制定。
该利用上述系统实现基于红外成像、激光雷达和声音定向探测的目标智能定位控制方法，其中，所述的方法包括以下步骤：
(1)使用激光雷达模块实时获取周围环境点云信息；
(2)三维建模与感知模块利用所述的激光雷达模块获取的点云信息进行实时三维建模；
(3)基于所述的激光雷达模块获取的轨迹信息，实时增量式生成当前环境下的三维点云结构，并利用三维融合与处理模块将同步接收到的红外成像模块、声音定向探测模块、无线电探测模块和气体检测模块的传感器数据进行融合定位以及参数计算；
(4)将计算出的所述的红外成像模块、声音定向探测模块、无线电探测模块和气体检测模块的接收数据传输至所述的三维融合与处理模块进行融合处理；
(5)所述的三维融合与处理模块根据各个传感器数据和三维建模与感知模块提供的三维点云结构信息，计算当前目标所处的位置以及概率分布情况；
(6)目标定位与跟踪模块根据所述的三维融合与处理模块输出的目标位置信息和概率分布进行实时定位和跟踪处理，以确保目标不丢失；
(7)决策与预警模块根据所述的三维融合与处理模块和目标定位与跟踪模块输出的三维环境信息和目标位置信息进行决策处理，给出后续操作建议或进行自主探测，并在危险时刻给出预警。
作为本发明的优选实施方式，所述的步骤(2)具体包括以下步骤：
(2.1)探测装备或探测机器人通过激光雷达发射激光束并测量其回波反射时间，获取当前环境下目标物体的位置信息，包括反射激光的时间、角度、距离、反射强度，并计算出单帧三维点云数据，所述的单帧三维点云数据包括每个点的三维点坐标(x,y,z)和反射时间，并以此建立局部三维点云地图；
(2.2)利用所述的激光雷达获取到的各个数据信息，从激光雷达的三维点云中进行特征点的提取，将获取到的相邻时刻的点云数据进行特征匹配，找到相同的特征点，以此生成一个特征匹配列表，并分别记录各个特征点的参考帧特征id、目标帧特征id以及特征匹配置信度，实时增量式地更新所述的探测装备或探测机器人的三维运动位姿轨迹；
(2.3)基于获取到的三维运动位姿轨迹，将其中的每一帧的三维点云数据均转换到机器人坐标系下，合并为一个点云数据集进行体素滤波处理，并根据所述的探测装备或探测机器人的运动轨迹不断更新点云地图，实现对环境的实时建模。
作为本发明的优选实施方式，所述的步骤(3)具体包括以下步骤：
(3.1)预标定激光雷达与红外成像、麦克风阵列、无线电探测和气体探测传感器之间的相对位移和矩阵，形成外参，该外参表示为一个4×4的浮点数矩阵；
(3.2)接收同步的红外成像数据、麦克风阵列数据、无线电探测数据和气体探测传感器数据；
(3.3)根据当前所述的探测装备或探测机器人的运动位姿和三维点云结构信息，计算可视范围内三维位置的红外数据信息；
(3.3.1)获取红外成像数据：从红外成像传感器中获取一帧红外成像数据；
(3.3.2)提取对应激光雷达数据：根据时间戳，从激光雷达数据中提取与红外成像数
据相对应的单帧三维点云数据；
(3.3.3)点云配准：根据所述的红外成像传感器与激光雷达的外参矩阵，将提取到的激光雷达数据与红外成像数据进行配准，即将两种数据对齐，并将所述的红外成像数据映
射到对应位置的三维点云数据中；
(3.3.4)点云融合：将配准后的红外成像数据与原有的三维点云数据进行融合，形成
新的三维点云数据；
(3.4)根据当前探测装备或探测机器人的运动位姿和信号朝向信息，计算三维环境中可能的声源概率分布；
(3.4.1)获取声源数据：从麦克风阵列中，获取声波强度和声源方向角数据；
(3.4.2)转换到机器人坐标系下：根据麦克风阵列与激光雷达的外参矩阵，将声源方向角数据转换到机器人坐标系下的声源方向，该方向包含两个数据：三维起点坐标，三维
方向向量；
(3.4.3)融合存储数据：从机器人坐标系下声源起点出发，模拟声波传播方向，并记录声波概率，沿方向向量获取第一个点，并沿第一个点的法向量，计算反射方向，并从反射方向出发获取到下一个点，依次重复当前该步骤，直到获得一定反射距离内的三维点列表，并按照距离远近分配权重，为所述的三维点列表的三维点赋予声源概率数据；
(3.4.4)点云融合：将融合后的点云数据写回三维点云信息中；
(3.5)根据当前探测装备或探测机器人的运动位姿将获取到的无线电和气体探测数据记录到所述的探测装备或探测机器人的所在位置；
(3.5.1)获取无线电和气体探测传感器数据；
(3.5.2)根据时间戳，从激光雷达数据中提取当前时间对应的雷达位姿；
(3.5.3)根据所述的雷达位姿，创建一个三维标记点，并记录无线和气体探测传感器
数据；
(3.5.4)点云融合：将融合后的点云数据写回三维点云信息中。
作为本发明的优选实施方式，所述的步骤(4)具体包括以下步骤：
(4.1)将获取到的所述的红外成像模块、声音定向探测模块、无线电探测模块和气体检测模块的接收数据进行数据预处理，包括根据时间戳对齐不同传感器的数据以及对原始数据进行去噪、滤波处理；
(4.2)根据目标点到各个环境点的最短路径构建有向距离场：将通过三维建模获得的各个三维点云信息输入至神经网络进行聚类、分块和特征提取，计算得到SDF特征，并通过体素化采样，计算有向距离场；
(4.3)根据预处理后的传感器数据，分别建立红外辐射概率场、音频神经辐射概率场、无线电神经辐射概率场和气体神经密度概率场；
(4.4)使用反向传播算法通过训练多层感知器MLP，将各个不同的概率场进行融合处理。
作为本发明的优选实施方式，所述的步骤(4.3)建立红外辐射概率场具体包括：
传感器平台位姿计算：获取传感器平台在当前环境中的位姿和红外成像的内参和外参，并通过通用的相机模型进行投影得到相机二维到环境三维的对应关系；
二维红外图像投影：将二维红外图片上的每个像素进行射线化投影，并穿过所述的有向距离场的空间；
神经网络优化：使用多层感知器MLP的神经网络对当前获得的投影函数进行迭代优化与回归，得到红外神经网络辐射场；
体积密度采样：对所述的红外神经网络辐射场进行分块采样，并得到各个点上的体积密度；
红外图像渲染：在预设位置建立相机模型并进行投影，通过积分累计射线上的所有体积密度值，并渲染得到红外图像；
所述的步骤(4.3)建立音频神经辐射概率场具体包括：
声音信号处理：使用麦克风阵列采集环境中的声音信号，并对声音信号进行预处理；
声波传播与反射模型：基于声波传播与反射模型，建立音频神经辐射场，并利用声波的声程和三维环境信息，计算出声源位置和声波到达时间；
神经网络优化：通过多层感知器MLP的神经网络对音频辐射场进行迭代优化和回归，得到最终的音频神经辐射概率场。
作为本发明的优选实施方式，所述的步骤(4.3)建立无线电神经辐射概率场具体包括：
无线电信号处理：使用无线传感器采集环境中的无线电信号，并对信号进行预处理；
无线电信号传播模型：基于不同频率无线电信号的传播、反射和穿透模型，建立无线电神经辐射场，并计算出信号的传播路径和信号到达时间；
神经网络优化：通过多层感知器MLP的神经网络对无线电辐射场进行迭代优化和回归，得到最终的无线电神经辐射概率场；
所述的步骤(4.3)建立气体密度概率场具体包括：
气体信息处理：使用气体探测器采集环境中的气体信息，并对气体信息进行预处理；
气体扩散模型：基于气体扩散模型，建立气体密度场，计算出气体的密度和预计分布情况；
神经网络优化：通过多层感知器MLP的神经网络对气体密度场进行迭代优化和回归，得到最终的气体神经辐射概率场。
作为本发明的优选实施方式，所述的步骤(4.4)具体包括以下步骤：
(4.4.1)输入层：将各个不同概率场的数据作为神经网络的输入；
(4.4.2)隐藏层：通过多个隐藏层学习各个不同概率场之间的关联性，其中所述的隐藏层的神经元数量和激活函数将根据具体任务和数据集进行调整；
(4.4.3)输出层：输出经过融合后的三维神经网络概率场，其中输出层的神经元数量应与输入层相同，以保证输出的概率场具有相同的维度；
(4.4.4)权重融合：在训练过程中，根据预测误差调整神经网络权重，通过权重融合，使得所述的神经网络学习到不同概率场之间的关联性，从而实现有效融合。
作为本发明的优选实施方式，所述的步骤(5)具体包括以下步骤：
(5.1)采用单一传感器，计算三维点云结构中每一个点云对应的点在红外辐射概率场中的概率值，当概率值大于预设阈值时，则认为该点为待救援对象所处的位置；
(5.2)采用多传感器融合处理方式，结合不同传感器的概率场计算概率分布情况；
(5.2.1)体素化渲染：将当前的三维模型进行体素化，将每个体素中的点云数据转换
为神经网络能够处理的格式；
(5.2.2)射线投影：将每个传感器经过神经网络处理后得到的与其相对于的辐射场进
行射线投影，计算每个射线与体素的交点；
(5.2.3)累计概率：对于每个射线与体素的交点，计算其在对应传感器的神经网络辐
射场中的概率值，并累加得到融合概率；
(5.2.4)判断：设定一个阈值，当融合概率大于阈值时，则认为该点为待救援对象所处的位置。
作为本发明的优选实施方式，所述的步骤(7)具体包括以下步骤：
(7.1)风险分析：根据输入的三维环境信息，通过对获取到的各种传感器数据进行综合分析，分析环境中可能存在的风险，并进行风险区域的识别；
(7.2)路径规划：对当前生成的三维环境模型进行分析，通过结合风险区域信息，计算出到达目标位置的最短路径或最安全路径；
(7.3)目标跟踪：根据目标定位与跟踪模块提供的目标位置信息，实时跟踪目标，实时更新目标在三维环境中的位置；
(7.4)预警：根据风险分析结果，实时给出相应的预警信息。
本技术方案通过实时增量式的激光三维位姿计算，建立救援环境的三维点云地图，并将红外成像、麦克风阵列、无线和气体探测信息与三维点云地图进行融合存储，有效的解决了单一传感器稳定性不足、误差较大、定位方向与距离不宜联合分析的缺陷。
在实际应用当中，本技术方案基于激光雷达实时增量式建立探测装备或探测机器人三维运动位姿，并计算生成三维点云信息，具体包括：
(1)探测装备或探测机器人通过激光雷达发射激光束并测量其反射时间，获取环境中物体的位置信息，建立局部三维点云地图；
(2)利用激光雷达的数据，实时增量式地更新探测装备或探测机器人的三维运动位姿轨迹；
(3)基于轨迹计算实时增量式生成环境的三维点云信息，实现对环境的实时探测和建模，为待救援对象的智能定位提供基础数据。
进一步地，上述步骤(1)对局部三维点云地图进行建立，具体包括：
(1.1)所述的系统实时将使用激光雷达发射激光束，将激光束打到目标物体上并采集回波信息；采集的回波信息后转换为单帧激光雷达原始数据，并通过计算得到单帧三维点云数据。
(1.2)所述单帧激光雷达原始数据包括：反射激光的时间、角度、距离、反射强度；所述单帧三维点云数据包括一个三维点的列表，其中每个点包括三维点坐标(x,y,z)和反射时间；
进一步地，上述步骤(2)更新探测装备或探测机器人的三维运动位姿轨迹具体包括：
(2.1)特征点提取：从激光雷达点云中提取出一些具有代表性的特征点，如角点、平面点等；
(2.2)特征匹配：将相邻时刻的点云数据进行特征匹配，找到相同的特征点，并计算它们之间的距离和角度。该匹配具体为一个特征匹配列表，分别记录了参考帧特征id，目标帧特征id与特征匹配置信度。
(2.3)运动估计：利用特征匹配得到的特征点信息，估算探测装备或探测机器人的运动姿态，包括平移和旋转，得到相对位姿，该相对位姿表示为一个4×4的浮点数矩阵。
进一步地，上述步骤(3)计算实时增量式生成环境的三维点云信息具体包括：
(3.1)将每帧的三维点云转换到机器人坐标系下；
(3.2)将每帧的三维点云数据合并为一个点云数据集，进行体素滤波；
(3.3)对点云数据进行配准，并根据机器人的运动轨迹不断更新点云地图，实现对环境的实时建模。
在实际应用当中，本技术方案将红外成像、麦克风阵列、无线和气体探测传感器数据与三维位姿和三维点云信息融合，形成结构化三维数据信息，具体包括：
(1)预标定激光雷达与红外成像、麦克风阵列、无线和气体探测传感器的相对位移和矩阵，形成外参，该外参表示为一个4×4的浮点数矩阵；
(2)接收同步的红外成像、麦克风阵列、无线和气体探测传感器数据；
(3)根据当前位姿和三维点云结构信息，计算可视范围内三维位置的红外数据信息；
(4)根据当前位姿和信号朝向信息，计算三维环境中可能的声源概率分布；
(5)根据当前位姿将无线和气体探测数据记录到探测装备或探测机器人的所在位置。
更进一步地，接收同步的红外成像、麦克风阵列、无线和气体探测传感器数据，具体为：
红外成像数据，为常数分辨率的单通道红外成像画面，其像素数值表示红外强度；
麦克风阵列数据，为声波强度和声源方向角数据，其中方向角为阵列基准朝向与推定声源方向的顺时针夹角；
无线和气体探测传感器数据，为浮点数数据，在进入前述系统前，该数据根据传统映射方法，折算为[0,1]范围的浮点数，其中数字接近1表示接近危险报警值，达到1表示该位置该传感器数据达到危险报警值。
再进一步地，计算三维位置的红外数据信息，具体为：
(1)获取红外成像数据：从红外成像传感器中获取一帧红外成像数据；
(2)提取对应激光雷达数据：根据时间戳，从激光雷达数据中提取与红外成像数据相对应的单帧三维点云数据；
(3)点云配准：根据红外成像传感器与激光雷达的外参矩阵，将提取到的激光雷达数据与红外成像数据进行配准，即将两种数据对齐，并将红外成像数据映射到对应位置的三维点云数据中；
(4)点云融合：将配准后的红外成像数据与原有的三维点云数据进行融合，形成新的三维点云数据，其中包含红外成像数据。
再进一步地，计算三维环境中可能的声源概率分布情况，具体为：
(1)获取声源数据：从麦克风阵列中，获取声波强度和声源方向角数据；
(2)转换到机器人坐标系下：根据麦克风阵列与激光雷达的外参矩阵，将声源方向角数据转换到机器人坐标系下的声源方向，该方向包含两个数据：三维起点坐标，三维方向向量。
(3)融合存储数据：自机器人坐标系下声源起点出发，模拟声波传播方向，并记录声波概率。沿方向向量获取第一个点，并沿该点法向量，计算反射方向，并在该方向出发获取到下一个点。依次重复前述步骤，获得一定反射距离内的三维点列表，按照距离远近分配权重，为该列表的三维点赋予声源概率数据。其中三维点列表所有点本次赋予的生源概率总和为1，第一个反射点拥有最大概率，随后依次降低。
(4)点云融合：将融合后的点云数据写回三维点云信息中。
再进一步地，计算三维环境中可能的无线和气体探测传感器数据，具体为：
(1)获取无线和气体探测传感器数据；
(2)根据时间戳，从激光雷达数据中提取时间对应的雷达位姿；
(3)以前述位姿位置，创建一个三维标记点，记录无线和气体探测传感器数据；
(4)点云融合：将融合后的点云数据写回三维点云信息中。
在实际应用当中，本技术方案采用多源融合位姿解算技术能够提升位姿估计和三维建图精度，其包括：多源融合位姿解算通过整合激光雷达、IMU、轮速计以及其他传感器的数据，实现对探测装备或探测机器人的精确位姿估计。利用因子图优化和滤波算法，将不同位姿信息进行融合，从而提高三维建模的准确性和鲁棒性。同时，通过在三维地图中匹配红外成像、麦克风阵列、无线和气体探测传感器的地标数据，可以进一步校准位姿并辅助三维建图。具体步骤如下：
(1)通过激光雷达获取点云数据，构建局部地图；
(2)使用IMU和轮速计获取机器人的运动信息；
(3)将运动信息与激光雷达数据进行融合，估计机器人的初始位姿；
(4)将红外成像、麦克风阵列、无线和气体探测传感器的数据作为地标存在于三维地图中；
(5)使用数据关联算法(如KD-Tree算法)在地图中搜索匹配的地标；
(6)构建因子图，其中包括位姿节点、地标节点以及相应的边，表示位姿和地标之间的约束关系；
(7)通过因子图优化算法(如G2O、iSAM2等)，最小化因子图中所有边的误差，从而获得全局最优的位姿和地标估计；
(8)使用滤波算法(如卡尔曼滤波、粒子滤波等)对位姿估计进行平滑处理，消除噪声影响；
(9)将优化后的位姿结果应用于三维建图过程，实现精确的三维建模。
更进一步地，上述使用的传感器为：IMU(惯性测量单元)是一种集成了加速度计、陀螺仪和磁力计的传感器，可以实时测量机器人的加速度、角速度和磁场信息。通过积分加速度计和陀螺仪的数据，可以得到机器人的速度和旋转信息，从而实现对机器人位姿的估计。轮速计测量探测装备或机器人的轮子速度，结合机器人的几何参数，可以计算机器人的位移和旋转。轮速计数据可作为辅助信息，与IMU和激光雷达数据进行融合，提高位姿估计的准确性。
在多源融合位姿解算过程中，图优化技术发挥了重要作用。图优化技术通过构建一个包含节点和边的因子图来表示位姿和地标的约束关系。节点代表机器人的位姿或地标，边代表位姿之间或位姿和地标之间的约束。通过最小化因子图中所有边的误差，可以得到一个全局最优的位姿和地标估计。以下是使用已有激光雷达位姿、IMU和轮速计进行优化的具体方法：
预处理数据：
(1)将激光雷达点云数据转换为局部坐标系；
(2)对IMU和轮速计数据进行时间戳对齐，确保数据一致性；
(3)使用IMU数据对激光雷达点云数据进行运动畸变补偿。
初始位姿估计：
(1)通过激光雷达前后帧之间的匹配(如ICP算法)，计算相邻帧之间的初始变换矩阵；
(2)通过积分IMU的加速度计和陀螺仪数据，得到相邻时刻之间的位移和旋转；
(3)使用轮速计数据计算机器人的位移和旋转，结合机器人的几何参数。
多源数据融合：
(1)将激光雷达、IMU和轮速计的位姿估计转换为因子图中的节点；
(2)使用激光雷达位姿之间的约束、IMU约束和轮速计约束构建因子图的边；
(3)对于其他传感器(如红外成像、麦克风阵列、无线和气体探测传感器)，将其数据作为地标存在于因子图中，构建与位姿节点之间的边。
优化方法：
(1)通过最大后验概率(MAP)估计方法，对因子图进行优化。其中，可以选择使用梯度下降、高斯牛顿法或Levenberg-Marquardt算法等；
(2)利用稀疏线性代数技术(如稀疏Cholesky分解)来提高优化速度，适应大规模数据处理。
结果融合与更新：
(1)根据优化后的因子图，更新机器人位姿和地标位置；
(2)将优化后的位姿信息应用于三维建图过程，实现精确的三维建模。
通过这一系列操作，可以利用已有激光雷达位姿、IMU和轮速计进行图优化，提高位姿估计的准确性和鲁棒性。
在实际应用当中，三维神经网络概率场构建单元利用神经网络技术，通过对多种传感器数据进行融合与分析，构建了一个可用于目标智能定位的概率场。以下是具体步骤：
该单元包括以下几个关键组件：有向距离场计算、红外辐射环境场的建立与渲染、音频神经辐射场的构建、无线电神经辐射场的建立、气体密度场的建立和概率场的融合。
1、有向距离场计算：
通过神经网络对三维模型进行有向距离场的计算。有向距离场是指从目标点到各个环境点的最短路径，具有方向性和距离信息。通过三维建模得到的点云信息，输入神经网络进行聚类、分块和特征提取，计算得到SDF特征，通过体素化采样，得到有向距离场。通过构建有向距离场，可以为后续不同传感器环境场的建立提供基础。具体步骤如下：
(1)在计算SDF之前，对点云进行聚类，将点云分成不同的区域，每个区域代表一个原始特征；
(2)在每个区域中，使用一个基于区域的分割算法，将点云分成不同的分块，每个分块代表一个局部特征；
(3)在每个分块中，基于特征权重的进行提取，将点云中的边缘特征点和尖锐特征点提取出来，并构建最小生成树连接这些特征点；
(4)将特征点输入一个随机初始化的神经网络，该神经网络由一个编码器和一个解码器组成，编码器将三维坐标映射为一个低维向量，解码器将低维向量映射为有向距离；
(5)定义一个自监督的损失函数，该损失函数使用一批主动采样的查询点中最近的点到目标点的距离来约束预测的有向距离；
(6)使用梯度下降法更新神经网络的参数，使损失函数最小化；
(7)使用体素化采样，将神经网络的输出转换为有向距离场。2、红外辐射环境场的建立与渲染：
(1)传感器平台位姿计算：通过传感器平台在环境中的位姿和红外成像的内参与外参，通过通用的相机模型进行投影得到相机二维到环境三维的对应关系。
传感器平台指携带前述传感器的设备，如无人机、机器人等，在此设备上传感器之间牢固固定，相对位置关系保持不变。内参包括相机的焦距、主点坐标等固有参数。而外参是指相机与世界坐标系之间的变换关系，包括旋转矩阵(R)和平移矩阵(T)。旋转矩阵描述了相机坐标系相对于世界坐标系的旋转关系，而平移矩阵描述了相机光心在世界坐标系下的坐标。相机模型是一个从二维图像空间到三维世界坐标系的转换。具体地，从三维世界坐标系中的点(X,Y,Z)到相机成像平面上的点(u,v)的投影过程可以通过以下公式表示：[u,v,1]T＝K×[R|T]×[X,Y,Z,1]T其中，K是由内参组成的相机内参矩阵，[R|T]是由外参组成的相机外参矩阵。经过上述投影过程，我们可以得到相机二维图像上的点与三维环境中的点的对应关系。
(2)二维红外图像投影：将二维红外图片上的每个像素进行射线化投影，穿过有向距离场的空间。有向距离场是一种隐式表示三维几何形状的函数，它给出了任意空间点到最近表面的有向距离。射线化投影是一种将二维图像转换为三维空间中的射线集合的方法，它根据相机模型和内外参数确定每个像素对应的射线方向和起点。
(3)神经网络优化：使用多层感知器(MLP)的神经网络对这一投影函数进行迭代优化与回归，得到红外神经网络辐射场。红外神经网络辐射场是一种利用神经网络表示三维空间中的红外辐射分布的方法，它将空间中的任意点作为输入，输出该点的体积密度和发射光谱。神经网络优化是一种利用梯度下降等算法调整神经网络参数以最小化损失函数的方法，损失函数通常是预测值和真实值之间的差异。在此方法中，损失函数是投影函数和真实二维红外图像之间的均方误差。
(4)体积密度采样：对红外神经网络辐射场进行分块采样，得到各个点上的体积密度。体积密度是一种描述空间中某一区域内物质存在程度的量，它反映了该区域对光线的吸收或散射能力。分块采样是一种将连续空间离散化为若干小块，并在每个小块内取若干采样点的方法，它可以提高采样效率和准确性。
(5)红外图像渲染：在给定的其他位置建立相机模型进行投影，通过积分累计射线上的所有体积密度值，渲染得到红外图像。红外图像渲染是一种利用红外神经网络辐射场生成新视角下的二维红外图像的方法，它模拟了光线在三维空间中的传播过程。积分累计是一种计算光线在射线上遇到的所有物质对其强度和颜色影响的方法，它根据贝尔定律等物理规律进行数值计算。
3、建立音频神经辐射场：
(1)声音信号处理：使用麦克风阵列采集环境中的声音信号，并对声音信号进行处理和预处理，包括去噪、滤波、人声分离等。这一步的目的是提取出声源的特征和方向，以及消除不相关的噪声和干扰。
(2)声波传播与反射模型：基于声波传播与反射模型，建立音频神经辐射场。该模型考虑了声波在空气中的传播和反射，利用声波的声程和三维环境信息，计算出声源位置和声波到达时间。音频神经辐射场是一个全连接的神经网络，其输入是一个连续的5D坐标(空间位置(x,y,z)和观察方向(θ,φ))，其输出是该空间位置的体密度和视角相关的发射辐射。音频神经辐射场可以表示复杂的三维场景中的声音分布和变化。
(3)神经网络优化：通过多层感知器(MLP)的神经网络对音频辐射场进行迭代优化和回归，得到最终的音频神经辐射场。该辐射场可以用于音频定位和定向。神经网络的优化目标是使用损失函数来重建输入中的声音信号，并同时考虑了声波随着距离的指数级衰减，以及声波传播遇到有向距离场时会发生反射的特性。
4、无线电神经辐射场的建立：
(1)无线电信号处理：使用无线传感器采集环境中的无线电信号，并对信号进行处理和预处理，包括去噪、滤波、信号标识符识别等。
(2)无线电信号传播模型：基于不同频率无线电信号的传播、反射和穿透模型，建立无线电神经辐射场。该模型考虑了无线电信号在空气中的传播和反射，以及根据三维环境信息的穿透性和反射性，计算出信号的传播路径和信号到达时间。
(3)神经网络优化：通过多层感知器(MLP)的神经网络对无线电辐射场进行迭代优化和回归，得到最终的无线电神经辐射场。该辐射场可以用于无线电信号的定位和定向。神经网络优化的目标是使得无线电神经辐射场能够最大程度地重现真实环境中的无线电信号分布，同时保持一定的平滑性和一致性。神经网络优化的损失函数包括了重建损失、正则化损失和视角一致性损失等。
5、气体密度场的建立：
(1)气体信息处理：使用气体探测器采集环境中的气体信息，并对气体信息进行处理和预处理，包括去噪、滤波、气体识别等。
(2)气体扩散模型：基于气体扩散模型，建立气体密度场。该模型考虑了气体在空气中的扩散性和传播性，计算出气体的密度和预计分布情况。扩散性是指由于分子热运动和浓度差异导致的气体在空间中均匀分布的趋势；传播性是指由于风力或其他外力作用导致的气体在空间中沿一定方向移动的趋势。根据不同类型的气体和环境条件，选择合适的扩散方程或传输方程来描述气体密度场随时间和空间变化的规律，并求解得到数值解或解析解。
(3)神经网络优化：通过多层感知器(MLP)的神经网络对气体密度场进行迭代优化和回归，得到最终的气体神经辐射场。
6、概率场的融合
为实现有效融合，我们可以采用神经网络反向传播和权重融合的方法，以及先验概率和后验概率的方法。
神经网络反向传播与权重融合：
神经网络反向传播是一种监督学习算法，通过最小化预测误差来调整神经网络权重。在三维神经网络概率场构建中，我们可以使用反向传播算法来训练一个多层感知器(MLP)，用于融合不同的概率场。具体步骤如下：
(1)输入层：将不同概率场的数据作为神经网络的输入，例如红外神经网络辐射场、音频神经辐射场、无线电神经辐射场和气体神经辐射场等。
(2)隐藏层：通过多个隐藏层学习不同概率场之间的关联性。隐藏层的神经元数量和激活函数可以根据具体任务和数据集进行调整。
(3)输出层：输出融合后的三维神经网络概率场。输出层的神经元数量应与输入层相同，以保证输出的概率场具有相同的维度。
(4)权重融合：在训练过程中，根据预测误差调整神经网络权重。通过权重融合，神经网络能够学习到不同概率场之间的关联性，从而实现有效融合。
先验概率与后验概率方法：
先验概率和后验概率的方法基于贝叶斯理论，通过先验知识和观测数据来更新概率分布。在三维神经网络概率场构建中，我们可以使用先验概率和后验概率的方法来融合不同的概率场。具体步骤如下：
(1)定义先验概率分布：根据不同概率场的性质和先验知识，为每个概率场定义一个先验概率分布。
(2)观测数据：将红外成像、音频、无线电和气体探测等传感器的观测数据作为条件概率。
(3)计算后验概率：根据贝叶斯公式，结合先验概率和条件概率计算后验概率。后验概率表示在给定观测数据的情况下，各个概率场的相对权重。
以下是上述构建一个可用于目标智能定位的概率场的具体实现步骤：
1、输入数据预处理：
在构建三维神经网络概率场之前，需要对输入的传感器数据进行预处理。这包括：
(1)数据对齐：根据时间戳对齐不同传感器的数据；
(2)数据滤波：对原始数据进行去噪、滤波等操作，提高数据质量。
2、有向距离场的计算：
基于神经网络，对三维模型进行有向距离场的计算。有向距离场是指从目标点到各个环境点的最短路径，具有方向性和距离信息，可以用于后续不同传感器环境场的建立。
3、环境场建立：
根据预处理后的传感器数据，分别建立红外辐射环境场、音频神经辐射场、无线电神经辐射场和气体密度场。具体步骤参考前述描述。
4、概率场的融合
将不同的环境概率场进行融合。具体步骤参考前述描述。
5、优化与更新：
(1)根据最新的传感器数据，实时更新三维神经网络概率场；
(2)对神经网络概率场进行优化，提高其精度和鲁棒性。
6、输出结果：
将构建好的三维神经网络概率场提供给目标定位与跟踪模块，以便进行后续的目标定位、跟踪和决策。
在实际应用当中，通过融合前面的数据，以此计算出一个总的待救援对象的分布概率，具体实现方式如下：
点云中的每个点都有一个概率值，范围在0到1之间。我们将分为两部分进行讨论：单一传感器做法和多传感器融合做法。
单一传感器做法：
对于单一传感器做法，我们可以直接使用对应的概率场作为待救援对象的分布概率。例如，如果我们只使用红外成像传感器进行探测，那么可以直接使用红外神经网络辐射场作为待救援对象的分布概率。首先，对于每个点云中的点，我们计算其在红外神经网络辐射场中的概率值。然后，设定一个阈值，例如0.5。只有当概率值大于阈值时，我们才认为该点可能是待救援对象的位置。
多传感器融合做法：
对于多传感器融合做法，我们需要结合不同传感器的概率场来计算待救援对象的分布概率。具体做法如下：
(1)体素化渲染：首先，我们将三维空间进行体素化，将每个体素中的点云数据转换为神经网络可以处理的格式。
(2)射线投影：对于每个传感器，我们对其对应的神经网络辐射场进行射线投影。具体来说，从传感器的位置发射射线，穿过三维神经网络辐射场的空间，并计算每个射线与体素的交点。
(3)累计概率：对于每个射线与体素的交点，我们计算其在对应传感器的神经网络辐射场中的概率值，并累加得到融合概率。例如，对于红外成像传感器和麦克风阵列传感器，我们可以计算每个交点在红外神经网络辐射场和音频神经辐射场中的概率值，并将它们相加得到融合概率。
(4)判断：同样设定一个阈值，例如0.5。只有当融合概率大于阈值时，我们才认为该点可能是待救援对象的位置。
在实际应用当中，所述的决策与预警模块负责根据三维融合与处理模块和目标定位与跟踪模块输出的三维环境信息和目标位置信息进行决策。该模块的主要目的是为操作人员或自主探测系统提供后续操作建议，并在危险时给出预警。通过分析三维环境信息和目标位置信息，决策与预警模块可以为搜救行动提供有用的信息，提高搜索效率和安全性。决策与预警模块的主要功能包括：
风险分析：根据输入的三维环境信息，分析环境中可能存在的风险。风险可能包括不稳定的建筑结构、有毒气体泄漏、火源等。该模块通过对各种传感器数据的综合分析，识别出这些风险区域，以便操作人员或自主探测系统可以避开这些区域，降低搜救过程中的风险。
路径规划：根据输入的三维环境信息和目标位置信息，为搜救队伍或自主探测设备规划最佳路径。该模块通过对三维环境模型的分析，结合风险区域信息，计算出到达目标位置的最短路径或最安全路径。路径规划算法可以包括A*算法、Dijkstra算法等，这些算法可以根据不同的优化目标(如最短距离、最低风险等)生成相应的路径。
目标跟踪：根据目标定位与跟踪模块提供的目标位置信息，实时跟踪目标。目标可能是待救援的人员、动物或其他重要物资。该模块可以根据目标位置信息，实时更新目标在三维环境中的位置，为操作人员或自主探测系统提供实时的目标信息。目标跟踪算法可以包括卡尔曼滤波器、粒子滤波器等，这些算法可以有效地处理目标位置信息的不确定性和噪声。
预警：根据风险分析结果，实时给出预警信息。预警信息可能包括危险气体和高温，坍塌预警等。
在本发明的一具体实施方式中，我们以一个救援机器人在隧道坍塌救援应用为背景，进一步详细的说明本技术方案：
当接收到救援任务时，救援机器人首先启动激光雷达模块，实时获取周围环境点云信息。激光雷达模块利用高精度激光测距仪扫描目标，实时测量周围环境点的距离、角度和高度信息。
救援机器人的三维建模与感知模块利用激光雷达模块获取的点云信息进行实时三维建图。通过多源融合位姿解算单元，实现对救援机器人的精确位姿估计，提高三维建模的准确性和鲁棒性。
同时，红外成像模块通过检测环境中的热辐射信息，识别受困者的位置。红外成像模块可以在低光照条件下正常工作，具有较高的探测灵敏度。同时危险气体泄露并起火会产生大量的热辐射，红外成像模块可以通过检测热辐射信息，定位火源的位置，并尽快进行救援。
声音定向探测模块通过接收声音信号，定位受困者的大致方向。声音定向探测模块可以识别人声、呼救声等声源，并利用声源定位算法估计声源方向。
无线通信模块接收受困者可能发出的无线电信号，如手机信号、对讲机信号等。通过分析信号强度和频率，无线通信模块可以估计信号来源的大致方位。
气体探测模块检测环境中的气体成分，如一氧化碳、甲烷等有毒气体。通过对气体浓度的实时监测，救援机器人可以避免进入危险区域，确保自身安全。
通过将红外成像、麦克风阵列、无线和气体探测模块获取的信息与激光雷达模块获取的点云信息进行融合，救援机器人可以对待救援对象进行智能定位。在本实施例中，我们以隧道坍塌救援应用为例，假设救援机器人在隧道中发现一处坍塌点，此时可能有人被埋在坍塌点周围。
救援机器人首先将激光雷达模块获取到的点云信息与前几秒的点云信息进行融合，实时更新三维地图，建立环境的三维点云地图。通过三维建模与感知模块，救援机器人实时计算自身的三维位姿，以及坍塌点周围环境的三维结构信息。
随后，救援机器人将红外成像、麦克风阵列、无线和气体探测模块获取到的信息与三维地图进行融合。通过多源融合位姿解算单元，救援机器人实现对自身位姿、受困者位置和坍塌点位置的估计。同时，通过计算待救援对象在三维空间中的位置分布概率，救援机器人可以确定最可能的待救援对象位置。
救援机器人根据预设的搜索策略，自主探索受困者可能被困的区域。救援机器人利用激光雷达模块实时扫描周围环境，同时通过红外成像、麦克风阵列、无线和气体探测模块监测周围环境，不断更新三维地图和受困者位置分布概率。
当救援机器人发现受困者时，红外成像模块可以通过检测热辐射信息确定受困者的位置。麦克风阵列模块可以通过声源定位算法确定受困者的方向。无线通信模块可以通过分析信号强度和频率确定受困者所在区域。通过综合分析，救援机器人可以确定受困者的具体位置，进行救援行动。
本实施例中的救援机器人利用激光雷达、红外成像、麦克风阵列、无线和气体探测的多种传感器数据融合技术，实现对待救援对象的智能定位对于坍塌区域的建模，救援机器人可以利用激光雷达模块获取的点云信息进行三维重建。通过将不同时刻获取的点云信息融合起来，可以建立坍塌区域的三维模型。救援机器人可以利用三维模型对坍塌区域进行探索，并根据模型中的信息规划最优路径，避开危险区域。
当救援机器人探测到受困者时，救援机器人可以利用融合的多种传感器信息计算出受困者的位置概率分布。通过该概率分布，救援机器人可以判断受困者位置的可靠性，并选择最优的救援方案。例如，如果受困者被埋在深处，救援机器人可以通过红外成像模块和麦克风阵列模块的联合使用，确定受困者的大致位置，然后利用气体探测模块检测环境中有毒气体的浓度，避免进入危险区域，选择最优的救援路径，将受困者成功救出。
除此以外，我们以一个救援机器人在管廊中有危险气体泄露并起火的情况的应用为背景。
鉴于现场情况的复杂性，救援机器人需要通过多种传感器数据的融合来定位待救援对象并进行救援行动。此时，救援机器人首先启动激光雷达模块，实时获取周围环境点云信息。通过激光雷达模块的高精度测距功能，救援机器人可以快速掌握火情的发展情况，并根据实时获取的环境点云信息进行实时三维建模，为后续的定位和救援提供精准的环境模型。
同时，救援机器人的气体探测模块可以实时检测环境中的气体成分，如一氧化碳、甲烷等有毒气体。通过对气体浓度的实时监测，救援机器人可以避免进入危险区域，确保自身安全。同时，救援机器人的红外成像模块也可以探测出环境中可能存在的火源，从而有效地避免进一步危害。
当发现受困者时，救援机器人可以通过麦克风阵列模块接收声音信号，定位受困者的大致方向。通过麦克风阵列模块的声源定位算法，救援机器人可以估计声源方向，并从激光雷达模块获取的环境点云信息中匹配出受困者的位置。
另外，救援机器人的无线通信模块也可以接收受困者可能发出的无线电信号，如手机信号、对讲机信号等。通过分析信号强度和频率，无线通信模块可以估计信号来源的大致方位，进而帮助救援机器人更快地定位受困者位置。
在定位到受困者位置后，救援机器人可以通过多个作动机构来进行救援行动，例如机械臂可以拿取物品，喷水器可以进行灭火等。救援机器人可以根据实际情况，通过多种传感器数据的融合来进行多角度的定位和救援，最大程度地提高救援的效率和成功率。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行装置执行的软件或固件来实现。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成的，程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一实施例”、“一些实施例”、“示例”、“具体示例”、或“实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
采用了本发明的该基于红外成像、激光雷达和声音定向探测的目标智能定位控制系统及其方法，利用激光雷达发射激光光束即可测量其反射时间，以来获取环境中的物体位置信息。同时，利用实时增量式建立三维点云地图技术方案，可以在探测装备或探测机器人运动中实时生成物体位置的三维坐标，从而建立环境的三维点云地图。该技术方案具有高精度、高速度、高稳定性等优点，可以应用于各种环境下的定位和探测，能够有效的提高救援侦查效率、降低待救援对象准确定位的难度，从而高效科学地改善了救援侦查效率，显著增强被困人员定位的效率和准度，相较于现有技术而言，具有更广泛的应用范围。
在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。

Claims (10)

1.一种基于红外成像、激光雷达和声音定向探测的目标智能定位控制系统，其特征在于，所述的系统包括：
激光雷达模块，通过高精度激光测距仪扫描目标，并实时测量周围环境点的距离、角度和高度信息；
红外成像模块，通过高灵敏度红外传感器捕捉当前救援任务下的目标热辐射特征，并生成高分辨率的红外图像数据；
声音定向探测模块，通过高灵敏度麦克风阵列捕捉目标发出的声音信号，并通过信号处理算法确定声音目标的方向和声源概率分布情况；
无线电探测模块，通过高灵敏度天线和射频接收器检测目标的无线电信号，以识别和定位无线通信设备；
气体检测模块，通过高灵敏度气体传感器监测目标周围的气体成分，以检测可能存在的有害气体或对目标有指示性的气体；
三维建模与感知模块，与所述的激光雷达模块相连接，用于获取监测目标的三维模型和场景信息，为目标定位提供立体感知能力；
三维融合与处理模块，与所述的三维建模与感知模块、红外成像模块、声音定向探测模块、无线电探测模块和气体检测模块相连接，通过采用多传感器数据融合算法，对红外成像模块、激光雷达模块、声音定向探测模块、三维建模与感知模块、无线电探测模块和气体检测模块采集到的数据进行三维融合与处理，以提高目标的定位精度和鲁棒性；
目标定位与跟踪模块，与所述的三维融合与处理模块相连接，用于根据所述的三维融合与处理模块输出的目标位置信息，实时对该目标进行定位和跟踪处理，以确保目标不丢失；以及
决策与预警模块，与所述的目标定位与跟踪模块相连接，用于结合所述的三维融合与处理模块和目标定位与跟踪模块输出的数据信息，并进行目标行为分析与预测，通过制定探测策略与执行方案，进行实时预警提示、潜在风险评估以及应对措施制定。
2.一种利用权利要求1所述的系统实现基于红外成像、激光雷达和声音定向探测的目标智能定位控制方法，其特征在于，所述的方法包括以下步骤：
(1)使用激光雷达模块实时获取周围环境点云信息；
(2)三维建模与感知模块利用所述的激光雷达模块获取的点云信息进行实时三维建模；
(3)基于所述的激光雷达模块获取的轨迹信息，实时增量式生成当前环境下的三维点云结构，并利用三维融合与处理模块将同步接收到的红外成像模块、声音定向探测模块、无线电探测模块和气体检测模块的传感器数据进行融合定位以及参数计算；
(4)将计算出的所述的红外成像模块、声音定向探测模块、无线电探测模块和气体检测模块的接收数据传输至所述的三维融合与处理模块进行融合处理；
(5)所述的三维融合与处理模块根据各个传感器数据和三维建模与感知模块提供的三维点云结构信息，计算当前目标所处的位置以及概率分布情况；
(6)目标定位与跟踪模块根据所述的三维融合与处理模块输出的目标位置信息和概率分布进行实时定位和跟踪处理，以确保目标不丢失；
(7)决策与预警模块根据所述的三维融合与处理模块和目标定位与跟踪模块输出的三维环境信息和目标位置信息进行决策处理，给出后续操作建议或进行自主探测，并在危险时刻给出预警。
3.根据权利要求2所述的基于红外成像、激光雷达和声音定向探测的目标智能定位方法，其特征在于，所述的步骤(2)具体包括以下步骤：
(2.1)探测装备或探测机器人通过激光雷达发射激光束并测量其回波反射时间，获取当前环境下目标物体的位置信息，包括反射激光的时间、角度、距离、反射强度，并计算出单帧三维点云数据，所述的单帧三维点云数据包括每个点的三维点坐标(x,y,z)和反射时间，并以此建立局部三维点云地图；
(2.2)利用所述的激光雷达获取到的各个数据信息，从激光雷达的三维点云中进行特征点的提取，将获取到的相邻时刻的点云数据进行特征匹配，找到相同的特征点，以此生成一个特征匹配列表，并分别记录各个特征点的参考帧特征id、目标帧特征id以及特征匹配置信度，实时增量式地更新所述的探测装备或探测机器人的三维运动位姿轨迹；
(2.3)基于获取到的三维运动位姿轨迹，将其中的每一帧的三维点云数据均转换到机器人坐标系下，合并为一个点云数据集进行体素滤波处理，并根据所述的探测装备或探测机器人的运动轨迹不断更新点云地图，实现对环境的实时建模。
4.根据权利要求2所述的基于红外成像、激光雷达和声音定向探测的目标智能定位方法，其特征在于，所述的步骤(3)具体包括以下步骤：
(3.1)预标定激光雷达与红外成像、麦克风阵列、无线电探测和气体探测传感器之间的相对位移和矩阵，形成外参，该外参表示为一个4×4的浮点数矩阵；
(3.2)接收同步的红外成像数据、麦克风阵列数据、无线电探测数据和气体探测传感器数据；
(3.3)根据当前所述的探测装备或探测机器人的运动位姿和三维点云结构信息，计算可视范围内三维位置的红外数据信息；
(3.3.1)获取红外成像数据：从红外成像传感器中获取一帧红外成像数据；
(3.3.2)提取对应激光雷达数据：根据时间戳，从激光雷达数据中提取与红外成像数据相对应的单帧三维点云数据；
(3.3.3)点云配准：根据所述的红外成像传感器与激光雷达的外参矩阵，将提取到的激光雷达数据与红外成像数据进行配准，即将两种数据对齐，并将所述的红外成像数据映射到对应位置的三维点云数据中；
(3.3.4)点云融合：将配准后的红外成像数据与原有的三维点云数据进行融合，形成新的三维点云数据；
(3.4)根据当前探测装备或探测机器人的运动位姿和信号朝向信息，计算三维环境中可能的声源概率分布；
(3.4.1)获取声源数据：从麦克风阵列中，获取声波强度和声源方向角数据；
(3.4.2)转换到机器人坐标系下：根据麦克风阵列与激光雷达的外参矩阵，将声源方向角数据转换到机器人坐标系下的声源方向，该方向包含两个数据：三维起点坐标，三维方向向量；
(3.4.3)融合存储数据：从机器人坐标系下声源起点出发，模拟声波传播方向，并记录声波概率，沿方向向量获取第一个点，并沿第一个点的法向量，计算反射方向，并从反射方向出发获取到下一个点，依次重复当前该步骤，直到获得一定反射距离内的三维点列表，并按照距离远近分配权重，为所述的三维点列表的三维点赋予声源概率数据；
(3.4.4)点云融合：将融合后的点云数据写回三维点云信息中；
(3.5)根据当前探测装备或探测机器人的运动位姿将获取到的无线电和气体探测数据记录到所述的探测装备或探测机器人的所在位置；
(3.5.1)获取无线电和气体探测传感器数据；
(3.5.2)根据时间戳，从激光雷达数据中提取当前时间对应的雷达位姿；
(3.5.3)根据所述的雷达位姿，创建一个三维标记点，并记录无线和气体探测传感器数据；
(3.5.4)点云融合：将融合后的点云数据写回三维点云信息中。
5.根据权利要求2所述的基于红外成像、激光雷达和声音定向探测的目标智能定位方法，其特征在于，所述的步骤(4)具体包括以下步骤：
(4.1)将获取到的所述的红外成像模块、声音定向探测模块、无线电探测模块和气体检测模块的接收数据进行数据预处理，包括根据时间戳对齐不同传感器的数据以及对原始数据进行去噪、滤波处理；
(4.2)根据目标点到各个环境点的最短路径构建有向距离场：将通过三维建模获得的各个三维点云信息输入至神经网络进行聚类、分块和特征提取，计算得到SDF特征，并通过体素化采样，计算有向距离场；
(4.3)根据预处理后的传感器数据，分别建立红外辐射概率场、音频神经辐射概率场、无线电神经辐射概率场和气体神经密度概率场；
(4.4)使用反向传播算法通过训练多层感知器MLP，将各个不同的概率场进行融合处理。
6.根据权利要求5所述的基于红外成像、激光雷达和声音定向探测的目标智能定位方法，其特征在于，所述的步骤(4.3)建立红外辐射概率场具体包括：
传感器平台位姿计算：获取传感器平台在当前环境中的位姿和红外成像的内参和外参，并通过通用的相机模型进行投影得到相机二维到环境三维的对应关系；
二维红外图像投影：将二维红外图片上的每个像素进行射线化投影，并穿过所述的有向距离场的空间；
神经网络优化：使用多层感知器MLP的神经网络对当前获得的投影函数进行迭代优化与回归，得到红外神经网络辐射场；
体积密度采样：对所述的红外神经网络辐射场进行分块采样，并得到各个点上的体积密度；
红外图像渲染：在预设位置建立相机模型并进行投影，通过积分累计射线上的所有体积密度值，并渲染得到红外图像；
所述的步骤(4.3)建立音频神经辐射概率场具体包括：
声音信号处理：使用麦克风阵列采集环境中的声音信号，并对声音信号进行预处理；
声波传播与反射模型：基于声波传播与反射模型，建立音频神经辐射场，并利用声波的声程和三维环境信息，计算出声源位置和声波到达时间；
神经网络优化：通过多层感知器MLP的神经网络对音频辐射场进行迭代优化和回归，得到最终的音频神经辐射概率场。
7.根据权利要求5所述的基于红外成像、激光雷达和声音定向探测的目标智能定位方法，其特征在于，所述的步骤(4.3)建立无线电神经辐射概率场具体包括：
无线电信号处理：使用无线传感器采集环境中的无线电信号，并对信号进行预处理；
无线电信号传播模型：基于不同频率无线电信号的传播、反射和穿透模型，建立无线电神经辐射场，并计算出信号的传播路径和信号到达时间；
神经网络优化：通过多层感知器MLP的神经网络对无线电辐射场进行迭代优化和回归，得到最终的无线电神经辐射概率场；
所述的步骤(4.3)建立气体密度概率场具体包括：
气体信息处理：使用气体探测器采集环境中的气体信息，并对气体信息进行预处理；
气体扩散模型：基于气体扩散模型，建立气体密度场，计算出气体的密度和预计分布情况；
神经网络优化：通过多层感知器MLP的神经网络对气体密度场进行迭代优化和回归，得到最终的气体神经辐射概率场。
8.根据权利要求5所述的基于红外成像、激光雷达和声音定向探测的目标智能定位方法，其特征在于，所述的步骤(4.4)具体包括以下步骤：
(4.4.1)输入层：将各个不同概率场的数据作为神经网络的输入；
(4.4.2)隐藏层：通过多个隐藏层学习各个不同概率场之间的关联性，其中所述的隐藏层的神经元数量和激活函数将根据具体任务和数据集进行调整；
(4.4.3)输出层：输出经过融合后的三维神经网络概率场，其中输出层的神经元数量应与输入层相同，以保证输出的概率场具有相同的维度；
(4.4.4)权重融合：在训练过程中，根据预测误差调整神经网络权重，通过权重融合，使得所述的神经网络学习到不同概率场之间的关联性，从而实现有效融合。
9.根据权利要求6所述的基于红外成像、激光雷达和声音定向探测的目标智能定位方法，其特征在于，所述的步骤(5)具体包括以下步骤：
(5.1)采用单一传感器，计算三维点云结构中每一个点云对应的点在红外辐射概率场中的概率值，当概率值大于预设阈值时，则认为该点为待救援对象所处的位置；
(5.2)采用多传感器融合处理方式，结合不同传感器的概率场计算概率分布情况；
(5.2.1)体素化渲染：将当前的三维模型进行体素化，将每个体素中的点云数据转换为神经网络能够处理的格式；
(5.2.2)射线投影：将每个传感器经过神经网络处理后得到的与其相对于的辐射场进行射线投影，计算每个射线与体素的交点；
(5.2.3)累计概率：对于每个射线与体素的交点，计算其在对应传感器的神经网络辐射场中的概率值，并累加得到融合概率；
(5.2.4)判断：设定一个阈值，当融合概率大于阈值时，则认为该点为待救援对象所处的位置。
10.根据权利要求2至9中任一项所述的基于红外成像、激光雷达和声音定向探测的目标智能定位方法，其特征在于，所述的步骤(7)具体包括以下步骤：
(7.1)风险分析：根据输入的三维环境信息，通过对获取到的各种传感器数据进行综合分析，分析环境中可能存在的风险，并进行风险区域的识别；
(7.2)路径规划：对当前生成的三维环境模型进行分析，通过结合风险区域信息，计算出到达目标位置的最短路径或最安全路径；
(7.3)目标跟踪：根据目标定位与跟踪模块提供的目标位置信息，实时跟踪目标，实时更新目标在三维环境中的位置；
(7.4)预警：根据风险分析结果，实时给出相应的预警信息。
CN202310326251.8A 2023-03-29 2023-03-29 基于红外成像、激光雷达和声音定向探测的目标智能定位控制系统及其方法 Pending CN116339337A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310326251.8A CN116339337A (zh) 2023-03-29 2023-03-29 基于红外成像、激光雷达和声音定向探测的目标智能定位控制系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310326251.8A CN116339337A (zh) 2023-03-29 2023-03-29 基于红外成像、激光雷达和声音定向探测的目标智能定位控制系统及其方法

Publications (1)

Publication Number Publication Date
CN116339337A true CN116339337A (zh) 2023-06-27

Family

ID=86877039

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310326251.8A Pending CN116339337A (zh) 2023-03-29 2023-03-29 基于红外成像、激光雷达和声音定向探测的目标智能定位控制系统及其方法

Country Status (1)

Country Link
CN (1) CN116339337A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116699258A (zh) * 2023-08-03 2023-09-05 深圳市气象服务有限公司 基于无线电信号进行防雷检测的方法、系统与防雷设备
CN117214398A (zh) * 2023-09-04 2023-12-12 江苏省连云港环境监测中心 一种深层地下水体污染物检测方法及系统
CN117783051A (zh) * 2024-02-28 2024-03-29 西安尚展信息科技有限公司 一种基于多传感器数据融合的甲烷气体泄漏检测方法
CN117823741A (zh) * 2024-03-06 2024-04-05 福建巨联环境科技股份有限公司 一种结合智能机器人的管网非开挖修复方法及系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116699258A (zh) * 2023-08-03 2023-09-05 深圳市气象服务有限公司 基于无线电信号进行防雷检测的方法、系统与防雷设备
CN116699258B (zh) * 2023-08-03 2023-11-03 深圳市气象服务有限公司 基于无线电信号进行防雷检测的方法、系统与防雷设备
CN117214398A (zh) * 2023-09-04 2023-12-12 江苏省连云港环境监测中心 一种深层地下水体污染物检测方法及系统
CN117214398B (zh) * 2023-09-04 2024-05-14 江苏省连云港环境监测中心 一种深层地下水体污染物检测方法及系统
CN117783051A (zh) * 2024-02-28 2024-03-29 西安尚展信息科技有限公司 一种基于多传感器数据融合的甲烷气体泄漏检测方法
CN117823741A (zh) * 2024-03-06 2024-04-05 福建巨联环境科技股份有限公司 一种结合智能机器人的管网非开挖修复方法及系统
CN117823741B (zh) * 2024-03-06 2024-05-31 福建巨联环境科技股份有限公司 一种结合智能机器人的管网非开挖修复方法及系统

Similar Documents

Publication Publication Date Title
CN116339337A (zh) 基于红外成像、激光雷达和声音定向探测的目标智能定位控制系统及其方法
US10809376B2 (en) Systems and methods for detecting objects in underwater environments
CN110866887A (zh) 一种基于多传感器的目标态势融合感知方法和系统
Huang et al. Towards acoustic structure from motion for imaging sonar
US8031933B2 (en) Method and apparatus for producing an enhanced 3D model of an environment or an object
US6728608B2 (en) System and method for the creation of a terrain density model
CN112926514A (zh) 一种多目标检测及跟踪方法、系统、存储介质及应用
Singh et al. Comparative analysis of range sensors for the robust autonomous navigation–a review
US20160299229A1 (en) Method and system for detecting objects
Kachurka et al. WeCo-SLAM: Wearable cooperative SLAM system for real-time indoor localization under challenging conditions
CN113776519A (zh) 一种无光动态开放环境下agv车辆建图与自主导航避障方法
Segovia et al. Optimal management of marine inspection with autonomous underwater vehicles
Yang et al. A hierarchical approach for refining point cloud quality of a low cost UAV LiDAR system in the urban environment
Loebis et al. Review of multisensor data fusion techniques and their application to autonomous underwater vehicle navigation
Muller et al. A probabilistic sonar sensor model for robust localization of a small-size blimp in indoor environments using a particle filter
US20230073689A1 (en) Inspection Device for Inspecting a Building or Structure
Deshpande et al. A next generation mobile robot with multi-mode sense of 3D perception
Zhao et al. Indoor lidar relocalization based on deep learning using a 3d model
Alliez et al. Indoor localization and mapping: Towards tracking resilience through a multi-slam approach
Baeck et al. Drone based near real-time human detection with geographic localization
Rehman et al. Development of Georeferenced 3D Point Cloud in GPS Denied Environments Using Backpack Laser Scanning System
Wei Multi-sources fusion based vehicle localization in urban environments under a loosely coupled probabilistic framework
NL2019877B1 (en) Obstacle detection using horizon-based learning
Sambolek et al. Person Detection and Geolocation Estimation in UAV Aerial Images: An Experimental Approach.
Kramer Radar-Based Perception For Visually Degraded Environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination