CN114034343A - 一种基于机器人的环境多模信息综合分析系统 - Google Patents
一种基于机器人的环境多模信息综合分析系统 Download PDFInfo
- Publication number
- CN114034343A CN114034343A CN202111333584.0A CN202111333584A CN114034343A CN 114034343 A CN114034343 A CN 114034343A CN 202111333584 A CN202111333584 A CN 202111333584A CN 114034343 A CN114034343 A CN 114034343A
- Authority
- CN
- China
- Prior art keywords
- data
- information
- sensor
- module
- analysis module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 113
- 230000004927 fusion Effects 0.000 claims abstract description 87
- 230000008447 perception Effects 0.000 claims abstract description 18
- 230000006870 function Effects 0.000 claims abstract description 17
- 230000005855 radiation Effects 0.000 claims description 36
- 238000000034 method Methods 0.000 claims description 12
- 230000000007 visual effect Effects 0.000 claims description 11
- 230000007613 environmental effect Effects 0.000 claims description 9
- 238000001228 spectrum Methods 0.000 claims description 4
- 238000003786 synthesis reaction Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 6
- 238000001514 detection method Methods 0.000 description 11
- 239000000523 sample Substances 0.000 description 9
- 238000005259 measurement Methods 0.000 description 7
- 239000007788 liquid Substances 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000009529 body temperature measurement Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001502 supplementing effect Effects 0.000 description 2
- 238000012351 Integrated analysis Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D21/00—Measuring or testing not otherwise provided for
- G01D21/02—Measuring two or more variables by means not covered by a single other subclass
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Manipulator (AREA)
- Testing Or Calibration Of Command Recording Devices (AREA)
Abstract
本发明公开的属于机器人环境感知与分析决策技术领域，具体为一种基于机器人的环境多模信息综合分析系统，包括环境多模信息综合分析系统，所述环境多模信息综合分析系统由多模块感知模块、三维空间定位模块和信息融合分析模块构成，所述多模块感知模块连接信息融合分析模块，所述信息融合分析模块连接三维空间定位模块，所述多模态感知模块上配置CUP，用于控制和管理模块的各种感知功能，所述三维空间定位模块用于获取上述信息融合分析模块进行三维空间位置姿态数据，本发明使场景三维信息融合度提高，且有效结合实际三维场景信息进行分析，进而达到增加操作的精准度的效果。
Description
技术领域
本发明涉及机器人环境感知与分析决策技术领域，具体为一种基于机器人的环境多模信息综合分析系统。
背景技术
机器人是自动执行工作的机器装置，它既可以接受人类指挥，又可以运行预先编排的程序，也可以根据以人工智能技术制定的原则纲领行动，它的任务是协助或取代人类工作的工作，例如生产业、建筑业，或是危险的工作，目前在工业、医学、农业甚至军事等领域中均有重要用途。
现有的智能机器人传统感知系统模态少，和场景三维信息融合度低，难以有效结合实际三维场景信息进行分析，从而降低了操作的精准度，为此，我们提出一种基于机器人的环境多模信息综合分析系统。
发明内容
鉴于上述和/或现有一种基于机器人的环境多模信息综合分析系统中存在的问题，提出了本发明。
因此，本发明的目的是提供一种基于机器人的环境多模信息综合分析系统，通过信息融合分析模块将获得的三维彩色点云数据结合三维空间定位模块获得的三维位置数据进行融合，以此数据构建出三维点云地图，能够解决上述提出现有的问题。
为解决上述技术问题，根据本发明的一个方面，本发明提供了如下技术方案：
一种基于机器人的环境多模信息综合分析系统，其包括：环境多模信息综合分析系统，所述环境多模信息综合分析系统由多模块感知模块、三维空间定位模块和信息融合分析模块构成，所述多模块感知模块连接信息融合分析模块，所述信息融合分析模块连接三维空间定位模块；
所述多模态感知模块上配置CUP，用于控制和管理模块的各种感知功能；
所述三维空间定位模块用于获取上述信息融合分析模块进行三维空间位置姿态数据；
所述信息融合分析模块由计算机构成，所述信息融合分析模块用于获取多模态感知模块和三维空间定位模块的信息，并将这些信息进行融合处理；
所述环境多模信息综合分析系统安装在机器人内，用于机器人感知系统和控制。
作为本发明所述的一种基于机器人的环境多模信息综合分析系统的一种优选方案，其中：所述多模态感知模块包括彩色相机、深度相机、视觉里程计、红外相机、超声传感器阵列、激光测距仪、温度传感器、湿度传感器、气味传感器和核辐射传感器，所述彩色相机、深度相机、视觉里程计、红外相机、超声传感器阵列、激光测距仪、温度传感器、湿度传感器、气味传感器和核辐射传感器连接信息融合分析模块。
作为本发明所述的一种基于机器人的环境多模信息综合分析系统的一种优选方案，其中：所述彩色相机获得多模态传感器正面朝向的彩色图像数据，并通过数据线将该数据发送给信息融合分析模块，所述深度相机获得多模态传感器正面朝向的深度图像数据，并通过数据线将该数据发送给信息融合分析模块，所述红外相机获得多模态传感器正面朝向的温度图像数据并通过数据线将该数据发送给信息融合分析模块，所述超声传感器阵列获频谱的点阵分布式数据，并通过数据线将该数据发送给信息融合分析模块。
作为本发明所述的一种基于机器人的环境多模信息综合分析系统的一种优选方案，其中：所述温度传感器获得传感器周边的气温数据，并通过数据线将该数据发送给信息融合分析模块，所述湿度传感器获取传感器周边的湿度数据并通过数据线将该数据发送给信息融合分析模块，所述气味传感器获得多模态传感器所处位置的目标气体浓度数据，并通过数据线将该数据发送给信息融合分析模块，所述辐射传感器获得多模态传感器正面朝向的辐射强度数据，并通过数据线将该数据发送给信息融合分析模块，所述激光测距仪获得多模态传感器距离测距目标点的距离并通过数据线将该数据发送给信息融合分析模块。
作为本发明所述的一种三维点云地图的建立方法的一种优选方案，其中：所述信息融合分析模块将彩色相机、深度相机获得的三维彩色点云数据结合三维空间定位模块获得的三维位置数据进行融合，以此数据构建出三维点云地图。
作为本发明所述的一种三维点云地图的使用方法的一种优选方案，其中：所述信息融合分析模块将热红外图像信息多模态传感器的空间位置信息，把热红外信息和彩色点云地图相融合，使得地图中的被红外相机观测到的部分的每个点获得其温度数值，所述信息融合分析模块将超声传感器获得的超声图像结合多模态传感器的空间位置信息，把超声图像信息和彩色点云地图相融合，从而获得三维空间中的超声分布梯度。
作为本发明所述的一种三维点云地图的使用方法的一种优选方案，其中：所述信息融合分析模块将温度传感器获得的气温数据结合多模态传感器的空间位置信息，把气温信息和彩色点云地图相融合，从而获得三维空间中的气温分布情况，所述信息融合分析模块将湿度感器获得的温度数据结合多模态传感器的空间位置信息，把湿度信息和彩色点云地图相融合，从而获得三维空间中的空气湿度分布情况。
作为本发明所述的一种三维点云地图的使用方法的一种优选方案，其中：所述信息融合分析模块将气味传感器获得的目标气体浓度数据结合多模态传感器的空间位置信息，把目标气体浓度信息和彩色点云地图相融合，从而获得三维空间中的目标气体浓度分布情况，所述信息融合分析模块将辐射传感器获得的辐射强度数据结合多模态传感器的空间位置信息，把辐射强度信息和彩色点云地图相融合，从而获得三维空间中的辐射强度分布情况。
与现有技术相比：通过采用彩色相机、深度相机获得的三维彩色点云数据结合视觉里程计和IMU的数据进行所在场景的三维地图的构建以及基于三维地图的自定位；
通过利用彩色相机、深度相机获得的三维彩色点云数据进行目标识别，判别视野范围内对象的目标类型以及空间位置、尺度参数；
通过利用红外相机获得的温度图像结合功能获得的目标判别结果，计算得到目标的表面温度，并进行温度是否越界、是否有高温、低温液体泄漏等需要报警的判定；
通过利用超声传感器阵列获得的超声分布图像结合功能获得的目标判别结果，计算得到目标的附近是否有高压气体泄漏、泄露速度以及泄露位置，并以此信息判定是否需要报警；
通过利用温度传感器获得多模态感知探头内部的温度以便控制风扇及时散热保证探头内温度稳定、并可以利用探头内温度数据来校正热红外传感器的测量偏差；
通过利用激光测距仪可以获得超出深度相机工作范围的较远目标的精确距离、该距离结合原理获得的探头自身位置数据可以较为精确的测量较远目标点的三维空间位置数据，该位置数据可以用于补充三维数字地图、也可以用于校正远距离目标红外测温结果；
通过利用彩色相机获得的彩色图像结合功能1获得的相机位置数据，识别图像中的仪表表盘的数据，并向中控系统更新该仪表的数据，根据彩色图像、深度图像、红外图像进行数据融合进行活体检测、识别有害生物、陌生人员等，并根据识别结果进行报警；
通过彩色相机采集的现场实时彩色视频、通过麦克风采集的音频数据流、结合热红外图像实时数据上传给中控服务器并转发给监控坐席，便于坐席操作员根据实时音视频以及红外数据及时掌握现场情况做出综合判断；
通过气味传感器，可以获得周围的传感器可以感知的气体分子的浓度信息，从而对环境中是否存在对应的检测目标气体、以及该气体浓度是否超出警戒线做出判断，并且根据功能获得的多模态传感器3D空间位置；
通过移动机器人和改变安装多模态传感器的机械臂的姿态的方式改变多模态传感器的空间位置从而获得不同空间位置的目标气体浓度信息，进而获得目标气体在三维空间中的浓度分布情况，通过核辐射传感器结合功能获得的多模态传感器3D空间位置信息可以获得空间中的辐射分布信息，并根据辐射强度的空间梯度变化确定核辐射源的空间方位，并可以根据辐射强度提供核辐射预警信息。
附图说明
图1为本发明提供的系统结构示意图。
图中：环境多模信息综合分析系统1、多模块感知模块2、三维空间定位模块3、信息融合分析模块4。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。
本发明提供一种基于机器人的环境多模信息综合分析系统，具有增加感知传感器的作用下，使场景三维信息融合度提高，且有效结合实际三维场景信息进行分析，进而增加操作的精准度的优点，请参阅图1，包括环境多模信息综合分析系统1、多模块感知模块2、三维空间定位模块3和信息融合分析模块4；
进一步的，环境多模信息综合分析系统1由多模块感知模块2、三维空间定位模块3和信息融合分析模块4构成，具体的，环境多模信息综合分析系统1通过多模块感知模块2的传感器的数据进行所在场景的三维地图的构建以及基于三维地图的自定位，再通过三维空间定位模块3获得多模态传感器的三维空间位置姿态数据，并将该数据发送给信息融合分析模块4，信息融合分析模块4再将彩色相机、深度相机获得的三维彩色点云数据结合三维空间定位模块3获得的三维位置数据进行融合，以此数据构建出三维点云地图，从而在增加感知传感器的作用下，使场景三维信息融合度提高，且有效结合实际三维场景信息进行分析，进而达到增加操作的精准度的效果。
进一步的，多模块感知模块2上配置CUP，多模块感知模块2包括彩色相机、深度相机、视觉里程计、红外相机、超声传感器阵列、麦克风、加速度计、激光测距仪、温度传感器、湿度传感器、气味传感器、核辐射传感器，具体的，多模态感知模块2中的各种传感器组建组成的模组被集成到同一块控制板上，形成一个感知模块、供电、数据传输接口，彩色相机获得多模态传感器正面朝向的彩色图像数据，并通过数据线将该数据发送给信息融合分析模块4，深度相机获得多模态传感器正面朝向的深度图像数据，并通过数据线将该数据发送给信息融合分析模块4，红外相机获得多模态传感器正面朝向的温度图像数据并通过数据线将该数据发送给信息融合分析模块4，超声传感器阵列获频谱的点阵分布式数据，并通过数据线将该数据发送给信息融合分析模块4，温度传感器获得传感器周边的气温数据，并通过数据线将该数据发送给信息融合分析模块4，湿度传感器获取传感器周边的湿度数据并通过数据线将该数据发送给信息融合分析模块4，气味传感器获得多模态传感器所处位置的目标气体浓度数据，并通过数据线将该数据发送给信息融合分析模块4，辐射传感器获得多模态传感器正面朝向的辐射强度数据，并通过数据线将该数据发送给信息融合分析模块4，激光测距仪获得多模态传感器距离测距目标点的距离并通过数据线将该数据发送给信息融合分析模块4，彩色相机、深度相机、红外相机的镜头中轴线和超声传感器阵列的法线方向与温度、湿度、气体、辐射传感器的采样方向、激光测距仪的测量方向保持平行，多模态感知模块2所有传感器在同一个位置同时测量同一个方向的数据，多模态传感器可以安装在机器人上或者检测人员身上，对目标场景进行检测，通过多模态感知模块2中的各种传感器组建组成的模组被集成到同一块控制板上，形成一个感知模块、供电、数据传输接口，从而方便将数据进行传输的效果，通过彩色相机获得多模态传感器正面朝向的彩色图像数据，并通过数据线将该数据发送给信息融合分析模块4，深度相机获得多模态传感器正面朝向的深度图像数据，并通过数据线将该数据发送给信息融合分析模块4，红外相机获得多模态传感器正面朝向的温度图像数据并通过数据线将该数据发送给信息融合分析模块4，超声传感器阵列获频谱的点阵分布式数据，并通过数据线将该数据发送给信息融合分析模块4，温度传感器获得传感器周边的气温数据，并通过数据线将该数据发送给信息融合分析模块4，湿度传感器获取传感器周边的湿度数据并通过数据线将该数据发送给信息融合分析模块4，气味传感器获得多模态传感器所处位置的目标气体浓度数据，并通过数据线将该数据发送给信息融合分析模块4，辐射传感器获得多模态传感器正面朝向的辐射强度数据，并通过数据线将该数据发送给信息融合分析模块4，激光测距仪获得多模态传感器距离测距目标点的距离并通过数据线将该数据发送给信息融合分析模块4，从而达到传感器将收集的数据向信息融合分析模块4进行传输的效果，通过彩色相机、深度相机、红外相机的镜头中轴线和超声传感器阵列的法线方向与温度、湿度、气体、辐射传感器的采样方向、激光测距仪的测量方向保持平行，多模态感知模块2所有传感器在同一个位置同时测量同一个方向的数据，从而达到方便传感器对同一方向捕捉数据，增加收集的数据的精准度的效果，通过多模态传感器可以安装在机器人上或者检测人员身上，对目标场景进行检测，从而达到方便通过机器人进行感知数据的效果，通过采用彩色相机、深度相机获得的三维彩色点云数据结合视觉里程计和IMU的数据进行所在场景的三维地图的构建以及基于三维地图的自定位，通过利用彩色相机、深度相机获得的三维彩色点云数据进行目标识别，判别视野范围内对象的目标类型以及空间位置、尺度参数，通过利用红外相机获得的温度图像结合功能获得的目标判别结果，计算得到目标的表面温度，并进行温度是否越界、是否有高温、低温液体泄漏等需要报警的判定，通过利用超声传感器阵列获得的超声分布图像结合功能获得的目标判别结果，计算得到目标的附近是否有高压气体泄漏、泄露速度以及泄露位置，并以此信息判定是否需要报警，通过利用温度传感器获得多模态感知探头内部的温度以便控制风扇及时散热保证探头内温度稳定、并可以利用探头内温度数据来校正热红外传感器的测量偏差，通过利用激光测距仪可以获得超出深度相机工作范围的较远目标的精确距离、该距离结合原理获得的探头自身位置数据可以较为精确的测量较远目标点的三维空间位置数据，该位置数据可以用于补充三维数字地图、也可以用于校正远距离目标红外测温结果，通过利用彩色相机获得的彩色图像结合功能1获得的相机位置数据，识别图像中的仪表表盘的数据，并向中控系统更新该仪表的数据，根据彩色图像、深度图像、红外图像进行数据融合进行活体检测、识别有害生物、陌生人员等，并根据识别结果进行报警，通过彩色相机采集的现场实时彩色视频、通过麦克风采集的音频数据流、结合热红外图像实时数据上传给中控服务器并转发给监控坐席，便于坐席操作员根据实时音视频以及红外数据及时掌握现场情况做出综合判断，通过气味传感器，可以获得周围的传感器可以感知的气体分子的浓度信息，从而对环境中是否存在对应的检测目标气体、以及该气体浓度是否超出警戒线做出判断，并且根据功能获得的多模态传感器3D空间位置，通过移动机器人和改变安装多模态传感器的机械臂的姿态的方式改变多模态传感器的空间位置从而获得不同空间位置的目标气体浓度信息，进而获得目标气体在三维空间中的浓度分布情况，通过核辐射传感器结合功能获得的多模态传感器3D空间位置信息可以获得空间中的辐射分布信息，并根据辐射强度的空间梯度变化确定核辐射源的空间方位，并可以根据辐射强度提供核辐射预警信息，其中红外相机设置为热红外相机，是在无可见光或者微光的黑暗环境下，采用红外发射装置主动将红外光投射到物体上，红外光经物体反射后进入镜头进行成像，由于红外线对极大部份的固体及液体物质的穿透能力极差，因此红外热成像检测是以测量物体表面的红外线辐射能量为主。
进一步的，三维空间定位模块3获得多模态传感器的三维空间位置姿态数据，并将该数据发送给信息融合分析模块4，三维空间定位模块3包括视觉里程计、惯性加测量单元和全球定位系统，具体的，三维空间定位模块3获得多模态传感器的三维空间位置姿态数据，并将该数据发送给信息融合分析模块4，通过三维空间定位模块3获得多模态传感器的三维空间位置姿态数据，并将该数据发送给信息融合分析模块4，在视觉里程计、惯性加测量单元和全球定位系统的作用下，达到对三维空间进行精准定位，方便对操作进行精准控制的效果。
进一步的，信息融合分析模块4将彩色相机、深度相机获得的三维彩色点云数据结合三维空间定位模块3获得的三维位置数据进行融合，具体的，信息融合分析模块4由计算机构成，信息融合分析模块4用于获取多模态感知模块2和三维空间定位模块3的信息，并将这些信息进行融合处理，通过信息融合分析模块4将彩色相机、深度相机获得的三维彩色点云数据结合三维空间定位模块3获得的三维位置数据进行融合，并将这些信息进行融合处理，从而以此数据构建出三维点云地图，进而达到精准定位，精准对机器人进行操控的效果，其中融合方法为，先获得彩色点云数据的同时，三维空间定位模块3会给出彩色点云相机的三维位置姿态数据，在保存彩色点云数据的同时，保存该彩色点云数据对应的三维位置姿态数据，融合时，读取采样时获得的若干彩色点云数据，在虚拟三维空间中对每个点云以网格体的形式进行显示，各个点云所生成的网格体在虚拟空间中的位置数据和姿态数据采用点云采样时从三维空间定位模块3所获得的位置和姿态数据，这些复数个点云在同一个虚拟空间所生成的网格体就能够反映现实空间中场景的实际情况。
在具体使用时，本领域技术人员将多模态传感器安装在机器人上，用于帮助检测人员通过AR显示技术直接获得面前测量的目标类型、目标温度超标情况、目标气体、液体泄露情况、以及火灾检测；帮助测量人员进行定位导航等功能，通过将多模态传感器安装在机器人上，将探头安装在机械臂或者可动/固定云台上，帮助机器人进行三维地图建图、定位导航、目标识别、并测量目标的温度超标情况、目标气体、液体泄露信息，以及火灾检测，当识别未联网的老式设备的仪表数据时，利用检测人员、机器人定期巡检的方式定期向中控系统更新该设备的仪表数据，通过利用活体检测功能、以及远程实时监看功能，用于厂区、消防，设备安全、边防、战区的安防动态巡检场景，以及抢险救灾时的受灾人员搜寻场景，利用核辐射检测功能可以实现辐射泄露检测、辐射沾染检测、辐射源定位追踪功能。
虽然在上文中已经参考实施方式对本发明进行了描述，然而在不脱离本发明的范围的情况下，可以对其进行各种改进并且可以用等效物替换其中的部件。尤其是，只要不存在结构冲突，本发明所披露的实施方式中的各项特征均可通过任意方式相互结合起来使用，在本说明书中未对这些组合的情况进行穷举性的描述仅仅是出于省略篇幅和节约资源的考虑。因此，本发明并不局限于文中公开的特定实施方式，而是包括落入权利要求的范围内的所有技术方案。
Claims (8)
1.一种基于机器人的环境多模信息综合分析系统，其特征在于：包括环境多模信息综合分析系统(1)，所述环境多模信息综合分析系统(1)由多模块感知模块(2)、三维空间定位模块(3)和信息融合分析模块(4)构成，所述多模块感知模块(2)连接信息融合分析模块(4)，所述信息融合分析模块(4)连接三维空间定位模块(3)；
所述多模态感知模块(2)上配置CUP，用于控制和管理模块的各种感知功能；
所述三维空间定位模块(3)用于获取上述信息融合分析模块进行三维空间位置姿态数据；
所述信息融合分析模块(4)由计算机构成，所述信息融合分析模块(4)用于获取多模态感知模块(2)和三维空间定位模块(3)的信息，并将这些信息进行融合处理；
所述环境多模信息综合分析系统(1)安装在机器人内，用于机器人感知系统和控制。
2.根据权利要求1所述的一种基于机器人的环境多模信息综合分析系统，其特征在于，所述多模态感知模块(2)包括彩色相机、深度相机、视觉里程计、红外相机、超声传感器阵列、激光测距仪、温度传感器、湿度传感器、气味传感器和核辐射传感器，所述彩色相机、深度相机、视觉里程计、红外相机、超声传感器阵列、激光测距仪、温度传感器、湿度传感器、气味传感器和核辐射传感器连接信息融合分析模块(4)。
3.根据权利要求2所述的一种基于机器人的环境多模信息综合分析系统，其特征在于，所述彩色相机获得多模态传感器正面朝向的彩色图像数据，并通过数据线将该数据发送给信息融合分析模块(4)，所述深度相机获得多模态传感器正面朝向的深度图像数据，并通过数据线将该数据发送给信息融合分析模块(4)，所述红外相机获得多模态传感器正面朝向的温度图像数据并通过数据线将该数据发送给信息融合分析模块(4)，所述超声传感器阵列获频谱的点阵分布式数据，并通过数据线将该数据发送给信息融合分析模块(4)。
4.根据权利要求2所述的一种基于机器人的环境多模信息综合分析系统，其特征在于，所述温度传感器获得传感器周边的气温数据，并通过数据线将该数据发送给信息融合分析模块(4)，所述湿度传感器获取传感器周边的湿度数据并通过数据线将该数据发送给信息融合分析模块(4)，所述气味传感器获得多模态传感器所处位置的目标气体浓度数据，并通过数据线将该数据发送给信息融合分析模块(4)，所述辐射传感器获得多模态传感器正面朝向的辐射强度数据，并通过数据线将该数据发送给信息融合分析模块(4)，所述激光测距仪获得多模态传感器距离测距目标点的距离并通过数据线将该数据发送给信息融合分析模块(4)。
5.一种三维点云地图的建立方法，其特征在于，所述信息融合分析模块(4)将彩色相机、深度相机获得的三维彩色点云数据结合三维空间定位模块(3)获得的三维位置数据进行融合，以此数据构建出三维点云地图。
6.一种三维点云地图的使用方法，其特征在于，所述信息融合分析模块(4)将热红外图像信息多模态传感器的空间位置信息，把热红外信息和彩色点云地图相融合，使得地图中的被红外相机观测到的部分的每个点获得其温度数值，所述信息融合分析模块(4)将超声传感器获得的超声图像结合多模态传感器的空间位置信息，把超声图像信息和彩色点云地图相融合，从而获得三维空间中的超声分布梯度。
7.根据权利要求6所述的一种三维点云地图的使用方法，其特征在于，所述信息融合分析模块(4)将温度传感器获得的气温数据结合多模态传感器的空间位置信息，把气温信息和彩色点云地图相融合，从而获得三维空间中的气温分布情况，所述信息融合分析模块(4)将湿度感器获得的温度数据结合多模态传感器的空间位置信息，把湿度信息和彩色点云地图相融合，从而获得三维空间中的空气湿度分布情况。
8.根据权利要求6所述的一种三维点云地图的使用方法，其特征在于，所述信息融合分析模块(4)将气味传感器获得的目标气体浓度数据结合多模态传感器的空间位置信息，把目标气体浓度信息和彩色点云地图相融合，从而获得三维空间中的目标气体浓度分布情况，所述信息融合分析模块(4)将辐射传感器获得的辐射强度数据结合多模态传感器的空间位置信息，把辐射强度信息和彩色点云地图相融合，从而获得三维空间中的辐射强度分布情况。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111333584.0A CN114034343A (zh) | 2021-11-11 | 2021-11-11 | 一种基于机器人的环境多模信息综合分析系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111333584.0A CN114034343A (zh) | 2021-11-11 | 2021-11-11 | 一种基于机器人的环境多模信息综合分析系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114034343A true CN114034343A (zh) | 2022-02-11 |
Family
ID=80137387
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111333584.0A Pending CN114034343A (zh) | 2021-11-11 | 2021-11-11 | 一种基于机器人的环境多模信息综合分析系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114034343A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117435890A (zh) * | 2023-12-20 | 2024-01-23 | 深圳市武迪电子科技有限公司 | 一种电动摩托车多模态融合热管理方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107450577A (zh) * | 2017-07-25 | 2017-12-08 | 天津大学 | 基于多传感器的无人机智能感知系统和方法 |
| CN108073167A (zh) * | 2016-11-10 | 2018-05-25 | 深圳灵喵机器人技术有限公司 | 一种基于深度相机与激光雷达的定位与导航方法 |
| CN109459037A (zh) * | 2018-12-29 | 2019-03-12 | 南京师范大学镇江创新发展研究院 | 一种基于slam智能载体的环境信息采集方法及系统 |
| CN110415342A (zh) * | 2019-08-02 | 2019-11-05 | 深圳市唯特视科技有限公司 | 一种基于多融合传感器的三维点云重建装置与方法 |
| CN112650255A (zh) * | 2020-12-29 | 2021-04-13 | 杭州电子科技大学 | 一种基于视觉与激光雷达信息融合的机器人室内外定位导航系统方法 |
| CN112698306A (zh) * | 2020-12-17 | 2021-04-23 | 上海交通大学宁波人工智能研究院 | 一种多激光雷达结合相机解决地图构建盲区的系统和方法 |
-
2021
- 2021-11-11 CN CN202111333584.0A patent/CN114034343A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108073167A (zh) * | 2016-11-10 | 2018-05-25 | 深圳灵喵机器人技术有限公司 | 一种基于深度相机与激光雷达的定位与导航方法 |
| CN107450577A (zh) * | 2017-07-25 | 2017-12-08 | 天津大学 | 基于多传感器的无人机智能感知系统和方法 |
| CN109459037A (zh) * | 2018-12-29 | 2019-03-12 | 南京师范大学镇江创新发展研究院 | 一种基于slam智能载体的环境信息采集方法及系统 |
| CN110415342A (zh) * | 2019-08-02 | 2019-11-05 | 深圳市唯特视科技有限公司 | 一种基于多融合传感器的三维点云重建装置与方法 |
| CN112698306A (zh) * | 2020-12-17 | 2021-04-23 | 上海交通大学宁波人工智能研究院 | 一种多激光雷达结合相机解决地图构建盲区的系统和方法 |
| CN112650255A (zh) * | 2020-12-29 | 2021-04-13 | 杭州电子科技大学 | 一种基于视觉与激光雷达信息融合的机器人室内外定位导航系统方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117435890A (zh) * | 2023-12-20 | 2024-01-23 | 深圳市武迪电子科技有限公司 | 一种电动摩托车多模态融合热管理方法及系统 |
| CN117435890B (zh) * | 2023-12-20 | 2024-04-02 | 深圳市武迪电子科技有限公司 | 一种电动摩托车多模态融合热管理方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110458961B (zh) | 基于增强现实的系统 | |
| US20190079522A1 (en) | Unmanned aerial vehicle having a projector and being tracked by a laser tracker | |
| CA2778261C (en) | Position and orientation determination using movement data | |
| CN201104273Y (zh) | 基于红外的测云传感器 | |
| US8282274B2 (en) | Remote temperature sensing device | |
| US9733081B2 (en) | Geodesic measuring device comprising a thermographic camera | |
| KR101718287B1 (ko) | 드론을 활용한 항공 진단 안전 서비스 방법 | |
| CN111624641A (zh) | 一种防爆型油库区智能巡检机器人 | |
| US20150379701A1 (en) | Inspection camera unit, method for inspecting interiors, and sensor unit | |
| CN114502988A (zh) | 辐射源定位系统和方法 | |
| KR102298643B1 (ko) | 적외선 열화상 카메라와 수중드론을 이용한 수중표면 3차원 모델링 방법 | |
| KR102507828B1 (ko) | 광범위한 부지에 대한 영공을 모니터링하기 위한 시스템 및 방법 | |
| KR102298645B1 (ko) | 적외선 열화상 카메라와 수중드론을 이용한 수중표면 3차원 모델링 시스템 | |
| KR101453336B1 (ko) | 비접촉 변위측정시스템 | |
| CN114034343A (zh) | 一种基于机器人的环境多模信息综合分析系统 | |
| WO2020136969A1 (ja) | 測定システム、測定装置、測定方法、及びプログラム | |
| EP3460772B1 (en) | Monitoring system setting method, and monitoring system | |
| KR100913165B1 (ko) | 이동체의 위치 검출 장치 및 방법 | |
| KR20200058721A (ko) | 3차원 안전정보 측정을 위한 드론 탐지시스템 | |
| US10119813B2 (en) | Device and method for ascertaining a suitable position of a sensor device | |
| JP2022028894A (ja) | 光学情報処理装置、光学情報処理方法および光学情報処理用プログラム | |
| KR20160070384A (ko) | 열화상 감지에 의한 비행물체 탐지시스템 | |
| CN116721512B (zh) | 一种自主导航机器人环境感知控制方法及系统 | |
| Piszczek et al. | Measurement stand for Teraeye inspection | |
| US20230126808A1 (en) | Error prediction apparatus and error prediction method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220211 |