CN114310961A - 一种基于视觉的多传感器融合的智能防火机器人 - Google Patents
一种基于视觉的多传感器融合的智能防火机器人 Download PDFInfo
- Publication number
- CN114310961A CN114310961A CN202210037375.XA CN202210037375A CN114310961A CN 114310961 A CN114310961 A CN 114310961A CN 202210037375 A CN202210037375 A CN 202210037375A CN 114310961 A CN114310961 A CN 114310961A
- Authority
- CN
- China
- Prior art keywords
- robot
- fire
- sensor
- camera
- vision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002265 prevention Effects 0.000 title claims description 6
- 239000000779 smoke Substances 0.000 claims abstract description 22
- 238000001514 detection method Methods 0.000 claims abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 9
- 230000004927 fusion Effects 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 3
- 239000007921 spray Substances 0.000 claims description 2
- 230000005611 electricity Effects 0.000 claims 1
- 230000010354 integration Effects 0.000 claims 1
- 238000007689 inspection Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Landscapes
- Fire-Extinguishing By Fire Departments, And Fire-Extinguishing Equipment And Control Thereof (AREA)
- Manipulator (AREA)
- Fire-Detection Mechanisms (AREA)
Abstract
本发明涉及一种基于视觉的多传感器融合的智能防火机器人，包括机器人本体、摄像头组和传感器组，摄像头组和传感器组均设置在机器人本体外侧，摄像头组包括深度相机、单目相机、红外摄像头和高清摄像头，传感器组包括红外传感器和烟雾传感器，机器人本体内设有控制系统，控制系统连接摄像头组和传感器组，控制系统执行以下步骤：控制机器人在场地内巡检，并实时获取红外摄像头的区域识别温度，当区域识别温度超过第一温度阈值时，定位目标区域，控制机器人移动至目标区域；获取红外传感器、烟雾传感器和高清摄像头的信息，判断是否起火，若起火则控制机器人使用灭火器灭火。与现有技术相比，本发明具有检测更精确等优点。
Description
技术领域
本发明涉及防火机器人领域，尤其是涉及一种基于视觉的多传感器融合的智能防火机器人。
背景技术
防火机器人主要应用在仓库等物资存储区域的消防工作，可以极大地节省人力物力，一定程度上防止火情的进一步扩大。防火机器人的发展不仅符合时代，还能满足人们对消防安全要求日益增强的需要，提供安全保障。防火机器人的应用是做好消防防控工作，不间断消防检测是增强消防能力的有效措施。
现有技术中，提供了一些防火机器人，但大多是仅仅利用火焰传感器或烟雾传感器等检测着火点并进行灭火，或单纯通过视觉传感器获取图像并进行图像识别来分辨是否起火，但是上述方案检测准确度不高，容易产生误报，造成不必要的麻烦。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于视觉的多传感器融合的智能防火机器人。
本发明的目的可以通过以下技术方案来实现：
一种基于视觉的多传感器融合的智能防火机器人，包括机器人本体、摄像头组和传感器组，所述摄像头组和传感器组均设置在机器人本体外侧，所述摄像头组包括深度相机、单目相机、红外摄像头和高清摄像头，所述传感器组包括红外传感器和烟雾传感器，所述机器人本体内设有控制系统，所述控制系统连接摄像头组和传感器组，所述控制系统执行以下步骤：
步骤S1、控制机器人在场地内巡检，并实时获取红外摄像头的区域识别温度，当区域识别温度超过第一温度阈值时，将当前区域设为目标区域，执行步骤S2；
步骤S2、获取此时深度相机和单目相机的图像数据，定位目标区域，并控制机器人移动至目标区域；
步骤S3、当机器人移动至目标区域前时，获取红外传感器、烟雾传感器和高清摄像头的信息，判断是否起火，若起火则控制机器人使用灭火器灭火。
进一步地，所述步骤S3中，当红外传感器的数值高于第二温度阈值时、当烟雾传感器检测到存在烟雾时或通过高清摄像头获取的图像判定为存在火焰时，判断为起火。
进一步地，判定通过高清摄像头获取的图像是否存在火焰的方法为：
将高清摄像头获取的图像使用YOLO目标检测算法结合训练好的消防检测模型，获取判断结果；所述消防检测模型的训练过程如下：
将若干张带有火焰的图片和不带有火焰的图片作为输入，将其是否带有火焰的标签作为输出训练消防检测模型。
进一步地，还包括旋转盒体，所述旋转盒体设置在机器人本体上方，所述高清摄像头和红外摄像头设置在旋转盒体上，所述旋转盒体保持360度旋转。。
进一步地，在步骤S3中，若判断为没有起火，控制系统将目标区域定位信息传输至远端计算机，管理人员根据该定位信息对目标区域进行查看。
进一步地，在步骤S3中，判断为起火后，控制系统将目标区域定位信息传输给远端计算机，远端计算机控制场地内所有空闲的灭火机器人前往目标区域协助灭火。
进一步地，所述传感器组还包括超声波传感器，在机器人移动时，所述控制系统获取超声波传感器的信息判断当前路径上是否存在障碍物，若存在则控制机器人本体进行避让。
进一步地，所述机器人本体底部设置有主动轮和万向从动轮，所述主动轮通过步进电机驱动，所述步进电机连接控制系统。
进一步地，当机器人电量不足时，控制系统将当前定位信息和待充电信息传输至远端计算机，同时控制机器人前往充电站；远端计算机控制距离较近的机器人执行充电机器人的巡检任务。
进一步地，所述灭火器固定在灭火器支撑结构上，所述灭火器支撑结构包括可旋转和调节高度的云梯，固定在机器人本体上，灭火器的喷头由继电器开关控制，所述继电器连接控制系统。
与现有技术相比，本发明具有以下优点：
1、本发明在灭火机器人上设置了红外摄像头，根据温度初步判定区域是否疑似起火，在移动到相应区域后又根据高清摄像头、红外传感器和烟雾传感器联合判断是否起火，融合了视觉设备以及相关传感器，相比起现有技术中仅采用摄像头或者仅采用传感器的方法，本发明的温度检测逻辑更合理，对起火的检测更精确。
2、本发明灭火机器人的高清摄像头和红外摄像头始终保持360度旋转，确保了机器人在巡检时周围的所有区域都能被检测到，保证了搜索范围的全面。
3、本发明采用多机协调的方案，在检测到起火时通过远端计算机控制空闲的机器人灭火，增加了灭火的效率；同时在机器人需要充电时，远端计算机可以及时协调附近的其它机器人接管工作。
4、本发明在机器人上设置了超声波传感器，结合摄像头为机器人提供了避障能力，确保机器人在巡检以及前往目标区域时的效率。
5、本发明中，若检测到目标区域未起火，会通知管理人员查看，防止由于传感器或高清摄像头故障引起的误报。
附图说明
图1为本发明的机器人正面示意图。
图2为本发明的机器人底部示意图。
附图标记：1-机器人本体；2-旋转轴；3-旋转电机；4-报警系统；5-烟雾传感器；6-超声波传感器；7-烟雾传感器；8-超声波传感器；9-烟雾传感器；11-灭火器；12-灭火器支撑结构；13-主动轮；14-万向从动轮；18-IMU；19控制系统；20-旋转盒体；21-红外摄像头；22-高清摄像头；23-红外传感器；24-红外传感器；25-单目相机-；26-深度相机；27-电池仓。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
本实施例提供了一种基于视觉的多传感器融合的智能防火机器人，包括机器人本体、摄像头组和传感器组，摄像头组和传感器组均设置在机器人本体外侧，摄像头组包括深度相机、单目相机、红外摄像头和高清摄像头，传感器组包括超声波传感器、红外传感器和烟雾传感器，且机器人本体内设有控制系统，控制系统连接摄像头组和传感器组。
如图1所示，旋转盒体20设置在机器人本体1上方，机器人本体上设有旋转轴2和驱动旋转轴2的旋转电机3，机器人本体1的中央设有用于旋转轴2穿过的通孔，旋转轴2穿过通孔的一端固定有旋转盒体20，旋转盒体20上设有红外摄像头21和高清摄像头22，在机器人巡检时，旋转盒体20保持360度旋转。
机器人本体1正面设有深度相机26、单目相机25和报警系统4，报警系统4与控制系统19连接，机器人主体的下方设有两个主动轮13和两个万向从动轮14，两个主动轮用步进轮毂电机直接驱动，电机连接控制系统19，可以实现防火机器人任意方向的前进倒退。超声波传感器共设有两个，分别以6和8表示，用于收集运动路径上的障碍物信息，控制系统根据超声波传感器的信息在必要时对障碍物进行避让。
机器人本体1上还设置了三个烟雾传感器，分别以5、7和9表示，和两个红外传感器，分别以23和24表示，用于检测是否着火。
机器人本体1还设置有灭火器11和灭火器支撑结构12，灭火器支撑结构12与控制系统19连接，灭火器支撑结构12采用能够旋转角度和垂直升降高度的云梯并固定在机器人本体1上，灭火器11采用干粉灭火器，并且整体固定在灭火器支撑结构12上，灭火器11喷头固定在云梯最前端,由继电器开关控制灭火器11喷头喷放灭火物质，继电器连接控制系统19。
机器人本体1内还设置了加速度计和陀螺仪，加速度计和陀螺仪可集成为IMU18，设于机器人本体1内，实时计算姿态角度和加速度，用于控制机器人前进、后退和转向。
如图2所示，机器人本体底部还设置了电池仓27，当机器人电量不足时，控制系统19将当前定位信息和待充电信息传输至远端计算机，同时控制机器人前往充电站，控制系统19打开电池仓27的仓门进行充电准备；同时远端计算机控制距离较近的机器人执行充电机器人的巡检任务。
控制系统19包括工控机和驱动电路板，两者间通过串口连接，在机器人巡检时执行以下步骤：
步骤S1、控制机器人在场地内巡检，并实时获取红外摄像头的区域识别温度，当区域识别温度超过第一温度阈值时，将当前区域设为目标区域，执行步骤S2；若未超过第一温度阈值，则继续巡检。
步骤S2、获取此时深度相机和单目相机的图像数据，定位目标区域，并控制机器人移动至目标区域。
步骤S3、当机器人移动至目标区域前时，获取红外传感器、烟雾传感器和高清摄像头的信息，当红外传感器的数值高于第二温度阈值时、当烟雾传感器检测到存在烟雾时或通过高清摄像头获取的图像判定为存在火焰时，判断为起火，控制报警系统报警并控制机器人使用灭火器灭火，并将目标区域定位信息传输给远端计算机，远端计算机记录火情信息，并控制场地内所有空闲的灭火机器人前往目标区域协助灭火。若判断为未起火，则将目标区域定位信息传输至远端计算机，管理人员根据该定位信息对目标区域进行查看，以防止由于设备损坏导致的误报。
其中，通过高清摄像头获取的图像是否存在火焰的方法为：
将高清摄像头获取的图像使用YOLO目标检测算法结合训练好的消防检测模型，获取判断结果；所述消防检测模型的训练过程如下：将若干张带有火焰的图片和不带有火焰的图片作为输入，将其是否带有火焰的标签作为输出训练消防检测模型。
若在机器人灭火超过预设的灭火时间后，红外传感器、烟雾传感器和高清摄像头检测到仍然存在火焰，则通过远端计算机通知工作人员，并继续执行灭火指令。
除此之外，远端计算机中存储有场地的完整地图数据，可基于全局规划和局部寻优的改进A*算法实现机器人增量式构图并优化机器人巡检的路径，提高机器人在巡检时的效率。
在本实施例中，超声传感器、烟雾传感器和红外传感器设置为多个的原因为，若其中一个传感器发生故障，可以通过控制系统获取的数据及时发现，避免机器人巡检时由于传感器故障导致误报或不报起火情况。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。
Claims (10)
1.一种基于视觉的多传感器融合的智能防火机器人，其特征在于，包括机器人本体(1)、摄像头组和传感器组，所述摄像头组和传感器组均设置在机器人本体(1)外侧，所述摄像头组包括深度相机(26)、单目相机(25)、红外摄像头(21)和高清摄像头(22)，所述传感器组包括红外传感器和烟雾传感器，所述机器人本体(1)内设有控制系统(19)，所述控制系统(19)连接摄像头组和传感器组，所述控制系统(19)执行以下步骤：
步骤S1、控制机器人在场地内巡检，并实时获取红外摄像头(21)的区域识别温度，当区域识别温度超过第一温度阈值时，将当前区域设为目标区域，执行步骤S2；
步骤S2、获取此时深度相机(26)和单目相机(25)的图像数据，定位目标区域，并控制机器人移动至目标区域；
步骤S3、当机器人移动至目标区域前时，获取红外传感器、烟雾传感器和高清摄像头(22)的信息，判断是否起火，若起火则控制机器人使用灭火器灭火。
2.根据权利要求1所述的一种基于视觉的多传感器融合的智能防火机器人，其特征在于，所述步骤S3中，当红外传感器的数值高于第二温度阈值时、当烟雾传感器检测到存在烟雾时或通过高清摄像头(22)获取的图像判定为存在火焰时，判断为起火。
3.根据权利要求1所述的一种基于视觉的多传感器融合的智能防火机器人，其特征在于，判定通过高清摄像头(22)获取的图像是否存在火焰的方法为：
将高清摄像头(22)获取的图像使用YOLO目标检测算法结合训练好的消防检测模型，获取判断结果；所述消防检测模型的训练过程如下：
将若干张带有火焰的图片和不带有火焰的图片作为输入，将其是否带有火焰的标签作为输出训练消防检测模型。
4.根据权利要求1所述的一种基于视觉的多传感器融合的智能防火机器人，其特征在于，还包括旋转盒体(20)，所述旋转盒体(20)设置在机器人本体(1)(1)上方，所述高清摄像头(22)和红外摄像头(21)设置在旋转盒体(20)上，所述旋转盒体(20)保持360度旋转。
5.根据权利要求1所述的一种基于视觉的多传感器融合的智能防火机器人，其特征在于，在步骤S3中，若判断为没有起火，控制系统(19)将目标区域定位信息传输至远端计算机，管理人员根据该定位信息对目标区域进行查看。
6.根据权利要求1所述的一种基于视觉的多传感器融合的智能防火机器人，其特征在于，在步骤S3中，判断为起火后，控制系统(19)将目标区域定位信息传输给远端计算机，远端计算机控制场地内所有空闲的灭火机器人前往目标区域协助灭火。
7.根据权利要求1所述的一种基于视觉的多传感器融合的智能防火机器人，其特征在于，所述传感器组还包括超声波传感器(8)，在机器人移动时，所述控制系统(19)获取超声波传感器(8)的信息判断当前路径上是否存在障碍物，若存在则控制机器人本体(1)进行避让。
8.根据权利要求1所述的一种基于视觉的多传感器融合的智能防火机器人，其特征在于，所述机器人本体(1)底部设置有主动轮(13)和万向从动轮(14)，所述主动轮(13)通过步进电机驱动，所述步进电机连接控制系统(19)。
9.根据权利要求1所述的一种基于视觉的多传感器融合的智能防火机器人，其特征在于，当机器人电量不足时，控制系统(19)将当前定位信息和待充电信息传输至远端计算机，同时控制机器人前往充电站；远端计算机控制距离较近的机器人执行充电机器人的巡检任务。
10.根据权利要求1所述的一种基于视觉的多传感器融合的智能防火机器人，其特征在于，所述灭火器(11)固定在灭火器支撑结构(12)上，所述灭火器支撑结构(12)包括可旋转和调节高度的云梯，固定在机器人本体(1)上，灭火器(11)的喷头由继电器开关控制，所述继电器连接控制系统(19)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210037375.XA CN114310961A (zh) | 2022-01-13 | 2022-01-13 | 一种基于视觉的多传感器融合的智能防火机器人 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210037375.XA CN114310961A (zh) | 2022-01-13 | 2022-01-13 | 一种基于视觉的多传感器融合的智能防火机器人 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114310961A true CN114310961A (zh) | 2022-04-12 |
Family
ID=81026851
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210037375.XA Pending CN114310961A (zh) | 2022-01-13 | 2022-01-13 | 一种基于视觉的多传感器融合的智能防火机器人 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114310961A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114550020A (zh) * | 2022-04-21 | 2022-05-27 | 深圳一心一医智能科技有限公司 | 一种消毒机器人的生物体图像智能识别方法及系统 |
| CN116597599A (zh) * | 2023-05-05 | 2023-08-15 | 鞍山市消防救援支队 | 一种电气火灾远程智能活动式监控装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104299351A (zh) * | 2014-10-22 | 2015-01-21 | 常州大学 | 智能预警灭火机器人 |
| CN106843240A (zh) * | 2017-04-18 | 2017-06-13 | 哈尔滨理工大学 | 基于智能视频的防火机器人及多机协调系统 |
| CN110102002A (zh) * | 2019-05-15 | 2019-08-09 | 上海荷福人工智能科技（集团）有限公司 | 基于人工智能的消防机器人的预警及灭火系统和方法 |
| CN111973919A (zh) * | 2020-06-24 | 2020-11-24 | 江苏深渡消防装备科技有限公司 | 一种基于图像识别的火源精准定位方法 |
| CN112947147A (zh) * | 2021-01-27 | 2021-06-11 | 上海大学 | 一种基于多传感器及云平台算法的消防机器人 |
| CN113084776A (zh) * | 2021-03-19 | 2021-07-09 | 上海工程技术大学 | 基于视觉的多传感器融合的智能防疫机器人及系统 |
-
2022
- 2022-01-13 CN CN202210037375.XA patent/CN114310961A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104299351A (zh) * | 2014-10-22 | 2015-01-21 | 常州大学 | 智能预警灭火机器人 |
| CN106843240A (zh) * | 2017-04-18 | 2017-06-13 | 哈尔滨理工大学 | 基于智能视频的防火机器人及多机协调系统 |
| CN110102002A (zh) * | 2019-05-15 | 2019-08-09 | 上海荷福人工智能科技（集团）有限公司 | 基于人工智能的消防机器人的预警及灭火系统和方法 |
| CN111973919A (zh) * | 2020-06-24 | 2020-11-24 | 江苏深渡消防装备科技有限公司 | 一种基于图像识别的火源精准定位方法 |
| CN112947147A (zh) * | 2021-01-27 | 2021-06-11 | 上海大学 | 一种基于多传感器及云平台算法的消防机器人 |
| CN113084776A (zh) * | 2021-03-19 | 2021-07-09 | 上海工程技术大学 | 基于视觉的多传感器融合的智能防疫机器人及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 方江平;万峰;傅琪;苏俊;: "浅析机器视觉在消防技术中的应用" * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114550020A (zh) * | 2022-04-21 | 2022-05-27 | 深圳一心一医智能科技有限公司 | 一种消毒机器人的生物体图像智能识别方法及系统 |
| CN116597599A (zh) * | 2023-05-05 | 2023-08-15 | 鞍山市消防救援支队 | 一种电气火灾远程智能活动式监控装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114310961A (zh) | 一种基于视觉的多传感器融合的智能防火机器人 | |
| CN107065932B (zh) | 一种灾情探测四旋翼无人机的控制方法 | |
| CN111672045B (zh) | 一种消防机器人、消防系统和消防控制方法 | |
| CN115599091B (zh) | 一种仓库极早期火情干预智能巡检机器人及其消防联动控制方法 | |
| CN111408089A (zh) | 一种消防机器人及消防机器人灭火系统 | |
| JP2019062970A (ja) | 無人消火装置、無人消火方法及び無人消火プログラム | |
| CN110917540A (zh) | 一种消防机器人系统及方法 | |
| CN113144470A (zh) | 一种消防应急预警处理灭火一体化控制系统 | |
| KR20180001057A (ko) | 드론을 이용하는 화재진압 시스템 및 방법, 재난 정보 취득 시스템 | |
| CN111388912B (zh) | 一种高铁动车组定向灭火智能消防系统 | |
| CN111494847B (zh) | 基于智能灭火机器人的安全精准灭火方法 | |
| CN111617415A (zh) | 复杂环境下全自主消防机器人作业系统及工作方法 | |
| CN112915420A (zh) | 一种仓库智能灭火机器人的火场定位及灭火方法 | |
| CN212439798U (zh) | 一种消防机器人 | |
| CN112675459A (zh) | 一种自主探测定位及精准灭火机器人系统及使用方法 | |
| CN213964918U (zh) | 一种无人值守的室内智能消防机器人 | |
| CN113521616A (zh) | 一种消防机器人、调度方法及灭火系统 | |
| CN112604211A (zh) | 一种变电站用消防机器人及消防机器人灭火系统 | |
| Rahat et al. | Design and implementation of a safety fire fighter (SAFF) robot with dual controlling mechanism | |
| CN210904747U (zh) | 一种智能消防机器人的控制系统 | |
| CN219275821U (zh) | 一种基于异构机器人团队协作的常态化火情巡检预警消防救援平台 | |
| CN105727479A (zh) | 自巡逻可侦测电启动式自动灭火机器人 | |
| CN113084776B (zh) | 基于视觉的多传感器融合的智能防疫机器人及系统 | |
| Gao et al. | Design and experimental verification of an intelligent fire-fighting robot | |
| CN111590590B (zh) | 一种变电站挂轨机器人防碰撞系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220412 |
|
| RJ01 | Rejection of invention patent application after publication |