CN110860057A - 一种消防侦察机器人及侦察方法 - Google Patents

一种消防侦察机器人及侦察方法 Download PDF

Info

Publication number
CN110860057A
CN110860057A CN201911127212.5A CN201911127212A CN110860057A CN 110860057 A CN110860057 A CN 110860057A CN 201911127212 A CN201911127212 A CN 201911127212A CN 110860057 A CN110860057 A CN 110860057A
Authority
CN
China
Prior art keywords
fire
pixel
fire source
robot
fighting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911127212.5A
Other languages
English (en)
Inventor
赵永生
王若超
张硕
张泰铭
刘毅
殷智宽
王子爵
胡金明
姚建涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanshan University
Original Assignee
Yanshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanshan University filed Critical Yanshan University
Priority to CN201911127212.5A priority Critical patent/CN110860057A/zh
Publication of CN110860057A publication Critical patent/CN110860057A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A62—LIFE-SAVING; FIRE-FIGHTING
    • A62C—FIRE-FIGHTING
    • A62C27/00—Fire-fighting land vehicles
    • A—HUMAN NECESSITIES
    • A62—LIFE-SAVING; FIRE-FIGHTING
    • A62C—FIRE-FIGHTING
    • A62C31/00—Delivery of fire-extinguishing material
    • A—HUMAN NECESSITIES
    • A62—LIFE-SAVING; FIRE-FIGHTING
    • A62C—FIRE-FIGHTING
    • A62C37/00—Control of fire-fighting equipment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/022—Optical sensing devices using lasers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Emergency Management (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Business, Economics & Management (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Fire-Extinguishing By Fire Departments, And Fire-Extinguishing Equipment And Control Thereof (AREA)
  • Fire-Detection Mechanisms (AREA)

Abstract

本发明涉及一种消防侦察机器人及侦察方法。该消防侦察机器人的激光雷达安装于履带底盘的前端；安装立柱固定于履带底盘的后端；双目视觉摄像头固定于安装立柱上，且摄像头拍摄方向为履带底盘的前方；热红外成像及可见光云台固定于安装立柱的顶端；射流水炮固定于履带底盘上，且射流水炮的供水口位于履带底盘的后方；定位模块和工控机固定于履带底盘的内部，定位模块的输出端、双目视觉摄像头的输出端、激光雷达的输出端、热红外成像及可见光云台的输出端均与工控机的输入端连接；工控机用于控制履带移动和射流水炮的发射状态。本发明可以实现路径自主规划，实现自主侦察，提高侦察的效率和准确度。

Description

一种消防侦察机器人及侦察方法
技术领域
本发明涉及消防领域，特别是涉及一种消防侦察机器人及侦察方法。
背景技术
据统计，全世界火灾造成的直接和间接的损失约占世界生产总值的1％，火灾造成的人员伤亡也非常惨烈。火场感知、火情预测和火灾扑救是当今消防领域的难题。现有消防机器人功能比较单一，大多数仅具有远程灭火功能。此外，现有消防机器人完全由人遥操作，不具有自主规划和作业能力，且机器人与现场指挥中心交互能力不足。
例如，已有技术中涉及的加油站消防机器人，结构简单但不具备自助规划和作业能力，智能化程度较低；再如，已有技术中涉及的森林消防机器人，该机器人仍严重依赖消防人员的操作，不能在使用场景下做到自主或者半自主侦察消防。
发明内容
本发明的目的是提供一种消防侦察机器人及侦察方法，以实现路径自主规划，实现自主侦察，以提高侦察的效率和准确度。
为实现上述目的，本发明提供了如下方案：
一种消防侦察机器人，包括：履带底盘、激光雷达、安装立柱、双目视觉摄像头、热红外成像及可见光云台、射流水炮、定位模块和工控机；所述激光雷达安装于所述履带底盘的前端；所述安装立柱固定于所述履带底盘的后端；所述双目视觉摄像头固定于所述安装立柱上，且摄像头拍摄方向为所述履带底盘的前方；所述热红外成像及可见光云台固定于所述安装立柱的顶端；所述射流水炮固定于所述履带底盘上，且所述射流水炮的供水口位于所述履带底盘的后方；
所述定位模块和所述工控机固定于所述履带底盘的内部，所述定位模块的输出端、所述双目视觉摄像头的输出端、所述激光雷达的输出端、所述热红外成像及可见光云台的输出端均与所述工控机的输入端连接；所述工控机用于控制履带移动和射流水炮的发射状态。
可选的，还包括多个探照灯，多个所述探照灯均固定于所述履带底盘的前端，且多个所述探照灯分别位于所述激光雷达的两侧。
可选的，所述定位模块具体包括惯性测量单元和GPS单元；所述射流水炮为两自由度射流水炮。
可选的，所述工控机还与外部的交互中心交互，所述交互中心用于对所述热红外成像及可见光云台的参数和所述消防侦察机器人的参数进行调节。
本发明还提供一种侦察方法，所述侦察方法应用于前述的消防侦察机器人，所述侦察方法包括：
获取红外热成像图像和摄像头图像；所述红外热成像图像为热红外成像及可见光云台检测的图像，所述摄像头图像为双目视觉摄像头拍摄的图像；
根据所述红外热成像图像和摄像头图像判断当前视场范围内是否出现火源；
当当前视场范围内出现火源时，获取火源的相对位置；
根据所述火源的相对位置，采用改进的A*算法，规划全局路径；
根据激光雷达的测距信息，采用DWA算法，规划局部避障路径；
控制所述消防侦察机器人按照规划好的全局路径和局部避障路径移动至所述火源处，进行灭火。
可选的，所述获取红外热成像图像和摄像头图像，之前还包括：
获取环境区域的扫描信息；所述扫描信息为所述消防侦察机器人按照巡检路径移动过程中，激光雷达扫描的信息；
根据所述环境区域的扫描信息，建立环境地图。
可选的，所述根据所述红外热成像图像和摄像头图像判断当前视场范围内是否出现火源，具体包括：
获取所述红外热成像图像中的各个像素点的温度值；
判断每个像素点的温度值是否大于温度阈值；
当所有像素点的温度值均不大于温度阈值时，确定当前视场范围内未出现火源；
当所述像素点的温度值大于温度阈值时，获取温度值大于设定温度阈值的所有像素点，得到第一像素点集合；
获取所述摄像头图像中的所述第一像素点集合对应的像素点，得到第二像素点集合；
获取所述第二像素点集合中每个像素点的像素值；
判断所述第二像素点集合中每个像素点的像素值是否满足
Figure BDA0002277229470000031
其中，R为所述像素点的像素红色分量，G表示所述像素点的像素绿色分量，B表示所述像素点的像素蓝色分量，RT表示红色阈值，S表示所述像素点的饱和度，ST表示饱和度阈值；
当所述第二像素点集合中像素点的像素值满足
Figure BDA0002277229470000032
时，确定当前视场范围内出现火源；
当所述第二像素点集合中所有像素点的像素值均不满足
Figure BDA0002277229470000033
时，确定当前视场范围内未出现火源。
可选的，所述当当前视场范围内出现火源时，获取火源的相对位置，具体包括：
获取所述消防侦察机器人的位置坐标；
采用所述双目摄像头，获取所述火源相对所述消防侦察机器人的距离；
根据所述消防侦察机器人的位置坐标和所述火源相对所述消防侦察机器人的距离，确定所述火源在所述环境地图中的相对空间位置。
可选的，所述根据所述红外热成像图像和摄像头图像判断当前视场范围内是否出现火源，之后还包括：
当当前视场范围内出现火源时，触发报警装置报警。
可选的，所述控制所述消防侦察机器人按照规划好的全局路径和局部避障路径移动至所述火源处，进行灭火，具体包括：
控制所述消防侦察机器人按照规划好的全局路径和局部避障路径向所述火源移动；
实时获取所述消防侦察机器人与所述火源之间的距离；
当所述距离处于阈值范围内时，控制所述消防侦察机器人停止移动；
调节射流水炮对准所述火源的位置；
开启所述射流水炮，进行灭火。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明实现了消防侦察与灭火智能化，集火场感知、火情预测和火灾扑救于一体，采用合理的决策机制赋予了消防侦察机器人自主规划和作业能力。而且通过交互中心以及无线网络将消防侦察机器人与现场指挥中心连接起来，解决了消防侦察机器人与现场指挥中心交互能力不足的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明消防侦察机器人的结构示意图；
图2为本发明消防侦察机器人内部控制单元布置示意图；
图3为本发明消防侦察机器人整体的构成框图；
图4为本发明侦察方法的流程示意图；
图5为本发明侦察方法中单一火源的位置确定示意图；
图6为本发明侦察方法中双火源的位置确定示意图；
图7为本发明侦察方法中三火源的位置确定示意图。
符号说明：1-履带底盘；2-激光雷达；3-射流水炮；4-双目摄像头；5-红外热成像及可见光云台；6-报警蜂鸣器；7-探照灯；8-安装立柱；101-电源盒；102-电源模块；103-交换机；104-工控机；105-定位模块；106-法兰盘。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明消防侦察机器人的结构示意图，图2为本发明消防侦察机器人内部控制单元布置示意图，图3为本发明消防侦察机器人整体的构成框图。结合图1-图3所示，本发明的消防侦察机器人包括以下结构：履带底盘1、激光雷达2、射流水炮3、双目视觉摄像头4、热红外成像及可见光云台5、安装立柱8、工控机104和定位模块105。
所述激光雷达2安装于所述履带底盘1的前端。例如可以将固定支架通过螺栓连接到履带底盘1的前端，将激光雷达2通过螺栓连接到前固定支架上，实现激光雷达2的安装。所述安装立柱8通过螺栓固定于所述履带底盘1的后端。所述双目视觉摄像头4通过螺栓固定于所述安装立柱8上，且摄像头拍摄方向为所述履带底盘1的前方。在双目视觉摄像头4外部通过金属外壳罩住保护，金属外壳在其两侧通过螺栓与安装立柱8连接。所述热红外成像及可见光云台5通过螺栓固定安装于所述安装立柱8的顶端。所述射流水炮3通过法兰盘106固定于所述履带底盘1上，且所述射流水炮3的供水口位于所述履带底盘1的后方，射流水炮3为两自由度射流水炮。
电源盒101、电源模块102、交换机103、工控机104和定位模块105等组件通过螺栓安装固定于所述履带底盘1内部的安装托盘上。所述定位模块105的输出端、所述双目视觉摄像头4的输出端、所述激光雷达2的输出端、所述热红外成像及可见光云台5的输出端均与所述工控机104的输入端连接，所述工控机104用于控制履带移动和射流水炮3的发射状态。本发明的定位模块105采用IMU+GPS模块，即包括惯性测量单元和GPS单元。
工控机104还与外部的交互中心交互，所述交互中心用于对所述热红外成像及可见光云台的参数和所述消防侦察机器人的参数进行调节。具体的，交互中心(PC)上运行消防侦察机器人的巡检消防系统软件，消防侦察机器人通过交互中心的巡检消防系统软件给机器人本体发送移动指令，随机指定一条路径尽可能使激光雷达的探测范围覆盖到更多的环境区域，当激光雷达将环境区域全部扫描完成后，环境地图就已经建立完成。软件的主界面可以根据定位模块105的信息实时显示机器人在激光雷达扫描建模环境中的位置，以及可见光热红外视频实时监控并将巡检消息(实时消息、告警消息、系统消息)的实时输出。所述的交互中心可以进行红外热成像以及云台控制和车体控制，通过控制面板可控制热红外成像及可见光云台的俯仰和回转、镜头的变焦变倍、机器人的移动等。交互中心可以进行任务管理，包括巡检消防任务的查询、新建、编辑、删除等功能，支持以日历方式查看并修改任务。所述的交互中心通过无线局域网与工控机建立连接传输交换数据。
在具体应用中，本发明消防侦察机器人还包括多个探照灯7，多个所述探照灯7均通过螺栓固定于所述履带底盘1的前端，且多个所述探照灯7分别位于所述激光雷达2的两侧。
对应于图1-图3所示的消防侦察机器人，本发明还提供了一种侦察方法，所述消防侦察机器人采用所述侦察方法进行侦察工作。图4为本发明侦察方法的流程示意图。如图4所示，本发明的侦察方法包括以下步骤：
步骤100：获取红外热成像图像和摄像头图像。所述红外热成像图像为热红外成像及可见光云台检测的图像，所述摄像头图像为双目视觉摄像头拍摄的图像。在进行火源侦察之前，首先获取所述消防侦察机器人按照巡检路径移动过程中，激光雷达扫描的信息，即环境区域的扫描信息，然后根据所述环境区域的扫描信息，建立环境地图。进而可以实时得到消防侦察机器人的位置信息。
步骤200：根据红外热成像图像和摄像头图像判断当前视场范围内是否出现火源。如果是，执行步骤300-步骤600；如果否，返回步骤100，继续进行巡检。具体判断过程如下：
获取所述红外热成像图像中的各个像素点的温度值。
判断每个像素点的温度值是否大于温度阈值。
当所有像素点的温度值均不大于温度阈值时，确定当前视场范围内未出现火源。
当所述像素点的温度值大于温度阈值时，获取温度值大于设定温度阈值的所有像素点，得到第一像素点集合。
获取所述摄像头图像中的所述第一像素点集合对应的像素点，得到第二像素点集合。
获取所述第二像素点集合中每个像素点的像素值。
判断所述第二像素点集合中每个像素点的像素值是否满足
Figure BDA0002277229470000071
其中，R为所述像素点的像素红色分量，G表示所述像素点的像素绿色分量，B表示所述像素点的像素蓝色分量，RT表示红色阈值，S表示所述像素点的饱和度，ST表示饱和度阈值。
当所述第二像素点集合中像素点的像素值满足
Figure BDA0002277229470000072
时，确定当前视场范围内出现火源。
当所述第二像素点集合中所有像素点的像素值均不满足
Figure BDA0002277229470000073
时，确定当前视场范围内未出现火源。
步骤300：获取火源的相对位置。具体的，首先获取所述消防侦察机器人的位置坐标；然后采用所述双目摄像头，获取所述火源相对所述消防侦察机器人的距离；最后根据所述消防侦察机器人的位置坐标和所述火源相对所述消防侦察机器人的距离，确定双目摄像头中每个摄像头中的坐标，进而确定所述火源在所述环境地图中的相对空间位置。
关于火源的位置，具体确定过程如下：
将第二像素点集合中像素点的像素值满足
Figure BDA0002277229470000081
的像素点确定为火源像素点，其余像素点确定为非火源像素点。将火源像素点与非火源像素点进行二值化处理，并进行降噪处理，得到火源像素点的连通区域。
根据连通区域的数量，可以确定火源的种类为单一火源、双火源还是三火源，本发明针对这三种情形的火源定位做了不同的数学模型，实际运用时能够针对现场具体情况作出相匹配的灭火策略。
单一火源时，采用直接定位法，定位火源像素连通区域的中心，直接趋近火源。具体的，结合图5所示，对连通区域进行框选取，即用一个最小矩形包围连通区域，使其在矩形边线内。双目视觉摄像头的左右镜头拍摄的图像对应的中心坐标分别为和a′(xl,yl)和a(xr,yr)，将两个中心坐标映射到三维空间得到火源中心的空间位置为A(x,y,z)。以下为数学表达：
Figure BDA0002277229470000082
Figure BDA0002277229470000083
因此，
Figure BDA0002277229470000084
式中，f表示相机焦距，b表示左右相机基线距离，这两项可以由相机标定得到，d＝xl-xr。通过上述数学表达式可以得到三维空间的火源的坐标A(x,y,z)。
双火源时，取两个火源的空间坐标连线的中点作为火源目标点。具体的，结合图6所示，对连通区域进行框选分别取其中心坐标a(xr1,yr1)和b(xr2,yr2)以及a'(xl1,yl1)和b'(xl2,yl2)，分别映射到三维空间得到A(x1,y1,z1)以及B(x2,y2,z2)。连接A，B并取其中点为O1(x,y,z)，该种情形下用O1来表示火源点的位置：
Figure BDA0002277229470000091
三火源时，将三个火源的空间坐标点连接构造空间三角形，将三角形各边的垂直平分线的交点(外心)作为火源定位点。具体的，结合图7所示，对连通区域进行框选分别取其中心坐标a(xr1,yr1)、b(xr2,yr2)和c(xr3,yr3)以及a'(xl1,yl1)、b'(xl2,yl2)和c'(xl3,yl3)，将其映射到三维空间得到A(x1,y1,z1)，B(x2,y2,z2)，C(x3,y3,z3)。连接A，B，C构成一空间三角形，分别作三条边的垂直平分线，并取其交点为O1'(x0,y0,z0)，该种情形下用O1'来表示火源点的位置。
空间三点确定的平面方程为：
Figure BDA0002277229470000092
式中，
Figure BDA0002277229470000093
三点到三角形三边垂直平分线的交点(外心)具有等距离约束
Figure BDA0002277229470000094
(1)(2)(3)联立可解得(5)(6)
Figure BDA0002277229470000101
Figure BDA0002277229470000102
(5)表示为
A2x+B2y+C2z+D2＝0
(6)表示为
A3x+B3y+C3z+D3＝0
通过(4)(5)(6)过于交点(外心)坐标的方程组
Figure BDA0002277229470000103
解得交点(外心)空间坐标为
Figure BDA0002277229470000104
即火源的空间坐标。
步骤400：根据火源的相对位置，采用改进的A*算法，规划全局路径。
步骤500：根据激光雷达的测距信息，采用DWA算法，规划局部避障路径。
步骤600：控制消防侦察机器人按照规划好的全局路径和局部避障路径移动至火源处，进行灭火。具体的，首先控制所述消防侦察机器人按照规划好的全局路径和局部避障路径向所述火源移动；然后实时获取所述消防侦察机器人与所述火源之间的距离，当所述距离处于阈值范围内时，控制所述消防侦察机器人停止移动；最后调节射流水炮对准所述火源的位置，开启所述射流水炮，进行灭火。
下面提供一个具体实施案例进一步说明本发明的方案。
消防侦察机器人通过交互中心给机器人本体发送移动指令，随机指定一条路径尽可能使激光雷达的探测范围覆盖到更多的环境区域，当激光雷达将环境区域全部扫描完成后，环境地图就已经建立完成。并人为设置好固定的巡检路线。消防侦察机器人在巡检过程中，如果红外热成像视场中出现火源，达到红外热成像的温度阈值和图像识别中火源像素的判别条件便识别为火源。双目摄像头会测量出火源相对于机器人本体的距离，同时交互中心的环境地图中会显示火源的相对空间位置，系统会同时在交互中心和机器人本体上进行声音报警。消防侦察机器人通过工控机将自主规划当前位置到火源的路径，全局路径规划通过输入激光雷达构建的环境地图以及GPS和IMU定位的自身位置姿态数据，采用改进的A*算法，最终输出坐标点移动轨迹，规划出机器人到火源的一条合理路径。对于机器人移动过程中出现的移动障碍物和静态障碍物(在建好的环境地图中不存在的)结合激光雷达的测距，局部路径规划通过输入激光雷达构建的环境地图以及GPS和IMU定位的自身位置姿态数据采用DWA算法进行规划，最终输出坐标点移动轨迹完成制定局部路径。通过上述过程实现机器人的自主路径规划与向火源的趋近。距离火源2m-6m后停止。两自由度射流水炮通过双目摄像头测出火源相对于水炮出水口的相对位置，工控机给水炮驱动器发送指令使水炮自动对准火源位置，完成灭火。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种消防侦察机器人，其特征在于，包括：履带底盘、激光雷达、安装立柱、双目视觉摄像头、热红外成像及可见光云台、射流水炮、定位模块和工控机；所述激光雷达安装于所述履带底盘的前端；所述安装立柱固定于所述履带底盘的后端；所述双目视觉摄像头固定于所述安装立柱上，且摄像头拍摄方向为所述履带底盘的前方；所述热红外成像及可见光云台固定于所述安装立柱的顶端；所述射流水炮固定于所述履带底盘上，且所述射流水炮的供水口位于所述履带底盘的后方；
所述定位模块和所述工控机固定于所述履带底盘的内部，所述定位模块的输出端、所述双目视觉摄像头的输出端、所述激光雷达的输出端、所述热红外成像及可见光云台的输出端均与所述工控机的输入端连接；所述工控机用于控制履带移动和射流水炮的发射状态。
2.根据权利要求1所述的消防侦察机器人，其特征在于，还包括多个探照灯，多个所述探照灯均固定于所述履带底盘的前端，且多个所述探照灯分别位于所述激光雷达的两侧。
3.根据权利要求1所述的消防侦察机器人，其特征在于，所述定位模块具体包括惯性测量单元和GPS单元；所述射流水炮为两自由度射流水炮。
4.根据权利要求1所述的消防侦察机器人，其特征在于，所述工控机还与外部的交互中心交互，所述交互中心用于对所述热红外成像及可见光云台的参数和所述消防侦察机器人的参数进行调节。
5.一种侦察方法，其特征在于，所述侦察方法应用于权利要求1-4任一项所述的消防侦察机器人，所述侦察方法包括：
获取红外热成像图像和摄像头图像；所述红外热成像图像为热红外成像及可见光云台检测的图像，所述摄像头图像为双目视觉摄像头拍摄的图像；
根据所述红外热成像图像和摄像头图像判断当前视场范围内是否出现火源；
当当前视场范围内出现火源时，获取火源的相对位置；
根据所述火源的相对位置，采用改进的A*算法，规划全局路径；
根据激光雷达的测距信息，采用DWA算法，规划局部避障路径；
控制所述消防侦察机器人按照规划好的全局路径和局部避障路径移动至所述火源处，进行灭火。
6.根据权利要求5所述的侦察方法，其特征在于，所述获取红外热成像图像和摄像头图像，之前还包括：
获取环境区域的扫描信息；所述扫描信息为所述消防侦察机器人按照巡检路径移动过程中，激光雷达扫描的信息；
根据所述环境区域的扫描信息，建立环境地图。
7.根据权利要求5所述的侦察方法，其特征在于，所述根据所述红外热成像图像和摄像头图像判断当前视场范围内是否出现火源，具体包括：
获取所述红外热成像图像中的各个像素点的温度值；
判断每个像素点的温度值是否大于温度阈值；
当所有像素点的温度值均不大于温度阈值时，确定当前视场范围内未出现火源；
当所述像素点的温度值大于温度阈值时，获取温度值大于设定温度阈值的所有像素点，得到第一像素点集合；
获取所述摄像头图像中的所述第一像素点集合对应的像素点，得到第二像素点集合；
获取所述第二像素点集合中每个像素点的像素值；
判断所述第二像素点集合中每个像素点的像素值是否满足
Figure FDA0002277229460000021
其中，R为所述像素点的像素红色分量，G表示所述像素点的像素绿色分量，B表示所述像素点的像素蓝色分量，RT表示红色阈值，S表示所述像素点的饱和度，ST表示饱和度阈值；
当所述第二像素点集合中像素点的像素值满足
Figure FDA0002277229460000031
时，确定当前视场范围内出现火源；
当所述第二像素点集合中所有像素点的像素值均不满足
Figure FDA0002277229460000032
时，确定当前视场范围内未出现火源。
8.根据权利要求6所述的侦察方法，其特征在于，所述当当前视场范围内出现火源时，获取火源的相对位置，具体包括：
获取所述消防侦察机器人的位置坐标；
采用所述双目摄像头，获取所述火源相对所述消防侦察机器人的距离；
根据所述消防侦察机器人的位置坐标和所述火源相对所述消防侦察机器人的距离，确定所述火源在所述环境地图中的相对空间位置。
9.根据权利要求5所述的侦察方法，其特征在于，所述根据所述红外热成像图像和摄像头图像判断当前视场范围内是否出现火源，之后还包括：
当当前视场范围内出现火源时，触发报警装置报警。
10.根据权利要求5所述的侦察方法，其特征在于，所述控制所述消防侦察机器人按照规划好的全局路径和局部避障路径移动至所述火源处，进行灭火，具体包括：
控制所述消防侦察机器人按照规划好的全局路径和局部避障路径向所述火源移动；
实时获取所述消防侦察机器人与所述火源之间的距离；
当所述距离处于阈值范围内时，控制所述消防侦察机器人停止移动；
调节射流水炮对准所述火源的位置；
开启所述射流水炮，进行灭火。
CN201911127212.5A 2019-11-18 2019-11-18 一种消防侦察机器人及侦察方法 Pending CN110860057A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911127212.5A CN110860057A (zh) 2019-11-18 2019-11-18 一种消防侦察机器人及侦察方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911127212.5A CN110860057A (zh) 2019-11-18 2019-11-18 一种消防侦察机器人及侦察方法

Publications (1)

Publication Number Publication Date
CN110860057A true CN110860057A (zh) 2020-03-06

Family

ID=69655066

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911127212.5A Pending CN110860057A (zh) 2019-11-18 2019-11-18 一种消防侦察机器人及侦察方法

Country Status (1)

Country Link
CN (1) CN110860057A (zh)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111346333A (zh) * 2020-04-01 2020-06-30 广东中科瑞泰智能科技有限公司 一种自主灭火机器人的作业方法及装置
CN111390925A (zh) * 2020-04-07 2020-07-10 青岛黄海学院 一种用于危化品仓库的巡视机器人
CN111408086A (zh) * 2020-03-12 2020-07-14 北京中电飞华通信有限公司 一种变电站火灾巡查灭火系统及其灭火方法
CN111443711A (zh) * 2020-03-27 2020-07-24 浙江华消科技有限公司 消防机器人避障方法、装置、消防机器人和可读存储介质
CN111469778A (zh) * 2020-04-23 2020-07-31 福建农林大学 一种基于双目摄影测量及组合定位的道路巡检装置
CN111494853A (zh) * 2020-04-10 2020-08-07 中国矿业大学 一种多模式视觉伺服控制消防系统及其工作方法
CN111494847A (zh) * 2020-04-28 2020-08-07 山东交通学院 基于智能灭火机器人的安全精准灭火方法
CN112066994A (zh) * 2020-09-28 2020-12-11 河海大学常州校区 一种消防机器人局部自主导航方法及系统
CN112648973A (zh) * 2020-12-22 2021-04-13 重庆迪马工业有限责任公司 一种消防机器人火源识别定位装置和方法
CN112783239A (zh) * 2020-12-30 2021-05-11 中国矿业大学(北京) 一种环境探测装置及方法
CN112863113A (zh) * 2020-12-30 2021-05-28 深兰科技（上海）有限公司 自动探测器报警和灭火的智能消防系统、方法及存储介质
CN112915420A (zh) * 2021-04-09 2021-06-08 吉林大学 一种仓库智能灭火机器人的火场定位及灭火方法
CN113359739A (zh) * 2021-06-17 2021-09-07 天津中德应用技术大学 基于能源替代技术的智能运动装置及其运动控制方法
CN113413564A (zh) * 2021-05-28 2021-09-21 浙江工业大学 一种消防机器人火源定位及灭火控制方法
WO2021213737A1 (en) * 2020-04-22 2021-10-28 Siemens Aktiengesellschaft Automatic navigation system for fire fighting robot
CN113596335A (zh) * 2021-07-31 2021-11-02 重庆交通大学 基于图像融合的公路隧道火灾监测系统及方法
CN113730860A (zh) * 2021-09-09 2021-12-03 南阳中天防爆电气股份有限公司 一种未知环境下的消防机器人自主灭火方法
CN114588574A (zh) * 2022-03-24 2022-06-07 江苏格罗那消防器材有限公司 一种推车式灭火器
CN114589718A (zh) * 2022-04-25 2022-06-07 山东阿图机器人科技有限公司 一种侦察防御机器人及其作业方法
CN115072626A (zh) * 2021-03-12 2022-09-20 灵动科技（北京）有限公司 搬运机器人、搬运系统及提示信息生成方法
WO2022217671A1 (zh) * 2021-04-14 2022-10-20 中国矿业大学 一种具有变视角双目结构的消防炮系统及方法
CN115741684A (zh) * 2022-11-11 2023-03-07 青岛杰瑞自动化有限公司 一种石油勘探区灭火机器人控制方法及系统、电子设备
CN116251214A (zh) * 2022-10-10 2023-06-13 南京景曜智能科技有限公司 一种智能消杀机器人的全流程消杀监控方法
CN116774218A (zh) * 2023-08-18 2023-09-19 山东建筑大学 一种巡逻式校射雷达及其使用方法
CN116832380A (zh) * 2023-08-28 2023-10-03 中国矿业大学 基于多火源点评估决策的消防系统的消防灭火方法
CN117771595A (zh) * 2024-02-27 2024-03-29 中国矿业大学 一种基于多模式视觉系统的举高消防灭火方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853512A (zh) * 2010-05-13 2010-10-06 电子科技大学 一种基于视频时间和空间信息的火焰检测方法
CN101989373A (zh) * 2009-08-04 2011-03-23 中国科学院地理科学与资源研究所 基于可见光—热红外的多光谱多尺度森林火情监测方法
CN105261029A (zh) * 2015-11-20 2016-01-20 中国安全生产科学研究院 基于双目视觉进行火源定位和灭火的方法及其机器人
KR101717579B1 (ko) * 2016-04-04 2017-03-17 주식회사 영국전자 화재 감지 및 화재 진압 시스템
CN108815754A (zh) * 2018-06-20 2018-11-16 中国船舶重工集团应急预警与救援装备股份有限公司 一种液压驱动的智能消防灭火侦察机器人
CN109303994A (zh) * 2018-09-28 2019-02-05 山东阿图机器人科技有限公司 一种消防侦察灭火机器人及其工作方法
CN110053047A (zh) * 2019-04-18 2019-07-26 浙江广播电视大学萧山学院(萧商学院) 一种基于激光雷达的便携式消防侦察机器人

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101989373A (zh) * 2009-08-04 2011-03-23 中国科学院地理科学与资源研究所 基于可见光—热红外的多光谱多尺度森林火情监测方法
CN101853512A (zh) * 2010-05-13 2010-10-06 电子科技大学 一种基于视频时间和空间信息的火焰检测方法
CN105261029A (zh) * 2015-11-20 2016-01-20 中国安全生产科学研究院 基于双目视觉进行火源定位和灭火的方法及其机器人
KR101717579B1 (ko) * 2016-04-04 2017-03-17 주식회사 영국전자 화재 감지 및 화재 진압 시스템
CN108815754A (zh) * 2018-06-20 2018-11-16 中国船舶重工集团应急预警与救援装备股份有限公司 一种液压驱动的智能消防灭火侦察机器人
CN109303994A (zh) * 2018-09-28 2019-02-05 山东阿图机器人科技有限公司 一种消防侦察灭火机器人及其工作方法
CN110053047A (zh) * 2019-04-18 2019-07-26 浙江广播电视大学萧山学院(萧商学院) 一种基于激光雷达的便携式消防侦察机器人

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
邓爽: "隧道机器人火情探测与导航决策研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
金钒石: "基于GIS的红外图像火灾定位算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
靳士超: "基于麦克纳姆轮的全向智能移动机器人导航系统研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111408086A (zh) * 2020-03-12 2020-07-14 北京中电飞华通信有限公司 一种变电站火灾巡查灭火系统及其灭火方法
CN111408086B (zh) * 2020-03-12 2022-04-15 北京中电飞华通信有限公司 一种变电站火灾巡查灭火系统及其灭火方法
CN111443711A (zh) * 2020-03-27 2020-07-24 浙江华消科技有限公司 消防机器人避障方法、装置、消防机器人和可读存储介质
CN111346333A (zh) * 2020-04-01 2020-06-30 广东中科瑞泰智能科技有限公司 一种自主灭火机器人的作业方法及装置
CN111346333B (zh) * 2020-04-01 2021-12-10 广东中科瑞泰智能科技有限公司 一种自主灭火机器人的作业方法及装置
CN111390925A (zh) * 2020-04-07 2020-07-10 青岛黄海学院 一种用于危化品仓库的巡视机器人
CN111494853B (zh) * 2020-04-10 2021-05-11 中国矿业大学 一种多模式视觉伺服控制消防系统及其工作方法
CN111494853A (zh) * 2020-04-10 2020-08-07 中国矿业大学 一种多模式视觉伺服控制消防系统及其工作方法
WO2021213737A1 (en) * 2020-04-22 2021-10-28 Siemens Aktiengesellschaft Automatic navigation system for fire fighting robot
CN111469778A (zh) * 2020-04-23 2020-07-31 福建农林大学 一种基于双目摄影测量及组合定位的道路巡检装置
CN111494847A (zh) * 2020-04-28 2020-08-07 山东交通学院 基于智能灭火机器人的安全精准灭火方法
CN111494847B (zh) * 2020-04-28 2021-07-13 山东交通学院 基于智能灭火机器人的安全精准灭火方法
CN112066994A (zh) * 2020-09-28 2020-12-11 河海大学常州校区 一种消防机器人局部自主导航方法及系统
CN112648973A (zh) * 2020-12-22 2021-04-13 重庆迪马工业有限责任公司 一种消防机器人火源识别定位装置和方法
CN112863113A (zh) * 2020-12-30 2021-05-28 深兰科技（上海）有限公司 自动探测器报警和灭火的智能消防系统、方法及存储介质
CN112783239A (zh) * 2020-12-30 2021-05-11 中国矿业大学(北京) 一种环境探测装置及方法
CN115072626A (zh) * 2021-03-12 2022-09-20 灵动科技（北京）有限公司 搬运机器人、搬运系统及提示信息生成方法
CN112915420A (zh) * 2021-04-09 2021-06-08 吉林大学 一种仓库智能灭火机器人的火场定位及灭火方法
WO2022217671A1 (zh) * 2021-04-14 2022-10-20 中国矿业大学 一种具有变视角双目结构的消防炮系统及方法
CN113413564A (zh) * 2021-05-28 2021-09-21 浙江工业大学 一种消防机器人火源定位及灭火控制方法
CN113359739A (zh) * 2021-06-17 2021-09-07 天津中德应用技术大学 基于能源替代技术的智能运动装置及其运动控制方法
CN113596335A (zh) * 2021-07-31 2021-11-02 重庆交通大学 基于图像融合的公路隧道火灾监测系统及方法
CN113730860A (zh) * 2021-09-09 2021-12-03 南阳中天防爆电气股份有限公司 一种未知环境下的消防机器人自主灭火方法
CN114588574A (zh) * 2022-03-24 2022-06-07 江苏格罗那消防器材有限公司 一种推车式灭火器
CN114589718A (zh) * 2022-04-25 2022-06-07 山东阿图机器人科技有限公司 一种侦察防御机器人及其作业方法
CN116251214B (zh) * 2022-10-10 2024-05-17 南京景曜智能科技有限公司 一种智能消杀机器人的全流程消杀监控方法
CN116251214A (zh) * 2022-10-10 2023-06-13 南京景曜智能科技有限公司 一种智能消杀机器人的全流程消杀监控方法
CN115741684A (zh) * 2022-11-11 2023-03-07 青岛杰瑞自动化有限公司 一种石油勘探区灭火机器人控制方法及系统、电子设备
CN115741684B (zh) * 2022-11-11 2023-09-22 青岛杰瑞自动化有限公司 一种石油勘探区灭火机器人控制方法及系统、电子设备
CN116774218A (zh) * 2023-08-18 2023-09-19 山东建筑大学 一种巡逻式校射雷达及其使用方法
CN116774218B (zh) * 2023-08-18 2023-11-14 山东建筑大学 一种巡逻式校射雷达及其使用方法
CN116832380B (zh) * 2023-08-28 2023-11-14 中国矿业大学 基于多火源点评估决策的消防系统的消防灭火方法
CN116832380A (zh) * 2023-08-28 2023-10-03 中国矿业大学 基于多火源点评估决策的消防系统的消防灭火方法
CN117771595A (zh) * 2024-02-27 2024-03-29 中国矿业大学 一种基于多模式视觉系统的举高消防灭火方法及系统
CN117771595B (zh) * 2024-02-27 2024-05-28 中国矿业大学 一种基于多模式视觉系统的举高消防灭火方法及系统

Similar Documents

Publication Publication Date Title
CN110860057A (zh) 一种消防侦察机器人及侦察方法
CN112774073B (zh) 无人机引导的多机协作灭火方法及其灭火系统
US10650600B2 (en) Virtual path display
US10818088B2 (en) Virtual barrier objects
US20180217614A1 (en) Indoor mapping and modular control for uavs and other autonomous vehicles, and associated systems and methods
CN110673603B (zh) 一种火场自主导航侦察机器人
US8457879B2 (en) Information device, method for informing and/or navigating a person, and computer program
CN103884330A (zh) 信息处理方法、可移动电子设备、引导设备和服务器
JP7259274B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US9154769B2 (en) Parallel online-offline reconstruction for three-dimensional space measurement
Quenzel et al. Autonomous fire fighting with a uav-ugv team at mbzirc 2020
CN111951160A (zh) 基于可见光和红外热成像的消防无人机图像融合方法
CN113730860A (zh) 一种未知环境下的消防机器人自主灭火方法
US20230064071A1 (en) System for 3d surveying by an autonomous robotic vehicle using lidar-slam and an estimated point distribution map for path planning
JP7011908B2 (ja) 光学情報処理装置、光学情報処理方法および光学情報処理用プログラム
CN111617415A (zh) 复杂环境下全自主消防机器人作业系统及工作方法
CN210228953U (zh) 一种无人机与消防机器人协同侦察灭火作业系统
JP6949417B1 (ja) 車両操縦システムと車両操縦方法
CN113521616A (zh) 一种消防机器人、调度方法及灭火系统
CN210228955U (zh) 消防机器人协同定位、侦察、火源识别与瞄准灭火系统
CN115655261B (zh) 地图生成方法、装置、机器人以及存储介质
Rieder et al. Stereo perception on an off-road vehicle
Gao et al. Design and experimental verification of an intelligent fire-fighting robot
JP2019179015A (ja) 経路表示装置
WO2021177471A1 (ja) 検出装置、追跡装置、検出プログラム、及び追跡プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200306

RJ01 Rejection of invention patent application after publication