CN112556709A - 一种消防救援机器人、救援协助系统及其通信方法 - Google Patents

Abstract

本发明公开了一种消防救援机器人、救援协助系统及其通信方法，该机器人包括：运动动力子系统，用于驱动消防救援机器人运动；识别定位子系统，用于利用双目摄像头采集室内火灾现场影像，然后根据立体视觉匹配进行火灾现场三维地图的绘制；安全探测子系统，用于将多种传感器探测得到的信息与识别定位子系统相结合，对现场有毒烟雾进行检测和对现场区域进行区域属性划分；路径导航子系统，用于在火灾现场利用优化的粒子群算法实时选出/更新出最优救援路径；第一信息处理子系统，用于采集或接收上述各个子系统发送的数据，进行运算处理后得出相应的处理结果数据。采用本发明，能够用于火灾现场救援，提高救援效率和减少不必要的伤亡。

Description

一种消防救援机器人、救援协助系统及其通信方法

技术领域

本发明涉及火场救援和智能算法应用技术，尤其涉及一种消防救援机器人、救援协助系统及其通信方法。

背景技术

我国每年在建建筑面积130多亿平米，高层建筑已达62万多栋，现有百米以上超高层6000余幢，年均增长率达8％，是世界年均增长率的2.5倍，已连续九年成为世界上拥有200米以上摩天大楼数量最多的国家。

据应急管理部统计，2019年全国共接报火灾23.3万起，亡1335人。在火灾重点场所分布上，商业场所、宾馆饭店、学校、医院养老院等火灾数量均下降，高层建筑火灾数量却同比上涨10％，达到6974起，平均每天近20起。而相对于低楼层的火灾现场，高层建筑的火灾救援工作难点之一在于无法快速掌握火情、室内状况和危险源分布。

上述的火灾救援工作难点反映在技术层面，主要存在如下几点技术上难以克服的问题：

其一，无法应用现有的导航技术获得室内的地图信息。比如应用全球定位系统(GPS)或北斗导航系统(BDS)均不能在室内获得相应的卫星信号，因而不能将其与电子地图结合应用于室内定位和导航。

其二，对未知环境的危险因素预判不足，导致救援人员伤亡过高。当前火灾救援中对安全威胁最大的因素包括建筑物坍塌、现场存在爆炸物、有毒物质、爆燃等。而现有火灾现场救援工作中，对未知环境的危险因素进行提前探测的工作较少涉及。

现有消防救援技术多是研究如何替代人工进行现场救援的，很少研究救援人员进入火场的安全问题和实际救援效率的问题，而现阶段机器消防救援技术还不能实现完全替代人工救援。因而，研究一种救援协助系统作为消防人员进行火灾现场的救援辅助工具进行搜救，是较现实和合理的选择。

发明内容

有鉴于此，本发明的主要目的在于提供一种消防救援机器人、救援协助系统及其通信方法，采用双目机器人进入救援现场进行数据采集和探测，利用救援协助系统进行三维图像重建，将生成的现场立体地图或/和被困人员的定位信息反馈给救灾人员；并能够对现场进行分区标定出安全区域和危险区域，在地图上为救灾人员规划出安全救援路线及提供导航功能，从而实现现场救援的全套技术支持，避免搜救工作中人为失误及对现场情况缺乏了解而造成的不必要伤亡。

为实现上述发明目的，本发明的技术方案如下：

一种消防救援机器人，包括运动动力子系统、识别定位子系统、第一信息处理子系统、第一无线通信子系统、安全探测子系统和路径导航子系统；

所述运动动力子系统，用于驱动消防救援机器人运动；

所述识别定位子系统，用于利用双目摄像头采集室内火灾现场影像，并根据立体视觉匹配进行火灾现场三维地图的绘制；

所述安全探测子系统，用于将多种传感器探测得到的信息与识别定位子系统相结合，对火灾现场有毒烟雾进行检测和对现场区域进行区域属性划分；

所述路径导航子系统，用于在火灾现场通过第一无线通信子系统与火场外的救援协助系统的服务器B进行通信，利用优化的粒子群算法实时选出/更新出最优救援路径；

所述第一信息处理子系统，用于采集或接收上述各个子系统发送的数据，进行运算处理后得出相应的处理结果数据。

其中：所述识别定位子系统，还用于利用红外线传感器、超声波探测/传感器配合双目摄像头摄录影像的方式对火灾现场进行生命探测、物体识别及进行定位。

所述识别定位子系统还包括硬件或软件视频压缩编码模块，用于对经所述双目摄像头摄录影像在上传到服务器B之前进行视频压缩编码处理。

所述识别定位子系统还包括长波长的可见光照明光源。

所述安全探测子系统将火灾现场区域依据危险程度不同，划分为有毒烟雾/可燃气体区、着火核心区、安全通过区和危险叠加区。

一种包含所述消防救援机器人的救援协助系统，还包括服务器B，用于接收消防救援机器人A发来的视频压缩编码数据进行火灾现场三维电子地图的绘制，还用于接收所述消防救援机器人A反馈的探测/检测结果执行优化的粒子群算法选出当前最优救援路径。

其中，所述服务器B，还包括第二无线通信子系统，用于通过4G/5G通信网络与第一无线通信子系统进行数据通信。

还包括救援信息显示终端C，用于接收并显示所述服务器B下发的火灾现场三维电子地图、火灾现场探测/检测结果数据和区域属性标示信息以及最优救援路径信息。

一种救援协助系统的通信方法，包括如下步骤：

利用消防救援机器人A采集火灾现场影像，经视频压缩处理后发送到服务器B进行三维地图的绘制；

利用所述消防机器人A自带的红外传感器、超声波传感器探测室内火灾现场被困人员的位置和根据危险程度标示不同的区域属性信息，并发送到服务器B；

服务器B利用多个消防救援机器人A搜索和反馈的信息，利用优化的粒子群算法选出当前最优救援路径，将所述最优救援路径信息反馈到所述消防救援机器人A；

所述服务器B将上述生成的三维地图、火灾现场探测/检测结果和区域属性标示信息、最优救援路径信息下发到救援信息显示终端C。

较佳地，还包括：

由服务器端收集多个机器人A探测的多传感器信息，经过PSO优化救援路径，再由服务器B端通信系统将更新或调整后的最优救援路径信息下发到救援信息显示终端C。。

较佳地，还包括：

所述消防救援机器人A向所述救援信息显示终端C不断地发出信号，提示消防救援机器人A在所述电子地图中的位置信息。

本发明的消防救援机器人、救援协助系统及其通信方法，具有如下有益效果：

1)本发明利用机器人进行双目视觉三维图像现场重建技术，克服了无法利用现有导航技术与电子地图结合进行室内定位和导航的问题，解决了救援的筹划阶段对室内进行初步勘察的问题。

2)通过救援协助系统对室内地形和环境进行三维模型重构，对被救援者的准确三维位置进行标定及对救援路径进行规划，使消防救援人员准确掌握火灾现场的情况，尽快的指导或解救被困人员，避免了救援行动的盲目性，从而降低了不必要的伤亡。

3)利用机器人附带的传感器系统，对火灾现场区域进行划分和反馈，分别标注出着火核心区、有毒危险区、危险叠加区和安全通过区，为救援人员提供安全参考，进一步降低救援安全风险。

4)本发明还提供三维或二维环境的电子地图导航功能，能够引导火灾现场被困者尽快脱困或便于消防人员解救，并能够为消防人员灭火提供安全路径。

附图说明

图1为本发明实施例的消防救援机器人的系统架构示意图；

图2为本发明实施例包含图1所示机器人的救援协助系统架构示意图；

图3为本发明实施例救援协助系统的通信方法流程图。

具体实施方式

下面结合附图及本发明的实施例对本发明作进一步详细的说明。

在针对火灾的现场救援中，绝大多数场景下仍主要依靠纯人工救援。而人工救援因对火灾现场内部场景了解较少，寻找被困人员速度较慢，且建筑内部危险因素需要查看建筑内部设计图、询问负责人员等，可能无法及时规避危险因素，因此会给消防救援活动带来极高的危险性。近年来，根据对消防人员伤亡原因的统计分析报告，可以知道对未知环境的提前感知不足仍是导致消防人员伤亡的最主要原因之一。

图1为本发明实施例的消防救援机器人的系统架构示意图。

如图1所示，该消防救援机器人A，包括：运动动力子系统1、识别定位子系统2、第一信息处理子系统3、第一无线通信子系统4、安全探测子系统5和路径导航子系统6。其中：

运动动力子系统1，用于驱动该消防救援机器人运动。该运动动力子系统1主要包括动力底盘11和电源12。能够接收遥控指令通过电机驱动履带式车轮进行前进、倒退及转弯等运动。该履带外层采用阻燃橡胶，内层采用多层帘布和钢骨架结构，保证了履带具有较高的机械强度和韧度。机器人的动力底盘11及其他外露部分，均包覆防火隔热材料，以便适应火灾现场的高温工作环境。

较佳地，在另一实施例中，该运动动力子系统1，还可利用机器人自带的红外传感器、超声波探测/传感器、热传感器、图像传感器等采集室内火灾现场场景信息，调用第一信息处理子系统3的部分系统资源对上述火灾现场信息进行运算处理，根据运算处理结果避开现场障碍物或危险源，自主进行运动。

识别定位子系统2，用于利用双目摄像头采集室内火灾现场影像，并根据立体视觉匹配进行三维地图的绘制。在本实施例中，主要利用红外线传感器、超声波探测/传感器配合双目摄像头摄录影像的方式进行室内生命探测、物体识别和进行定位。所述识别定位子系统2，包括设置在机器人动力底盘上的云台上的双目摄像机。

较佳地，还设置有长波长的照明光源，如发射红色或橘色光的LED光源，采用波长较长的可见光光源，对火场烟雾有一定的穿透性，以便提供清晰的影像信息。

在另一较佳实施例中，识别定位子系统2，将上述通过双目摄像头采集的火灾现场影像数据，通过调用第一信息处理子系统3的一部分系统资源对所述影像数据进行视频压缩编码处理，然后将所述经过视频压缩编码处理后的影像数据通过第一无线通信子系统4上传到火灾现场之外的服务器，即服务器B，其与消防救援机器人A共同组成救援协助系统(参考图2)，由所述救援协助系统的服务器B进行室内火灾现场三维地图的绘制。这里，所述视频压缩编码处理，优选采用硬件压缩方式实现，其优点是处理速度快，时延较小，因而实时性较好。当然，若该机器人配置有高性能的处理器，也可采用软件压缩方式实现，实时性也可得到保证。

安全探测子系统5，用于将多种传感器探测得到信息与识别定位子系统2相结合，对火灾现场的有毒烟雾/可燃气体进行检测和对现场区域进行区域属性标示。本实施例中，采用四色分区法反馈所述区域的划分信息，根据危险程度不同，将室内火灾现场划分为有毒烟雾/可燃气体区、着火核心区、安全通过区和危险叠加区，为救援人员提供安全保障。具体的，可以采用多种烟雾感应浓度传感器、火焰探测器或红外温度探测器与所述识别定位子系统2相结合，利用识别定位功能将探测到的有毒烟雾/可燃气体所在区域实时反馈在三维或二维电子地图中；同时，还可利用接收到的红外温度探测器反馈回来的信息结合所述识别定位子系统2，在三维或二维电子地图中进行区域属性标示。本发明的上述实施例，采用四色分区法反馈三维或二维的分区信息，例如，将火场内部划分为紫色的有毒烟雾/可燃气体区、红色的着火核心区、绿色的安全通过区以及黑色的危险叠加区，以便为消防救援人员提供安全保障。较佳地，对于存在有毒烟雾/可燃气体区、着火核心区等多种区域属性叠加的情况，在本发明实施例中，采用不同颜色的图层来表示上述区域属性信息，同时也支持根据使用习惯进行自定义来显示。

路径导航子系统6，用于在火灾现场的复杂环境下，通过第一无线通信子系统4与火场外的救援协助系统的服务器B的第二无线通信子系统8进行通信，利用优化的粒子群算法实时选出/更新出最优救援路径。为实现救援机器人采用优化的粒子群算法进行最优路径规划，设置所述救援机器人之间接收指令、采集和探测获取的数据信息、运算处理结果信息可以共享，以及相互之间还具有防碰撞机制。

在本发明实施例中，采用优化的粒子群算法在多维空间求解最优路径，将一台救援机器人作为一个“粒子(particle)”，利用m台救援机器人组成一个“粒子群”，将所有粒子经历过的位置中的最好位置定义为全局历史最好位置，相应的适应值为全局历史最优适应值。

假设在一个D维搜索空间中，有m个粒子组成一粒子群，其中第i个粒子的空间位置为X_i＝(x_i1,x_i2,x_i3,...,x_iD)i＝1,2,...,m，它是优化问题的一个潜在解，将它带入优化目标函数可以计算出其相应的适应值，根据适应值可衡量x_i的优劣；第i个粒子所经历的最好位置称为其个体历史最好位置，记为P_i＝(p_i1,p_i2,p_i3,...,p_iD)i＝1,2,...,m，相应的适应值为个体最好适应值Fi；同时，每个粒子还具有各自的移动速度V_i＝(v_i1,v_i2,v_i3,...,v_iD)i＝1,2,...,m。所有粒子经历过的位置中的最好位置称为全局历史最好位置，记为Pg＝(Pg₁,Pg₂,Pg₃,...,Pg_D)，相应的适应值为全局历史最优适应值。在基本PSO算法中，对第n代粒子，其第d维(1≤d≤D)元素速度、位置更新迭代如式(4-1)、(4-2)：

其中：ω为惯性权值；c1和c2都为正值常数，称为加速系数；r1和r2为两个在[0,1]范围内变化的随机数。第d维粒子元素的位置变化范围和速度变化范围分别限制为[X_d,min,X_d,max]和[V_d,min,V_d,max]。迭代过程中，若某一维粒子元素的X_id或V_id超出边界值则令其等于边界值。

粒子群速度更新公式(4-1)中的第1部分由粒子先前速度的惯性引起，为“惯性”部分；第2部分为“认知”部分，表示粒子本身的思考，即粒子根据自身历史经验信息对自己下一步行为的影响；第3部分为“社会”部分，表示粒子之间的信息共享和相互合作，即群体信息对粒子下一步行为的影响。

基本优化的粒子群算法(PSO)具体步骤如下：

(1)粒子群初始化；

(2)根据目标函数计算各粒子适应度值，并初始化个体、全局最优值；

(3)判断是否满足终止条件，是则搜索停止，输出搜索结果；否则继续下步；

(4)根据速度、位置更新公式更新各粒子的速度和位置；

(5)根据目标函数计算各粒子适应度值；

(6)更新各粒子历史最优值以及全局最优值；

(7)跳转至步骤(3)。

对于终止条件，通常可以设置为适应值误差达到预设要求，或迭代次数超过最大允许迭代次数。

本申请的上述实施例采用的连续PSO算法中，其主要参数，即惯性权值ω为机器人行进速度(初始值为0)、加速系数c1和c2均为正值常数、种群规模为设为3～7、迭代次数为2～5。

第一信息处理子系统3，分别与所述的识别定位子系统2、无线通信子系统4、安全探测子系统5和路径导航子系统6数据连接，用于采集、接收上述各子系统发送的数据，进行运算处理后得出相应的处理结果数据。比如，用于通过无线通信子系统4接收遥控操作指令，将所述遥控操作指令通过处理后转换为操纵电机的信号，完成相应的动作或操作。还用于将采集到的室内火灾现场影像，通过图像编码处理后上传到救援协助系统。也可用于救援机器人与其他救援机器人之间相互协作联络、探测得到的信息和运算处理结果信息的共享和运算处理，以及根据处理结果自行判断和驱动所述运动动力子系统1移动所述救援机器人。

较佳地，所述救援机器人还包括第一存储子系统7，用于存储双目摄像头采集的室内火灾现场影像、视频压缩编码处理结果影像、各种传感器和探测器获取的数据信息、信息处理的过程数据、结果数据信息等内容。

进一步的，所述救援机器人还预设有存储有管理和检测机器人工作的固件，所述固件中还预存有各种机器人操作指令。

图2为本发明实施例包含图1所示机器人的救援协助系统架构示意图。

如图2所示，该救援协助系统，主要包括救援机器人A和与之无线数据通信相连的服务器B。服务器B中配置运算能力较强的硬件和软件处理系统，以及第二无线通信子系统8，所述第二无线通信子系统8与救援机器人A的第一无线通信子系统4能够进行高速无线通信和数据交换，具体的，所述第一无线通信子系统4、第二无线通信子系统8和第三无线通信子系统9，均包含4G/5G通信模块。

较佳地，还可以包括若干配备给每位消防人员的救援信息显示终端C。所述服务器B与救援信息显示终端C之间，也为无线通信方式连接。所述救援信息显示终端C内设有支持以无线或有线通信方式高速下载和实时显示三维/二维电子地图的硬件资源，该救援信息显示终端C为大屏幕显示终端，如平板电脑。所述救援信息显示终端C中设有第三无线通信子系统9，所述第三无线通信子系统9、服务器B的第二无线通信子系统8、救援机器人A的第一无线通信子系统4之间，均可相互进行无线通信(参考图3)。

所述救援协助系统，通过服务器B向所述救援信息显示终端C发送室内火场的现场三维或二维地图、救援导航路径、被困人员位置、数量信息以及不同特征的区域信息等内容，以便消防人员有针对性的营救被困人员和撤离火场以及选择灭火措施。

图3为本发明实施例救援协助系统的通信方法流程图。

如图3所示，该救援协助系统的通信方法，主要包括如下几个信息交互过程：

消防救援机器人A与服务器B之间的信息交互过程、服务器B与救援信息显示终端C之间的信息交互过程和消防救援机器人A与救援信息显示终端C之间的信息交互过程。

以图3所示的信息交互过程为例，一个完整的救援协助系统的通信过程，主要包括如下步骤：

步骤31：利用消防救援机器人A采集火灾现场影像，经视频压缩处理后发送到服务器B进行三维地图的绘制。

步骤32：服务器B将上述生成的三维地图传送给救援信息显示终端C。

步骤33：利用所述消防机器人A自带的红外传感器、超声波传感器探测室内火灾现场被困人员的位置和根据危险程度标示不同的区域属性信息，并发送到服务器B。

步骤34：将火灾现场探测/检测结果和区域属性标示信息发送给救援信息显示终端C。

步骤35：服务器B利用多个消防救援机器人A搜索和反馈的信息，利用优化的粒子群算法选出当前最优救援路径，将所述最优救援路径信息反馈到所述消防救援机器人A。

步骤36：将所述最优救援路径信息下发到救援信息显示终端C。

较佳地，进一步包括：

步骤37：所述消防救援机器人A动态更新多种传感器探测得到的环境量信息和区域属性标示变化信息。

步骤38：更新或调整最优救援路径，并将所述更新或调整后的最优救援路径信息下发到救援信息显示终端C。

步骤39：向所述救援信息显示终端C不断地发出信号，提示消防救援机器人A在电子地图中的位置信息。

上述步骤中，步骤32、步骤34、步骤36，也可同时在步骤35之后合并执行，以便同步将包含火灾现场三维电子地图、火灾现场探测/检测结果数据信息(包含被困人员的精确位置和数量信息)、最优导航救援路径规划数据信息发送到救援信息显示终端C中。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (11)

1.一种消防救援机器人，其特征在于，包括运动动力子系统、识别定位子系统、第一信息处理子系统、第一无线通信子系统、安全探测子系统和路径导航子系统；

所述运动动力子系统，用于驱动消防救援机器人A进行运动；

所述识别定位子系统，用于利用双目摄像头采集室内火灾现场影像，并根据立体视觉匹配进行火灾现场三维地图的绘制；

所述安全探测子系统，用于将多种传感器探测得到的信息与识别定位子系统相结合，对火灾现场有毒烟雾进行检测和对现场区域进行区域属性划分；

所述路径导航子系统，用于在火灾现场通过第一无线通信子系统与火场外的救援协助系统的服务器B进行通信，利用优化的粒子群算法实时选出/更新出最优救援路径；

所述第一信息处理子系统，用于采集或接收上述各个子系统发送的数据，进行运算处理后得出相应的处理结果数据。

2.根据权利要求1所述的消防救援机器人，其特征在于，所述识别定位子系统，还用于利用红外线传感器、超声波探测/传感器配合双目摄像头摄录影像的方式对火灾现场进行生命探测、物体识别及进行定位。

3.根据权利要求1所述的消防救援机器人，其特征在于，所述识别定位子系统还包括硬件或软件视频压缩编码模块，用于对经所述双目摄像头摄录影像在上传到服务器B之前进行视频压缩编码处理。

4.根据权利要求1～3任一所述的消防救援机器人，其特征在于，所述识别定位子系统还包括长波长的可见光照明光源。

5.根据权利要求1所述的消防救援机器人，其特征在于，所述安全探测子系统将火灾现场区域依据危险程度不同，划分为有毒烟雾/可燃气体区、着火核心区、安全通过区和危险叠加区。

6.一种包含权利要求1～5任一所述消防救援机器人的救援协助系统，其特征在于，还包括服务器B，用于接收消防救援机器人A发来的视频压缩编码数据进行火灾现场三维电子地图的绘制，还用于接收所述消防救援机器人A反馈的探测/检测结果执行优化的粒子群算法选出当前最优救援路径。

7.根据权利要求6所述的救援协助系统，其特征在于，所述服务器B，还包括第二无线通信子系统，用于通过4G/5G通信网络与第一无线通信子系统进行数据通信。

8.根据权利要求6所述的救援协助系统，其特征在于，还包括救援信息显示终端C，用于接收并显示所述服务器B下发的火灾现场三维电子地图、火灾现场探测/检测结果数据和区域属性标示信息以及最优救援路径信息。

9.一种救援协助系统的通信方法，其特征在于，包括如下步骤：

利用消防救援机器人A采集火灾现场影像，经视频压缩处理后发送到服务器B进行三维地图的绘制；

利用所述消防机器人A自带的红外传感器、超声波传感器探测室内火灾现场被困人员的位置和根据危险程度标示不同的区域属性信息，并发送到服务器B；

服务器B利用多个消防救援机器人A搜索和反馈的信息，利用优化的粒子群算法选出当前最优救援路径，将所述最优救援路径信息反馈到所述消防救援机器人A；

所述服务器B将上述生成的三维地图、火灾现场探测/检测结果和区域属性标示信息、最优救援路径信息下发到救援信息显示终端C。

10.根据权利要求9所述的救援协助系统的通信方法，其特征在于，还包括：

由服务器端收集多个机器人A探测的多传感器信息，经过PSO优化救援路径，再由服务器B端通信系统将更新或调整后的最优救援路径信息下发到救援信息显示终端C。

11.根据权利要求9或10所述的救援协助系统的通信方法，其特征在于，还包括：

所述消防救援机器人A向所述救援信息显示终端C不断地发出信号，提示消防救援机器人A在所述电子地图中的位置信息。

Images