CN114779698A - 一种长大隧道火灾异构模块化机器人控制系统及方法 - Google Patents

Abstract

本发明涉及一种长大隧道火灾异构模块化机器人控制系统及方法，属于公路隧道领域。该装置包括灾情与人员感知单元、协同联动控制中心、远端控制基站、机器人控制系统和模块化机器人单元；协同联动控制中心与远端控制基站通信连接；远端控制基站信号与机器人控制系统通信连接；机器人控制系统与模块化机器人单元通信连接；灾情人员感知单元为模块化机器人提供灾情场景信息；模块化机器人单元包括灾情源位侦测机器人、交互式疏散引导机器人和指向控火机器人；本发明针对隧道灾中现场难以到达的问题，通过专门的机器人轨道，使异构模块化机器人能够高效快速的抵达事故现场，实现灾情源位快速精准侦测、灾情灵活快速控制。

Description

一种长大隧道火灾异构模块化机器人控制系统及方法

技术领域

本发明属于公路隧道领域，涉及一种长大隧道火灾异构模块化机器人控制系统及方法。

背景技术

目前，针对长大公路隧道灾中应急疏控存在的问题，国内外已经有多个国家展开了相关研究，国外瑞士ABB跨国公司提出了AC500 PLC隧道自动化解决方案，用于隧道通风排烟，保护人员和设备安全；意大利联合服务集团(GSA)、国际机械科学中心(CISM)和帕多瓦大学工程学院联合开发了智能消防机器人iTunnel，用于控制和扑灭火灾；意大利埃米控制公司研发了移动消防涡轮机器人，用于地面消防灭火；国内招商局重庆交通科研设计院研发了智能通风排烟系统及装备；西南交通大学研发长大隧道通风系统风量的分配控制装置，自动调节控制通风量；中国科学技术大学设计一种隧道内移动式射流风机组合排烟装置，操作灵活,机动性强；中铁第一勘察设计院集团有限公司提出保证安全疏散的多种排烟方案；清华大学提出的基于颗粒汇效应的除尘除霾消烟消雾技术，可快速净化空气中有毒气体；同济大学提出了侧向排烟城市道路隧道的水幕阻烟隔热性能研究；山西省工业设备安装公司研发水成膜泡沫灭火系统，用于隧道灭火；北京新松融通机器人科技有限公司研发了智能消防机器人、巡检机器人，用于火源探测与识别、投掷灭火弹等；招商局重庆交通科研设计院有限公司、南京迈世、中科信同等多家单位研制了各自的隧道巡检机器人。综合国内外研究现状，现有的研究大多集中在隧道通风排烟系统的智能控制、消防灭火系统的改进和增添移动式机器人进行巡检灭火，多针对单一系统，整体应急疏控效率不佳，对隧道突发事故灾中应急疏控智能综合解决方案的研究还比较少。

对于大量在役长大公路隧道，发生突发事故后采用传统的人工介入和应急处置的方式无法解决快速性、安全性、有效性等问题，而使用机器人代替人工实施应急疏控则拥有巨大的优势，成为隧道智能化应对突发事故的发展方向。国内外在隧道环境下应用的移动机器人基本处于起步阶段，仍然存在环境适应性不足、规模化应用差等问题。

因此，针对长大公路隧道空间狭长、烟气蔓延阻碍人员疏导等问题，设计出一种针对长大公路隧道灾中应急疏控的智能化机器人控制系统，在长大隧道发生突发灾害事故时，能够实现多任务模块机器人的智能控制，以及在极限环境无法与人工通信控制条件下，根据隧道突发灾害的状况实现自治控制，完成应急疏控任务，对公路隧道运营安全具有重要意义。

发明内容

有鉴于此，本发明的目的在于提供一种长大隧道火灾异构模块化机器人控制系统及方法。针对长大公路隧道灾中应急疏控任务要求，基于多机器人协同控制及自治控制方法，设计一种面向“测-寻-疏-控”多任务机器人的智能控制系统和方法，实现长大公路隧道的灾情源位快速精准侦测、灾情灵活快速控制、人车交互式主动引导疏散等多任务的完成。

为达到上述目的，本发明提供如下技术方案：

一种长大隧道火灾异构模块化机器人控制系统，该系统包括灾情与人员感知单元、协同联动控制中心、远端控制基站、机器人控制系统和模块化机器人单元；

所述灾情与人员感知单元通过灾情感知和受困人员感知，进行灾情场景重建，为模块化机器人单元提供灾情场景信息；

所述模块化机器人单元与机器人控制系统连接；

所述机器人控制系统与远端控制基站信号连接；

所述远端控制基站与协同联动控制中心信号连接；

所述模块化机器人单元包括灾情源位侦测机器人、交互式疏散引导机器人和指向控火机器人；

首先，灾情与人员感知单元通过隧道内部安装的固定式传感器对隧道环境进行感知；

固定式传感器包括视频监控、热感应传感器、烟雾传感器和定位器；

将采集到的图像数据、热感应数据、烟雾数据和位置数据发送到模块化机器人单元；

完成灾情场景重建，其获得信息回传至机器人控制系统，由机器人控制系统通过远端控制基站发送指令到协同联动控制中心，完成对模块化机器人单元的控制，实现机器人根据灾情的动态控制。

可选的，所述远端控制基站包括嵌入式工控机、无线客户端、监视器、锂电池、按钮指示灯和操纵杆；

操纵杆发送指令到嵌入式工控机，嵌入式工控机与按钮指示灯信号连接；嵌入式工控机与无线客户端信号连接；无线客户端发送视频到无线客户端；嵌入式工控机与监视器信号连接；锂电池为监视器、无线客户端和嵌入式工控机供电；

远端控制基站的无线客户端与机器人控制器上的无线客户端是一样的，发送和接收数据信息；

远端控制基站的无线客户端通过网线与工控机相连接，工控机网络将机器人控制指令传给无线客户端，无线客户端经过无线局域网发送到远处机器人控制器内的无线客户端；机器人的状态信息由机器人控制器内的无线客户端发出，经无线局域网传给工控机；机器人上搭载的摄像机所拍摄的视频图像信息通过无线客户端来接收，再经过解码处理后显示在监视器上；

机器人配备电池箱来维持电源的供应；电池箱输出的直流24V电压经过24VDC转12VDC稳压电源模块转换成直流12V后给工控机、图像接收机、数传电台、数字硬盘录像机和监视器供电。

可选的，所述灾情源位侦测机器人采用基于PC104总线的嵌入式计算机作为机器人的控制器；根据灾情源位侦测机器人功能需求，搭建独立的控制系统架构；

灾情源位侦测机器人包括机器人控制器一、图像处理计算机一、无线客户端一、网络交换机一、动力执行机构一、红外/可见光双光摄像机一、轨道定位系统一、温度监测系统一、气体浓度检测系统一、热辐射检测一和电源供电系统一；

固定式传感器和机器人控制器实现信息的采集获取，然后经图像处理计算机对采集数据进行分析处理，再反馈控制信号至机器人控制器，进而完成动力执行机构的控制；最终的数据和控制信号通过无线客户端、网络交换机实现对隧道外部的服务器的无线传输；物理连接则是通过线缆实现各模块的数据传输，同时通过机械连接实现各模块的固定；

指向控火机器人包括机器人控制器二、图像处理计算机二、无线客户端二、网络交换机二、动力执行机构二、红外/可见光双光摄像机二、轨道定位系统二、温度监测系统二、气体浓度检测系统二、热辐射检测二和电源供电系统二；指向控火机器人还设置有二维云台，结合消防接口的电磁阀控制进行指向性灭火；

交互式疏散引导机器人包括机器人控制器三、图像处理计算机三、无线客户端三、网络交换机三、动力执行机构三、红外/可见光双光摄像机三、轨道定位系统三、语音引导单元、影像引导单元、生命探测仪、红外传感器和电源供电系统三；

通过传感器感知数据、机器人控制器完成数据采集，再由图像处理计算机完成信息的分析处理，并作出决策与控制，控制机器人的语音引导、影像引导模块，实现引导人员逃生的声光提示。

可选的，所述系统在发生火灾后，由隧道内固定式传感器监测到火灾发生位置，通过协同联动控制中心发出指令给机器人控制系统，机器人控制系统发送指令给模块化机器人单元，让机器人以一个整体运动到火灾发生附近位置，然后开始执行拆分程序：首先，到达合适的位置后，指向控火机器人的卡口会被释放，然后通过对准控制顶部的消防接口，并控制升降装置，实现指向控火机器人的整体抬升，并与消防接口对接和锁紧；其次，整体机器人到达侦测点位位置时，控制其主动式卡口释放，使灾情源位侦测机器人脱离开移动平台，而后按规定动作开始工作；引导疏散机器人则根据协同联动控制中心的指令，开始进行人员感知、疏散和引导作业；

在灾情结束后，引导疏散机器人则根据协同联动控制中心的指令，返回初始位置；灾情源位侦测机器人回到移动平台，在到达侦测点位位置时，控制其主动式卡口锁紧；指向控火机器人与消防接口脱离，整体降下，然后回到引导疏散机器人上，与卡扣对接；实现模块化机器人单元的返回和整合。

基于所述系统的长大隧道火灾异构模块化机器人控制方法，所述灾情与人员感知单元实现灾情的侦测感知以及人员搜索，确定人员的分布状况，并完成灾情的场景重建，便于协同联动控制中心获取充足的隧道灾源现场信息，实现超实时的灾情态势推演预测，有利于快速响应和科学应急救灾；

灾情感知通过隧道内固定安装的火灾监测传感器、温度传感器、气体环境传感器和固定式相机获取固定点位灾情相关信息，另一方面，通过安装于隧道顶部或侧墙的轨道式异构模块化机器人，实现抵近式灾源信息侦测，获取距离灾源不同位置的多种灾情信息的连续分布信息，包括温度分布、有害气体的空间浓度分布、火灾灾源分布以及机器人自身的运行环境信息；

对于隧道受困人员分布信息，采用固定式相机联合交互式疏散引导机器人的模式获取隧道内部车辆、人员的图像、红外及生命探测仪信息，通过多传感器信息融合，检测得到车辆分布信息和人员分布定位信息；

在灾情信息及受困人员的动态信息获取后，通过灾情场景重建，形成用于灾情态势推演预测的基础模型。

可选的，所述灾情场景重建具体包括跟踪线程、局部建图线程、回环检测线程和稠密建图线程；

跟踪线程：

跟踪线程通过帧与帧之间的特征匹配来计算相机的位姿；首先对机器人上的相机进行位姿跟踪，连续得到隧道内相机拍摄时的位姿；设定3种跟踪模式：运动模式、关键帧模式和重定位模式；保证机器人在隧道内通过视觉实时定位；其次跟踪局部地图，将局部地图投影到当前帧寻找更多对应的匹配地图点，最小化重投影误差优化当前帧的位姿；最后当跟踪线程内长时间没有插入关键帧、局部地图空闲或跟踪丢失时，将当前帧加入关键帧；

局部建图线程：

局部建图线程处理地图中的关键帧和地图点；首先将隧道内的关键帧插入关键帧队列；接着根据关键帧更新隧道点云地图与关键帧之间的位置关系，包括删除、生成和融合点云数据操作；其次对当前关键帧相邻的关键帧中相匹配的地图点进行局部BA优化，最小化重投影误差；最后从关键帧队列中删除90％以上的隧道点云能够被其他共视关键帧观测到的关键帧；

回环检测线程：

回环检测线程用于消减帧间的累计误差，减少误差传递；首先建立词典，离线训练隧道内的图片，提取隧道图片的特征与特征描述，聚类生成隧道内的特征词典；关键帧根据词典检测帧与帧之间的相似度，并依此进行回环检测与Sim3优化，判断是否存在回环帧；如果存在则根据回环帧进行本质图优化与全局BA优化；

稠密建图线程：

稠密建图线程用于建立稠密点云地图，根据相机有效深度将隧道内距离过远或过近的点云删除，同时利用滤波器去除孤立点，得到存粹的隧道点云数据，为判断是否存在障碍物，建立八叉数地图判断隧道内的环境信息。

可选的，所述灾情源位侦测机器人、指向控火机器人和指向控火机器人协作的步骤如下：

1)灾情源位侦测机器人通过固定式侦测设备获取火源中心粗略位置范围信息；

2)灾情源位侦测机器人进入火源中心范围后，减速缓行，通过可见光相机不断检测火源中心的具体位置信息，直到检测到火源中心准确位置及其余灾情信息；

3)通过计算获取火源中心周围水阀的位置，放置灾情源位侦测机器人，行驶到目标位置，对接指向控火机器人；

4)指向控火机器人通过视觉处理获取的目标火源位置，根据火源中心位置变化动态控制调整二维云台姿态，进行指向性灭火；

5)交互式疏散引导机器人进入工作状态，搜寻受困人员；

6)结合受困人员位置信息，火源中心位置信息，通过声光电信号正确引导受困人员脱离危险。

可选的，该方法为：

当机器人处于正常工作状态时，机器人会周期性的检查链路通信状态，当机器人检测到通信链路断开时，判断为机器人通信链路遭到毁坏，将机器人的工作模式由遥控操作模式切换到自治工作模式，针对灾情源位侦测机器人、指向控火机器人及交互式疏散引导机器人的作业任务需求，分别进行自治控制。

灾情源位侦测机器人的对受灾现场数据进行移动式侦测采集，包括甲烷在内的有害气体检测、热辐射迁移量的大小、温度测量及可见光图像信息，检测完成后将数据实时上传，并用于灾情分析及态势预测，但当通信链路断开后数据无法上传，自治过程将所有有效的数据保存到黑匣子中，灾情过后应用于对灾情的分析及判断；

指向控火机器人识别灾情火源中心，并对其进行定位，控制二维云台调姿瞄准火源中心进行指向性灭火，同时上传火源中心视频图像信息，当通信链路断开后，保存视频图像信息，继续保持指向性灭火工作，直到火源被扑灭。

交互式疏散引导机器人寻找处于危险环境中的人员，并通过声光电信号引导人员进行疏散，当通信链路断开后，进入自治模式，交互式疏散引导机器人沿轨道进行双向周期性的行走，行走过程中通过视觉信号、雷达信号寻找停留在车内以及危险区域的人员信号，结合人员位置及火源位置信息，自动引导受困人员离开危险区域。

本发明的有益效果在于：

1、本发明相较于传统的长大公路隧道应急方式，针对隧道灾中现场难以到达的问题，通过专门的机器人轨道，使异构模块化机器人能够高效快速的抵达事故现场，实现灾情源位快速精准侦测、灾情灵活快速控制。

2、本发明针对长大公路隧道应急灾害难以感知灾情和人员分布难题，通过隧道固定式传感器+移动机器人动态感知，可以实现抵近式侦测感知和获取较为全面的隧道灾情和人员信息，并通过灾情场景重建，获得了灾情+人员的灾情系统性模型表达，有利于灾情态势推演预测的准确性和系统性。

3、本发明针对应急疏控异构模块化机器人的智能控制，设计了远端控制基站、机器人控制系统及模块化控制单元硬件系统，可实现与协同联动控制中心的交互，实现灾情动态感知-灾情态势推演动态预测-协同联动动态控制-机器人模块动态控制的全闭环控制，首次在技术上实现了隧道灾情应急疏控的感知-决策-控制-处置的动态闭环全过程。

4、本发明针对应急疏控异构模块化机器人控制系统的协同控制问题，采用分布式控制方法，设计了分布式多层控制方法，根据各模块机器人的应急疏控任务要求，设计了多机器人的协作控制模式和控制流程，实现共用轨道及移动平台的的异构模块化机器人的协同控制。

5、本发明针对隧道突发灾害时机器人脱离协同联动控制中心通信控制状态时，应急疏控异构模块化机器人的自治控制问题，提出了处于该状况下的多个机器人单元的自治控制模式与控制方法。

6、本发明面向长大公路隧道应急灾害具有的突发性及极大的危害性，为应急事故开展救援行动提供保障，为我国交通基础设施的正常运营提供有力的技术保障，大大减小因隧道突发事故隐患带来的经济、社会、人身损失，具有较高的经济与社会效益。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为本发明机器人装置结构图；

图2为本发明机器人协作原理图；

图3为本发明系统整体组成图；

图4为灾情与人员感知单元原理图；

图5为局部BA优化与全局BA优化示意图；

图6为远端控制基站组成图；

图7为灾情源位侦测机器人架构图；

图8为灾情源位侦测机器人工作流程图；

图9为指向控火机器人架构图；

图10为指向控火机器人工作流程图；

图11为交互式疏散引导机器人架构图；

图12为交互式疏散引导机器人自治工作流程图

图13为分布式体系架构图；

图14为多机器人体系结构图；

图15为机器人自治控制方法流程。

附图标记：1-灾情源位侦测机器人，2-指向控火机器人，3-交互式疏散引导机器人，4-导轨，5-消防水接口，6-消防水轨道。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

请参阅图1～图15，为一种长大隧道火灾异构模块化机器人控制系统，包括灾情与人员感知单元、协同联动控制中心、远端控制基站、机器人控制系统和模块化机器人单元。

该系统包括灾情与人员感知单元、协同联动控制中心、远端控制基站、机器人控制系统和模块化机器人单元；

所述灾情与人员感知单元通过灾情感知和受困人员感知，进行灾情场景重建，为模块化机器人单元提供灾情场景信息；

所述模块化机器人单元与机器人控制系统连接；

所述机器人控制系统与远端控制基站信号连接；

所述远端控制基站与协同联动控制中心信号连接；

所述模块化机器人单元包括灾情源位侦测机器人、交互式疏散引导机器人和指向控火机器人；

首先，灾情与人员感知单元通过隧道内部安装的固定式传感器对隧道环境进行感知；

固定式传感器包括视频监控、热感应传感器、烟雾传感器和定位器；

将采集到的图像数据、热感应数据、烟雾数据和位置数据发送到模块化机器人单元；

完成灾情场景重建，其获得信息回传至机器人控制系统，由机器人控制系统通过远端控制基站发送指令到协同联动控制中心，完成对模块化机器人单元的控制，实现机器人根据灾情的动态控制。

机器人控制单元需将机器人工作状态、感知信息传至远端控制基站及协同联动控制中心，实现闭环的实时动态控制。

各部分的具体实施过程如下：

(1)机器人控制系统及模块化控制单元

灾情源位侦测机器人采用基于PC104总线的嵌入式计算机作为机器人的控制器。根据灾情源位侦测机器人功能需求，搭建独立的控制系统架构。

灾情源位侦测机器人包括机器人控制器、图像处理计算机、无线客户端、网络交换机、动力执行机构、红外/可见光双光摄像机、轨道定位系统、温度监测系统、气体浓度检测系统、热辐射检测、电源供电系统。

根据指向控火机器人功能需求，搭建独立的控制系统架构。指向控火机器人增加了二维云台控制以及消防接口电磁阀控制。指向控火机器人搭载在机器人移动载体上，通过消防接口安装在消防管线上，识别火源目标，通过二维转台调节消防喷嘴指向性控灾。图像传感器、温度传感器分别与指向控火控制系统连接，用于获取隧道内火源附近的图像和温度。位置传感器用于定位指向控火机器人所在位置，并由此位置定位灾情源位侦测机器人所有检测信息的所属位置。消防喷嘴通过二维转台与指向控火机器人的电气箱体连接。驱动器根据位置传感器Ⅲ获取的火源位置来控制二维转台转动，使得消防喷嘴对准火源位置喷水灭火。。

根据交互式疏散引导机器人功能需求，搭建独立的控制系统架构。交互式疏散引导机器人包括机器人控制器、图像处理计算机、无线客户端、网络交换机、动力执行机构、警用可见光摄像机、轨道定位系统、语音引导单元、影像引导单元、电源供电系统。

(2)异构模块化机器人协同控制方法

灾中应急处置中同时存在多个交叉任务，采用单一机器人很难兼顾完成复杂任务，因此相比较与单机器人控制系统，多机器人控制系统更有优势。通过引入灾情源位侦测机器人、交互式疏散引导机器人和指向控火机器人三台机器人，可以将复杂的任务进行专项分解，多机器人可以在同一时间分别进行任务处理，同时机器人之间进行信息共享有利于多机器人协同作业。

通过对系统体系结构的研究与分析，构建多机器人分布式体系结构。相比于独立机器人控制系统中控制基站点对点控制一台机器人，由隧道信息管理中心与多台机器人建立同步联系，并且机器人之间均能传递信息，达到信息共享，以达到所有机器人均能掌握全局信息的目的。在实际作业时机器人可以根据人、车、环境、灾情等信息自行判断决策，同时由于信息的分享，使机器人具有较强的灵活性与全局性，整个系统稳定，对于应急疏控任务具有较好的全局处置能力。

(3)机器人自治控制方法

灾情源位侦测机器人1、指向控火机器人2和交互式疏散引导机器人3在导轨4上运行，导轨4平行方向设有消防水轨道6，消防水轨道6上设有消防水接口5。

当机器人处于正常工作状态时，机器人会周期性的检查链路通信状态，当机器人检测到通信链路断开时，判断为机器人通信链路遭到毁坏，此时，将机器人的工作模式由遥控操作模式切换到自治工作模式，针对灾情源位侦测机器人、指向控火机器人及交互式疏散引导机器人的作业任务需求，分别进行自治控制方法研究。

灾情源位侦测机器人对受灾现场数据进行移动式侦测采集，包括甲烷等有害气体检测、热辐射迁移量的大小、温度测量及可见光图像等信息，检测完成后将数据实时上传，并用于灾情分析及态势预测，但当通信链路断开后数据无法上传，自治过程将所有有效的数据保存到黑匣子中，灾情过后应用于对灾情的分析及判断。

指向控火机器人准确识别灾情火源中心，并对其进行精准定位，控制二维云台调姿瞄准火源中心进行指向性灭火，同时上传火源中心视频图像信息，当通信链路断开后，保存视频图像信息，继续保持指向性灭火工作，直到火源被扑灭。

交互式疏散引导机器人寻找处于危险环境中的人员，并通过声光电信号引导人员进行疏散，当通信链路断开后，进入自治模式，交互式疏散引导机器人沿轨道进行双向周期性的行走，行走过程中通过视觉信号、雷达信号寻找停留在车内以及危险区域的人员信号，结合人员位置及火源位置信息，自动引导受困人员离开危险区域。

各机器人通过网络与隧道信息管理中心进行通信，实现信息共享与交互，每个机器人的体系结构均分为感知、行为、决策与通信4个层次。隧道信息管理中心可以对信息共享的机器人进行统一管控，在特定状态下，也可独立操控一个机器人进行作业任务，如非灾情状态下的人员引导交互等。

多机器人协作系统任务执行步骤如下：

1)灾情源位侦测机器人1通过固定式侦测设备获取火源中心粗略位置范围信息；

2)灾情源位侦测机器人1进入火源中心范围后，减速缓行，通过可见光相机不断检测火源中心的具体位置信息，直到检测到火源中心准确位置；

3)通过计算获取火源中心附近水阀准确位置，此时，放置灾情源位侦测机器人1，行驶到目标位置，对接指向控火机器人2；

4)指向控火机器人2通过视觉处理获取的目标火源位置，调整二维云台姿态，进行指向性灭火；

5)交互式疏散引导机器人3进入工作状态，搜寻受困人员；

6)结合受困人员位置信息，火源中心位置信息，通过声光电信号正确引导受困人员脱离危险。

(4)灾情与人员感知单元

灾情与人员感知单元主要实现灾情的侦测感知以及人员搜索，确定人员的分布状况，并完成灾情的场景重建，便于协同联动控制中心获取充足的隧道灾源现场信息，实现超实时的灾情态势推演预测，有利于快速响应和科学应急救灾。

灾情感知通过隧道内固定安装的火灾监测传感器、温度传感器、气体环境传感器、固定式相机等获取固定点位灾情相关信息，另一方面，通过安装于隧道顶部或侧墙的轨道式异构模块化机器人，实现抵近式灾源信息侦测，获取距离灾源不同位置的多种灾情信息的连续分布信息(例如温度分布、有害气体的空间浓度分布、火灾灾源分布)，以及机器人自身的运行环境信息。

对于隧道受困人员分布信息，采用固定式相机+交互式疏散引导机器人获取隧道内部车辆、人员的图像、红外及生命探测仪信息，通过多传感器信息融合，快速检测得到车辆分布、人员分布定位等信息。

灾情信息及受困人员的动态信息获取后，通过灾情场景重建，形成用于灾情态势推演预测的基础模型。灾情场景重建通过跟踪、局部建图、回环检测、稠密建图四个线程实施完成。

跟踪线程：

跟踪线程通过帧与帧之间的特征匹配来计算相机的位姿。首先对机器人上的相机进行位姿跟踪，连续得到隧道内相机拍摄时的位姿。设定3种跟踪模式：运动模式、关键帧模式和重定位模式。保证机器人在隧道内通过视觉实时定位。其次跟踪局部地图，将局部地图投影到当前帧寻找更多对应的匹配地图点，最小化重投影误差优化当前帧的位姿。最后当跟踪线程内长时间没有插入关键帧、局部地图空闲或跟踪丢失时，将当前帧加入关键帧。

局部建图线程：

跟踪线程只判断当前帧是否要加入关键帧，并没有真的加入地图。而处理地图中的关键帧，地图点，则在局部建图线程完成。首先将隧道内的关键帧插入关键帧队列；接着根据关键帧更新隧道点云地图与关键帧之间的位置关系，之中包括删除、生成、融合点云数据等操作；其次对当前关键帧相邻的关键帧中相匹配的地图点进行局部BA优化，最小化重投影误差；最后从关键帧队列中删除90％以上的隧道点云能够被其他共视关键帧观测到的关键帧。

回环检测线程：

回环检测线程主要是为了消减帧间的累计误差，减少误差传递。需要建立词典，可以离线训练隧道内的图片，提取隧道图片的特征与特征描述，以此聚类生成隧道内的特征词典。关键帧根据词典检测帧与帧之间的相似度，并依此进行回环检测与Sim3优化，判断是否存在回环帧。如果存在则根据回环帧进行本质图优化与全局BA优化。

稠密建图线程：

建立稠密点云地图需要根据相机有效深度将隧道内距离过远或过近的点云删除，同时利用滤波器去除孤立点。此时得到存粹的隧道点云数据，无法判断是否存在障碍物。因此建立八叉数地图判断隧道内的环境信息。

如图8所示，局部BA优化(左)与全局BA优化(右)，假设Pos3为当前关键帧，局部优化只提取前一帧与其观测到的点云进行优化。全局优化除了第一帧所有的关键帧和点云都参与优化。

(5)远端控制基站

远端控制基站主要包括嵌入式工控机、无线客户端、监视器、锂电池、按钮指示灯和操纵杆。组成如图9所示。

操纵杆发送指令到嵌入式工控机，嵌入式工控机与按钮指示灯信号连接；嵌入式工控机与无线客户端信号连接；无线客户端发送视频到无线客户端；嵌入式工控机与监视器信号连接；锂电池为监视器、无线客户端和嵌入式工控机供电；

嵌入式工控机是远端控制基站的核心，机器人的所有动作指令都是由操作者通过工控机发出，机器人上的视频信息和各种状态信息也都通过工控机的监视器显示出来。

远端控制基站的无线客户端与机器人控制器上的无线客户端是一样的，主要作用也是发送和接收数据信息。

远端控制基站的无线客户端通过网线与工控机相连接，工控机网络将机器人控制指令传给无线客户端，无线客户端经过无线局域网发送到远处机器人控制器内的无线客户端；同样，机器人的状态信息由机器人控制器内的无线客户端发出，经无线局域网传给工控机。同样，机器人上搭载的高清网络摄像机所拍摄的视频图像信息也是通过无线客户端来接收，再经过解码处理后显示在监视器上。

由于工作环境的限制，在机器人作业的现场没有电源，只能配备一台电池箱来维持电源的供应。电池箱输出的直流24V电压经过24VDC转12VDC稳压电源模块转换成直流12V后给工控机、图像接收机、数传电台、数字硬盘录像机和监视器供电。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种长大隧道火灾异构模块化机器人控制系统，其特征在于：该系统包括灾情与人员感知单元、协同联动控制中心、远端控制基站、机器人控制系统和模块化机器人单元；

所述灾情与人员感知单元通过灾情感知和受困人员感知，进行灾情场景重建，为模块化机器人单元提供灾情场景信息；

所述模块化机器人单元与机器人控制系统连接；

所述机器人控制系统与远端控制基站信号连接；

所述远端控制基站与协同联动控制中心信号连接；

所述模块化机器人单元包括灾情源位侦测机器人、交互式疏散引导机器人和指向控火机器人；

首先，灾情与人员感知单元通过隧道内部安装的固定式传感器对隧道环境进行感知；

固定式传感器包括视频监控、热感应传感器、烟雾传感器和定位器；

将采集到的图像数据、热感应数据、烟雾数据和位置数据发送到模块化机器人单元；

完成灾情场景重建，其获得信息回传至机器人控制系统，由机器人控制系统通过远端控制基站发送指令到协同联动控制中心，完成对模块化机器人单元的控制，实现机器人根据灾情的动态控制。

2.根据权利要求1所述的一种长大隧道火灾异构模块化机器人控制系统，其特征在于：所述远端控制基站包括嵌入式工控机、无线客户端、监视器、锂电池、按钮指示灯和操纵杆；

操纵杆发送指令到嵌入式工控机，嵌入式工控机与按钮指示灯信号连接；嵌入式工控机与无线客户端信号连接；无线客户端发送视频到无线客户端；嵌入式工控机与监视器信号连接；锂电池为监视器、无线客户端和嵌入式工控机供电；

远端控制基站的无线客户端与机器人控制器上的无线客户端是一样的，发送和接收数据信息；

远端控制基站的无线客户端通过网线与工控机相连接，工控机网络将机器人控制指令传给无线客户端，无线客户端经过无线局域网发送到远处机器人控制器内的无线客户端；机器人的状态信息由机器人控制器内的无线客户端发出，经无线局域网传给工控机；机器人上搭载的摄像机所拍摄的视频图像信息通过无线客户端来接收，再经过解码处理后显示在监视器上；

机器人配备电池箱来维持电源的供应；电池箱输出的直流24V电压经过24VDC转12VDC稳压电源模块转换成直流12V后给工控机、图像接收机、数传电台、数字硬盘录像机和监视器供电。

3.根据权利要求1所述的一种长大隧道火灾异构模块化机器人控制系统，其特征在于：所述灾情源位侦测机器人采用基于PC104总线的嵌入式计算机作为机器人的控制器；根据灾情源位侦测机器人功能需求，搭建独立的控制系统架构；

灾情源位侦测机器人包括机器人控制器一、图像处理计算机一、无线客户端一、网络交换机一、动力执行机构一、红外/可见光双光摄像机一、轨道定位系统一、温度监测系统一、气体浓度检测系统一、热辐射检测一和电源供电系统一；

固定式传感器和机器人控制器实现信息的采集获取，然后经图像处理计算机对采集数据进行分析处理，再反馈控制信号至机器人控制器，进而完成动力执行机构的控制；最终的数据和控制信号通过无线客户端、网络交换机实现对隧道外部的服务器的无线传输；物理连接则是通过线缆实现各模块的数据传输，同时通过机械连接实现各模块的固定；

指向控火机器人包括机器人控制器二、图像处理计算机二、无线客户端二、网络交换机二、动力执行机构二、红外/可见光双光摄像机二、轨道定位系统二、温度监测系统二、气体浓度检测系统二、热辐射检测二和电源供电系统二；指向控火机器人还设置有二维云台，结合消防接口的电磁阀控制进行指向性灭火；

交互式疏散引导机器人包括机器人控制器三、图像处理计算机三、无线客户端三、网络交换机三、动力执行机构三、红外/可见光双光摄像机三、轨道定位系统三、语音引导单元、影像引导单元、生命探测仪、红外传感器和电源供电系统三；

通过传感器感知数据、机器人控制器完成数据采集，再由图像处理计算机完成信息的分析处理，并作出决策与控制，控制机器人的语音引导、影像引导模块，实现引导人员逃生的声光提示。

4.根据权利要求3所述的一种长大隧道火灾异构模块化机器人控制系统，其特征在于：所述系统在发生火灾后，由隧道内固定式传感器监测到火灾发生位置，通过协同联动控制中心发出指令给机器人控制系统，机器人控制系统发送指令给模块化机器人单元，让机器人以一个整体运动到火灾发生附近位置，然后开始执行拆分程序：首先，到达合适的位置后，指向控火机器人的卡口会被释放，然后通过对准控制顶部的消防接口，并控制升降装置，实现指向控火机器人的整体抬升，并与消防接口对接和锁紧；其次，整体机器人到达侦测点位位置时，控制其主动式卡口释放，使灾情源位侦测机器人脱离开移动平台，而后按规定动作开始工作；引导疏散机器人则根据协同联动控制中心的指令，开始进行人员感知、疏散和引导作业；

在灾情结束后，引导疏散机器人则根据协同联动控制中心的指令，返回初始位置；灾情源位侦测机器人回到移动平台，在到达侦测点位位置时，控制其主动式卡口锁紧；指向控火机器人与消防接口脱离，整体降下，然后回到引导疏散机器人上，与卡扣对接；实现模块化机器人单元的返回和整合。

5.基于权利要求1～4中任一项所述系统的长大隧道火灾异构模块化机器人控制方法，其特征在于：所述灾情与人员感知单元实现灾情的侦测感知以及人员搜索，确定人员的分布状况，并完成灾情的场景重建，便于协同联动控制中心获取充足的隧道灾源现场信息，实现超实时的灾情态势推演预测，有利于快速响应和科学应急救灾；

灾情感知通过隧道内固定安装的火灾监测传感器、温度传感器、气体环境传感器和固定式相机获取固定点位灾情相关信息，另一方面，通过安装于隧道顶部或侧墙的轨道式异构模块化机器人，实现抵近式灾源信息侦测，获取距离灾源不同位置的多种灾情信息的连续分布信息，包括温度分布、有害气体的空间浓度分布、火灾灾源分布以及机器人自身的运行环境信息；

对于隧道受困人员分布信息，采用固定式相机联合交互式疏散引导机器人的模式获取隧道内部车辆、人员的图像、红外及生命探测仪信息，通过多传感器信息融合，检测得到车辆分布信息和人员分布定位信息；

在灾情信息及受困人员的动态信息获取后，通过灾情场景重建，形成用于灾情态势推演预测的基础模型。

6.根据权利要求5所述的一种长大隧道火灾异构模块化机器人控制方法，其特征在于：所述灾情场景重建具体包括跟踪线程、局部建图线程、回环检测线程和稠密建图线程；

跟踪线程：

跟踪线程通过帧与帧之间的特征匹配来计算相机的位姿；首先对机器人上的相机进行位姿跟踪，连续得到隧道内相机拍摄时的位姿；设定3种跟踪模式：运动模式、关键帧模式和重定位模式；保证机器人在隧道内通过视觉实时定位；其次跟踪局部地图，将局部地图投影到当前帧寻找更多对应的匹配地图点，最小化重投影误差优化当前帧的位姿；最后当跟踪线程内长时间没有插入关键帧、局部地图空闲或跟踪丢失时，将当前帧加入关键帧；

局部建图线程：

局部建图线程处理地图中的关键帧和地图点；首先将隧道内的关键帧插入关键帧队列；接着根据关键帧更新隧道点云地图与关键帧之间的位置关系，包括删除、生成和融合点云数据操作；其次对当前关键帧相邻的关键帧中相匹配的地图点进行局部BA优化，最小化重投影误差；最后从关键帧队列中删除90％以上的隧道点云能够被其他共视关键帧观测到的关键帧；

回环检测线程：

回环检测线程用于消减帧间的累计误差，减少误差传递；首先建立词典，离线训练隧道内的图片，提取隧道图片的特征与特征描述，聚类生成隧道内的特征词典；关键帧根据词典检测帧与帧之间的相似度，并依此进行回环检测与Sim3优化，判断是否存在回环帧；如果存在则根据回环帧进行本质图优化与全局BA优化；

稠密建图线程：

稠密建图线程用于建立稠密点云地图，根据相机有效深度将隧道内距离过远或过近的点云删除，同时利用滤波器去除孤立点，得到存粹的隧道点云数据，为判断是否存在障碍物，建立八叉数地图判断隧道内的环境信息。

7.根据权利要求6所述的一种长大隧道火灾异构模块化机器人控制方法，其特征在于：所述灾情源位侦测机器人、指向控火机器人和指向控火机器人协作的步骤如下：

1)灾情源位侦测机器人通过固定式侦测设备获取火源中心粗略位置范围信息；

2)灾情源位侦测机器人进入火源中心范围后，减速缓行，通过可见光相机不断检测火源中心的具体位置信息，直到检测到火源中心准确位置及其余灾情信息；

3)通过计算获取火源中心周围水阀的位置，放置灾情源位侦测机器人，行驶到目标位置，对接指向控火机器人；

4)指向控火机器人通过视觉处理获取的目标火源位置，根据火源中心位置变化动态控制调整二维云台姿态，进行指向性灭火；

5)交互式疏散引导机器人进入工作状态，搜寻受困人员；

6)结合受困人员位置信息，火源中心位置信息，通过声光电信号正确引导受困人员脱离危险。

8.根据权利要求7所述的一种长大隧道火灾异构模块化机器人控制方法，其特征在于：该方法为：

当机器人处于正常工作状态时，机器人会周期性的检查链路通信状态，当机器人检测到通信链路断开时，判断为机器人通信链路遭到毁坏，将机器人的工作模式由遥控操作模式切换到自治工作模式，针对灾情源位侦测机器人、指向控火机器人及交互式疏散引导机器人的作业任务需求，分别进行自治控制。

灾情源位侦测机器人的对受灾现场数据进行移动式侦测采集，包括甲烷在内的有害气体检测、热辐射迁移量的大小、温度测量及可见光图像信息，检测完成后将数据实时上传，并用于灾情分析及态势预测，但当通信链路断开后数据无法上传，自治过程将所有有效的数据保存到黑匣子中，灾情过后应用于对灾情的分析及判断；

指向控火机器人识别灾情火源中心，并对其进行定位，控制二维云台调姿瞄准火源中心进行指向性灭火，同时上传火源中心视频图像信息，当通信链路断开后，保存视频图像信息，继续保持指向性灭火工作，直到火源被扑灭。

交互式疏散引导机器人寻找处于危险环境中的人员，并通过声光电信号引导人员进行疏散，当通信链路断开后，进入自治模式，交互式疏散引导机器人沿轨道进行双向周期性的行走，行走过程中通过视觉信号、雷达信号寻找停留在车内以及危险区域的人员信号，结合人员位置及火源位置信息，自动引导受困人员离开危险区域。

Images