CN115578684A - 用于楼宇火灾消防的特种机器人协同辅助救援控制方法 - Google Patents

用于楼宇火灾消防的特种机器人协同辅助救援控制方法 Download PDF

Info

Publication number
CN115578684A
CN115578684A CN202211097536.0A CN202211097536A CN115578684A CN 115578684 A CN115578684 A CN 115578684A CN 202211097536 A CN202211097536 A CN 202211097536A CN 115578684 A CN115578684 A CN 115578684A
Authority
CN
China
Prior art keywords
fire
building
fighting
fire source
source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211097536.0A
Other languages
English (en)
Inventor
余佳珂
张波涛
涂昱坦
钱成
黄向荣
梁妍
许凯胜
杨名
刘光宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202211097536.0A priority Critical patent/CN115578684A/zh
Publication of CN115578684A publication Critical patent/CN115578684A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Geometry (AREA)
  • Computational Linguistics (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Fire-Extinguishing By Fire Departments, And Fire-Extinguishing Equipment And Control Thereof (AREA)

Abstract

本发明公开用于楼宇火灾消防的特种机器人协同辅助救援控制方法。本发明在真实火源判定过程中引入火焰质心位移和火焰粗糙度的特征，以实现解决了室内环境下不能准确识别移动火焰的问题。此外还采用了多传感器的融合识别算法，大大降低了识别误判率。本发明在调度楼宇消防机器人时，根据楼宇消防机器人数目K调整火源凸包的边条目，以实现更为便捷、合理的机器人喷射站位位置。本发明提出一种从发现疑似火源——判断火源真实性和类别——调度楼宇消防机器人灭火的一套完备、安全、快捷的应急灭火方案。

Description

用于楼宇火灾消防的特种机器人协同辅助救援控制方法
技术领域
本发明属于移动机器人技术领域，涉及一种用于楼宇火灾消防的特种机器人协同辅助救援控制方法。
背景技术
不同的楼宇具有不一样的功能，因此在高效灭火时需要根据具体情况进行具体分析，为了提高灭火效率，现有的一些楼宇会采用移动机器人进行巡逻，移动机器人可根据火焰检测与跟踪技术在巡逻的过程中发现火焰并进行实时跟踪的一项技术，也是机器人实现消防的一项重要技术。
传统的火灾检测技术一般采用光感、温感、烟感和气体等传感器设备捕获火灾早期险兆信息，进而判断火灾是否发生。但上述设备受探测距离及传感器安装位置等物理因素的影响和自然环境的干扰,预报精确度较低,在复杂的大环境下难以发挥其有效作用。而仅使用视频图像的火焰技术来检测火灾则具有一定局限性，当火源被其他物体遮挡时，就很难被发现。因此在任务空间下通过多传感器融合实现对火焰的实时跟踪具有重要意义。故本发明提出用于楼宇火灾消防的特种机器人协同辅助救援控制方法。
发明内容
本发明的第一个目的是针对现有技术的不足，提供了用于楼宇火灾消防的特种机器人协同辅助救援控制方法，包括特种机器人及带动机器人移动的小车，所述特种机器人协同辅助救援的方法包括以下步骤：
步骤(1)：在每栋楼宇配备多个楼宇消防机器人和烟雾传感器，所述楼宇消防机器人进行定时巡逻；每栋楼宇通过特种机器人的激光雷达、深度相机A构建一张包含当前楼宇场地语义信息的复合语义-栅格地图；
步骤(2)：通过四旋翼无人机搜寻疑似火源，并判断真实火源的可燃物类别，同时获取真实火源坐标；
步骤(3)：对火势评级，将复合语义-栅格地图下标注出火灾语义信息发送给楼宇消防机器人；楼宇消防机器人到火灾点；
步骤(4)：获取火源可能扩张区域，构建评价凸包函数对火源可能扩张区域进行评价；
步骤(5)：四旋翼无人机控制器通过粒子滤波的方法对周围物体进行三个周期的温度预测，若该物体在一个周期之后会着火，则派离该物体最近的楼宇消防机器人对其进行一周期的喷水降温；
步骤(6)：调控所有待执行的楼宇消防机器人在火源附近的分布位置；
步骤(7)：调控所有待执行的楼宇消防机器人的喷射方向；
步骤(8)：当楼宇消防机器人A开始使用设备灭火时，实时更新凸包的形状，重复步骤(4)，并对楼宇消防机器人A进行计时；若楼宇消防机器人A在某一个目标点灭火时间超过t0，则楼宇消防机器人A相邻的楼宇消防机器人B和楼宇消防机器人C靠近楼宇消防机器人A，帮助楼宇消防机器人A灭火直到楼宇消防机器人A的喷射站位目标点改变，楼宇消防机器人A重新计时；楼宇消防机器人B和楼宇消防机器人C回到其原有的位置上。
本发明的有益效果是：
本发明在真实火源判定过程中引入火焰质心位移和火焰粗糙度的特征，以实现解决了室内环境下不能准确识别移动火焰的问题。此外还采用了多传感器的融合识别算法，大大降低了识别误判率。
本发明在调度楼宇消防机器人时，根据楼宇消防机器人数目K调整火源凸包的边条目，以实现更为便捷、合理的机器人喷射站位位置。
本发明提出一种从发现疑似火源——判断火源真实性和类别——调度楼宇消防机器人灭火的一套完备、安全、快捷的应急灭火方案。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为多传感器融合火焰检测架构；
图2为方案的整体流程。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例：如图1至图2所示，本发明用于楼宇火灾消防的特种机器人协同辅助救援控制方法，所述方法基于配置多个可移动的楼宇消防机器人，所述楼宇消防机器人背部搭载一台四旋翼无人机，且至少配置有激光雷达、深度相机A；所述四旋翼无人机配置有深度相机B、红外线检测器；
本实施例可移动的楼宇消防机器人采用的是四足履带式机器人。
本发明用于楼宇火灾消防的特种机器人协同辅助救援控制方法包括以下步骤：
步骤(1)：在每栋楼宇配备多个楼宇消防机器人和烟雾传感器，所述楼宇消防机器人进行定时巡逻；每栋楼宇通过特种机器人的激光雷达、深度相机A构建一张包含当前楼宇场地语义信息的复合语义-栅格地图；其中复合语义-栅格地图的构建属于现有常规技术，故不详解。
所述的场地语义信息包括场地可通行区域、通道危险性、进出口、障碍物；
步骤(2)：通过四旋翼无人机搜寻疑似火源，并判断真实火源的可燃物类别，同时获取真实火源坐标，具体是：
2-1当楼宇中某楼层的烟雾传感器发出警报，控制中心下达指令，派出四旋翼无人机；
2-2四旋翼无人机飞至报警的楼层，对每个房间进行巡逻搜查疑似火源，并判断是否为真实火灾；具体是：
2-2-1四旋翼无人机悬停时深度相机B获取疑似火源区域的红外视频流和可见光视频流，通过背景差分法判断是否存在疑似火源区域，若无则结束，反之则执行步骤2-2-2。所述的背景差分法属于现有常规技术，故不详解。
2-2-2对疑似火源区域的红外视频流进行真实火源判定
2-2-2-1采用Otsu阈值分割的前景提取算法分割疑似火源区域。所述的Otsu阈值分割的前景提取算法属于现有常规技术，故不详解。
2-2-2-2对疑似火源区域进行火源粗糙度、质心位移提取、圆形度、矩形度、偏心率、面积变化率、Hu矩特征提取，具体是：
(1)火焰粗糙度FR定义为：
Figure BDA0003838765860000031
其中L为疑似火源区域的周长；LTH为疑似火源区域凸包的周长，该凸包代表包罗疑似火源面积且面积最小的多边形。
(2)火源质心位置的提取，疑似火源区域由中心至边缘，其亮度逐渐变低，根据这一特征可求出质心位置，若火源图像为I(x,y)，那么疑似火源区域的中心(x0，y0)为：
Figure BDA0003838765860000041
Figure BDA0003838765860000042
根据相邻两帧的图像I1(x,y)，I2(x,y)，根据公式(2)得到火源中心(x0,1，y0,1)和(x0,2，y0,2)，进一步根据公式(3)得到质心位移D为：
Figure BDA0003838765860000043
(3)圆形度C的计算公式如下：
Figure BDA0003838765860000044
其中A为疑似火源区域的面积，L为疑似火源的周长。
(4)矩形度R的计算公式如下：
Figure BDA0003838765860000045
其中SR为疑似火源区域最小外接矩形的面积，A为疑似火源区域的面积。
(5)偏心率T的计算公式如下：
Figure BDA0003838765860000046
其中W为疑似火源区域宽度，H为疑似火源区域高度。
(6)面积变化率α的计算公式如下：
Figure BDA0003838765860000047
其中Ai+1和Ai为前后两帧中疑似火源区域的面积。
(7)Hu矩的(p+q)阶不变矩mp,q、(p+q)阶中心矩μp,q和归一化中心矩ηp,q计算公式如下：
Figure BDA0003838765860000048
Figure BDA0003838765860000049
Figure BDA00038387658600000410
Figure BDA0003838765860000051
其中M和N为数字图像I(x,y)内X,Y轴向图像大小，
Figure BDA0003838765860000052
为矩心；m10表示一阶不变矩，m00表示0阶不变矩。
Hu矩是ηp,q的线性组合，Hu矩的定义如下：
Hu1＝η20+η02 公式(12)
其中η20，η02均表示二阶归一化中心矩。
2-2-2-3将红外视频流中图像提取的所有特征，将所有特征经过归一化处理后输入至红外视频火灾识别分类器SVM，判断是否为真实火灾，若识别结果为真实火灾，则输出1，反之则输出0；
2-2-3对疑似火源区域的可见光视频流进行真实火源判定
2-2-3-1对疑似火源区域的可见光视频流采用SSD_MobileNetV3模型对疑似火源进行识别，判断是否为真实火灾，若识别结果为真实火灾，则输出1，反之则输出0；
2-2-4采用融合火焰识别算法对红外视频火灾识别分类器SVM和SSD_MobileNetV3模型识别结果进行融合，如果两者识别结果均为0，则判定为非火灾，如果两者识别结果都为1，则判定为真实火灾，则进行步骤2-3；如果两者仅有一个为1，再判定红外视频流中图像的温度是否上升，若升高，为真实火灾，则进行步骤2-3，反之为非火灾。
2-3通过四旋翼无人机的红外线检测器检测真实火焰的火焰闪烁频率，根据火焰闪烁频率特征和火焰周边的物体识别判断可燃物类别，若为电器起火，则控制中心发布指令给楼宇消防机器人采用干粉灭火，若为木材起火，则控制中心发布指令给楼宇消防机器人采用水来灭火。
所述根据火焰闪烁频率特征和火焰周边的物体识别判断可燃物类别具体是：
通过四旋翼无人机上的红外线检测器获取火焰闪烁频谱，然后将其与事先存储在四旋翼无人机数据库的带标签的火焰闪烁频谱进行比对，找到最相近的k个火焰闪烁频谱，k≥1，进而初步判断可燃物类别；再利用yolov3目标识别算法对火焰周边的物体进行识别，根据周边物体类别在k个类别中获取最终可燃物类别。
2-4计算出当前火灾的火源位置，并在复合语义-栅格地图中对当前火灾进行语义标注，具体是：
2-4-1计算世界坐标系下的四旋翼无人机的位姿为Twr，其中x1、y1、z1为四旋翼无人机在世界坐标系下的笛卡尔坐标，X'、Y'、Z'表示四旋翼无人机所在的笛卡尔坐标系，X、Y、Z表示世界坐标系下的笛卡尔坐标系，cos∠X'X为世界坐标系的X轴和四旋翼无人机坐标系X'轴的夹角。
Figure BDA0003838765860000061
2-4-2计算四旋翼无人机坐标系下的火源位姿矩阵为Prh,x2、y2、z2为火源在四旋翼无人机坐标系下的笛卡尔坐标，X”、Y”、Z”表示火源所在的笛卡尔坐标系，cos∠X”X'为火源坐标系下X”轴和四旋翼无人机坐标系下X'轴的夹角。
Figure BDA0003838765860000062
2-4-3计算火源在世界坐标系的位姿矩阵为Pwh：
Pwh＝Twr*Prh 公式(15)
进而根据Pwh可得火源在世界坐标系下的笛卡尔坐标x3、y3、z3。
2-4-4根据(x3，y3，z3)在复合语义-栅格地图下标注出火灾语义信息。
步骤(3)：对火势评级，将复合语义-栅格地图下标注出火灾语义信息发送给楼宇消防机器人；楼宇消防机器人到火灾点；具体是：
3-1四旋翼无人机控制器根据公式(17)对火源的火势进行评级，通过对火势的分析、现场周围的毁坏情况和周边物体的检测判断火势的蔓延情况，发送给后台指挥中心火情可燃物类别、火势的蔓延情况；
P＝A*H*D0 公式(16)
其中，P为火势评级参数，A为火势的面积，H为火势的高度，D0为周围环境毁坏系数。
所述通过对火势的分析、现场周围的毁坏情况和周边物体的检测判断火势的蔓延的情况属于常规技术，故不详解。
3-2后台指挥中心根据火情可燃物类别、火势蔓延情况，计算出灭火所需装备信息和执行楼宇消防机器人数量K，1≤K≤Kmax，Kmax表示当前楼宇的楼宇消防机器人总数量；然后将灭火所需装备信息发送给当前火灾所在楼宇的待执行楼宇消防机器人。
若P<5m3为一级火势，则派出一辆楼宇消防机器人；若5m3<P<10m3为二级火势，需要两辆楼宇消防机器人灭火；若10m3<P为三级火势，需要增派多辆楼宇消防机器人。
3-3后台指挥中心根据火情可燃物类别、火势蔓延情况，实时更新火源的膨胀区域；所述火源的膨胀区域计算为常规技术，故不详解。
设定火焰膨胀区外Q(Q可以为2m)的一个位姿信息作为楼宇消防机器人的初始导航点，并在复合语义-栅格地图上显示初始导航点。
3-4复合语义-栅格地图实时更新所有楼宇消防机器人和四旋翼无人机的空间位置，通过A*(A-Star)算法规划出每个执行楼宇消防机器人到达火源初始导航点的最优路径。对每个执行楼宇消防机器人的最优路径长度进行从低到高排序，选择前K个的楼宇消防机器人。再对这K个楼宇消防机器人赋予优先级，楼宇消防机器人到火源的欧氏距离越短，优先级越高。
3-5若多个楼宇消防机器人在运动至目标点的时候出现路径重合将要碰撞时，采用优先级仲裁的避撞策略：
当发生碰撞时，优先级高的楼宇消防机器人继续前进，优先级低的楼宇消防机器人根据在原地等待、重新规划出一条新路径这两种策略的行为代价选择避让方式。
所述行为代价为避撞行为引起的路径增加量和时间增加量之和，路径增加量是指原先规划的路径长度和重新规划的路径长度的差值。时间增加量是等待策略所需的时间或重新规划出一条新路径的时间。
3-4当楼宇消防机器人导航至初始导航点时遇到障碍物时，激光雷达获取点云信息，融合里程计信息，结合复合语义-栅格地图，通过坐标变换融合构建新的局部地图，重新规划楼宇消防机器人的局部路径。
步骤(4)：获取火源可能扩张区域，构建评价凸包函数对火源可能扩张区域进行评价；
4-1通过四旋翼无人机采集到的红外图像获知火源温度信息，根据温度阈值f获取红外图像中若干像素点作为点集，将这些点集采用Graham算法创建火源可能扩张区域的凸包。随着灭火的不断进行，实时更新凸包形状。
4-2若场地内存在多个凸包，则构建评价凸包函数V作为扑救顺序的评价标准，V越高则表明该凸包优先级越高。
评价凸包函数具体见公式(17)：
V＝Ahull∑i:1→nwi×Li 公式(17)
其中，wi代表第i个影响因素的权重，Ahull代表该凸包的面积，Li代表第i个影响因素的值，所述影响因素包括着火级别、对周围建筑的其他影响因素，例如：周围可燃物的数目、火势蔓延速度、对建筑物的毁坏情况。
步骤(5)：四旋翼无人机控制器通过粒子滤波的方法对周围物体进行三个周期的温度预测，若该物体在一个周期之后会着火，则派离该物体最近的楼宇消防机器人对其进行一周期的喷水降温。
所述的粒子滤波的方法是一种常规技术，故不详解。
步骤(6)：调控所有待执行的楼宇消防机器人在火源附近的分布位置
若步骤4-1中获取的凸包的边数F等于当前楼宇的楼宇消防机器人数目K，则将K个楼宇消防机器人分别分布在凸包每条边的中心，作为楼宇消防机器人的喷射站位目标点；
若步骤4-1中获取的凸包的边数F小于当前楼宇的楼宇消防机器人数目K，则在K个楼宇消防机器人中选取F个，分别分布在凸包每条边的中心，作为楼宇消防机器人的喷射站位目标点；
若步骤4-1中获取的凸包的边数F大于当前楼宇的楼宇消防机器人数目K，则判断凸包是否存在至少两条能够相交的边，若存在则选取凸包的两条能够相交的边进行延长构成新凸包，重复上述操作，直至新凸包的边数目等于K，然后将K个楼宇消防机器人分别分布在新凸包每条边的中心，作为楼宇消防机器人的喷射站位目标点；若不存在则构建最小外接圆，将K个楼宇消防机器人分别等距分布在该最小外接圆的边上。
步骤(7)：调控所有待执行的楼宇消防机器人的喷射方向。
步骤2-4计算出的当前火灾火源的笛卡尔坐标，结合楼宇消防机器人在火源附近的分布位置，调控喷射方向。
由Y轴判断小车的远近，当火源中心在图像的上方时使小车向前，在下方时则使小车后退，由X轴判断火源偏离的方位信息，通过PID算法控制小车运动，使楼宇消防机器人搭载的喷头对准火源，实现灭火。灭火完成之后，各个楼宇消防机器人回到原来的地方。
步骤(8)：当楼宇消防机器人A开始使用设备开始灭火时，实时更新凸包的形状，重复步骤(4)，并对楼宇消防机器人A进行计时。若楼宇消防机器人在某一个目标点灭火时间超过t0，则楼宇消防机器人A相邻的楼宇消防机器人B和楼宇消防机器人C靠近楼宇消防机器人A，帮助楼宇消防机器人A灭火直到楼宇消防机器人A的喷射站位目标点改变，楼宇消防机器人A重新计时。楼宇消防机器人B和楼宇消防机器人C回到其原有的位置上。
作为优选，当楼宇消防机器人到达火源附近时，发现有人在附近则在楼宇消防机器人显示屏上显示最快最安全到达出口的逃生路径，并语音提示辅助人员逃离，缩短人员逃生时间。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.用于楼宇火灾消防的特种机器人协同辅助救援控制方法，所述方法基于配置多个可移动的楼宇消防机器人，所述楼宇消防机器人背部搭载一台四旋翼无人机，且至少配置有激光雷达、深度相机A；所述四旋翼无人机配置有深度相机B、红外线检测器；其特征在于所述方法包括以下步骤：
步骤(1)：在每栋楼宇配备多个楼宇消防机器人和烟雾传感器，所述楼宇消防机器人进行定时巡逻；每栋楼宇通过特种机器人的激光雷达、深度相机A构建一张包含当前楼宇场地语义信息的复合语义-栅格地图；
步骤(2)：通过四旋翼无人机搜寻疑似火源，并判断真实火源的可燃物类别，同时获取真实火源坐标，具体是：
2-1当楼宇中某楼层的烟雾传感器发出警报，控制中心下达指令，派出四旋翼无人机；
2-2四旋翼无人机飞至报警的楼层，对每个房间进行巡逻搜查疑似火源，并判断是否为真实火灾；具体是：
2-2-1四旋翼无人机悬停时深度相机B获取疑似火源区域的红外视频流和可见光视频流，通过背景差分法判断是否存在疑似火源区域，若无则结束，反之则执行步骤2-2-2；
2-2-2对疑似火源区域的红外视频流进行真实火源判定；具体是：
2-2-2-1采用Otsu阈值分割的前景提取算法分割疑似火源区域；
2-2-2-2对疑似火源区域进行火源粗糙度、质心位移提取、圆形度、矩形度、偏心率、面积变化率、Hu矩特征提取，具体是：
(1)火焰粗糙度FR定义为：
Figure FDA0003838765850000011
其中L为疑似火源区域的周长；LTH为疑似火源区域凸包的周长，该凸包代表包罗疑似火源面积且面积最小的多边形；
(2)火源质心位置的提取，疑似火源区域由中心至边缘，其亮度逐渐变低，根据这一特征可求出质心位置，若火源图像为I(x,y)，那么疑似火源区域的中心(x0，y0)为：
Figure FDA0003838765850000012
Figure FDA0003838765850000021
根据相邻两帧的图像I1(x,y)，I2(x,y)，根据公式(2)得到火源中心(x0,1，y0,1)和(x0,2，y0,2)，进一步根据公式(3)得到质心位移D为：
Figure FDA0003838765850000022
(3)圆形度C的计算公式如下：
Figure FDA0003838765850000023
其中A为疑似火源区域的面积，L为疑似火源的周长；
(4)矩形度R的计算公式如下：
Figure FDA0003838765850000024
其中SR为疑似火源区域最小外接矩形的面积，A为疑似火源区域的面积；
(5)偏心率T的计算公式如下：
Figure FDA0003838765850000025
其中W为疑似火源区域宽度，H为疑似火源区域高度；
(6)面积变化率α的计算公式如下：
Figure FDA0003838765850000026
其中Ai+1和Ai为前后两帧中疑似火源区域的面积；
(7)Hu矩的(p+q)阶不变矩mp,q、(p+q)阶中心矩μp,q和归一化中心矩ηp,q计算公式如下：
Figure FDA0003838765850000027
Figure FDA0003838765850000028
Figure FDA0003838765850000029
Figure FDA00038387658500000210
其中M和N为数字图像I(x,y)内X,Y轴向图像大小，
Figure FDA00038387658500000211
为矩心；m10表示一阶不变矩，m00表示0阶不变矩；
Hu矩是ηp,q的线性组合，Hu矩的定义如下：
Hu1＝η20+η02 公式(12)
其中η20，η02均表示二阶归一化中心矩；
2-2-2-3将红外视频流中图像提取的所有特征，将所有特征经过归一化处理后输入至红外视频火灾识别分类器SVM，判断是否为真实火灾，若识别结果为真实火灾，则输出1，反之则输出0；
2-2-3对疑似火源区域的可见光视频流进行真实火源判定；
2-2-4采用融合火焰识别算法对步骤2-2-2至2-2-3识别结果进行融合，如果两者识别结果均为0，则判定为非火灾，如果两者识别结果都为1，则判定为真实火灾，则进行步骤2-3；如果两者仅有一个为1，再判定红外视频流中图像的温度是否上升，若升高，为真实火灾，则进行步骤2-3，反之为非火灾；
2-3通过四旋翼无人机的红外线检测器检测真实火焰的火焰闪烁频率，根据火焰闪烁频率特征和火焰周边的物体识别判断可燃物类别，若为电器起火，则控制中心发布指令给楼宇消防机器人采用干粉灭火，若为木材起火，则控制中心发布指令给楼宇消防机器人采用水来灭火；
2-4计算出当前火灾的火源位置，并在复合语义-栅格地图中对当前火灾进行语义标注；
步骤(3)：对火势评级，将复合语义-栅格地图下标注出火灾语义信息发送给楼宇消防机器人；楼宇消防机器人到火灾点；
步骤(4)：获取火源可能扩张区域，构建评价凸包函数对火源可能扩张区域进行评价；
步骤(5)：四旋翼无人机控制器通过粒子滤波的方法对周围物体进行三个周期的温度预测，若该物体在一个周期之后会着火，则派离该物体最近的楼宇消防机器人对其进行一周期的喷水降温；
步骤(6)：调控所有待执行的楼宇消防机器人在火源附近的分布位置；具体是：
若步骤4-1中获取的凸包的边数F等于当前楼宇的楼宇消防机器人数目K，则将K个楼宇消防机器人分别分布在凸包每条边的中心，作为楼宇消防机器人的喷射站位目标点；
若步骤4-1中获取的凸包的边数F小于当前楼宇的楼宇消防机器人数目K，则在K个楼宇消防机器人中选取F个，分别分布在凸包每条边的中心，作为楼宇消防机器人的喷射站位目标点；
若步骤4-1中获取的凸包的边数F大于当前楼宇的楼宇消防机器人数目K，则判断凸包是否存在至少两条能够相交的边，若存在则选取凸包的两条能够相交的边进行延长构成新凸包，重复上述操作，直至新凸包的边数目等于K，然后将K个楼宇消防机器人分别分布在新凸包每条边的中心，作为楼宇消防机器人的喷射站位目标点；若不存在则构建最小外接圆，将K个楼宇消防机器人分别等距分布在该最小外接圆的边上；
步骤(7)：调控所有待执行的楼宇消防机器人的喷射方向并进行灭火。
2.根据权利要求1所述方法，其特征在于步骤(1)所述的场地语义信息包括场地可通行区域、通道危险性、进出口、障碍物。
3.根据权利要求1所述方法，其特征在于步骤2-2-3具体是：
对疑似火源区域的可见光视频流采用SSD_MobileNetV3模型对疑似火源进行识别，判断是否为真实火灾，若识别结果为真实火灾，则输出1，反之则输出0。
4.根据权利要求1所述方法，其特征在于步骤2-3所述根据火焰闪烁频率特征和火焰周边的物体识别判断可燃物类别具体是：
通过四旋翼无人机上的红外线检测器获取火焰闪烁频谱，然后将其与事先存储在四旋翼无人机数据库的带标签的火焰闪烁频谱进行比对，找到最相近的k个火焰闪烁频谱，k≥1，进而初步判断可燃物类别；再利用yolov3目标识别算法对火焰周边的物体进行识别，根据周边物体类别在k个类别中获取最终可燃物类别。
5.根据权利要求1所述方法，其特征在于步骤2-4具体是：
2-4-1计算世界坐标系下的四旋翼无人机的位姿为Twr，其中x1、y1、z1为四旋翼无人机在世界坐标系下的笛卡尔坐标，X'、Y'、Z'表示四旋翼无人机所在的笛卡尔坐标系，X、Y、Z表示世界坐标系下的笛卡尔坐标系，cos∠X'X为世界坐标系的X轴和四旋翼无人机坐标系X'轴的夹角；
Figure FDA0003838765850000051
2-4-2计算四旋翼无人机坐标系下的火源位姿矩阵为Prh,x2、y2、z2为火源在四旋翼无人机坐标系下的笛卡尔坐标，X”、X”、Z”表示火源所在的笛卡尔坐标系，cos∠X”X'为火源坐标系下X”轴和四旋翼无人机坐标系下X'轴的夹角；
Figure FDA0003838765850000052
2-4-3计算火源在世界坐标系的位姿矩阵为Pwh：
Pwh＝Twr*Prh 公式(15)
进而根据Pwh得到火源在世界坐标系下的笛卡尔坐标x3、y3、z3；
2-4-4根据(x3，y3，z3)在复合语义-栅格地图下标注出火灾语义信息。
6.根据权利要求1所述方法，其特征在于步骤(3)具体是：
3-1四旋翼无人机控制器根据公式(17)对火源的火势进行评级，通过对火势的分析、现场周围的毁坏情况和周边物体的检测判断火势的蔓延情况，发送给后台指挥中心火情可燃物类别、火势的蔓延情况；
P＝A*H*D0 公式(16)
其中P为火势评级参数，A为火势的面积，H为火势的高度，D0为周围环境毁坏系数；
3-2后台指挥中心根据火情可燃物类别、火势蔓延情况，计算出灭火所需装备信息和执行楼宇消防机器人数量K，1≤K≤Kmax，Kmax表示当前楼宇的楼宇消防机器人总数量；然后将灭火所需装备信息发送给当前火灾所在楼宇的待执行楼宇消防机器人。
3-3后台指挥中心根据火情可燃物类别、火势蔓延情况，实时更新火源的膨胀区域；
设定火焰膨胀区外Q的一个位姿信息作为楼宇消防机器人的初始导航点，并在复合语义-栅格地图上显示初始导航点；
3-4复合语义-栅格地图实时更新所有楼宇消防机器人和四旋翼无人机的空间位置，通过A*(A-Star)算法规划出每个执行楼宇消防机器人到达火源初始导航点的最优路径；对每个执行楼宇消防机器人的最优路径长度进行从低到高排序，选择前K个的楼宇消防机器人；再对这K个楼宇消防机器人赋予优先级，楼宇消防机器人到火源的欧氏距离越短，优先级越高；
3-5若多个楼宇消防机器人在运动至目标点的时候出现路径重合将要碰撞时，采用优先级仲裁的避撞策略：
当发生碰撞时，优先级高的楼宇消防机器人继续前进，优先级低的楼宇消防机器人根据在原地等待、重新规划出一条新路径这两种策略的行为代价选择避让方式；
所述行为代价为避撞行为引起的路径增加量和时间增加量之和，路径增加量是指原先规划的路径长度和重新规划的路径长度的差值；时间增加量是等待策略所需的时间或重新规划出一条新路径的时间；
3-6当楼宇消防机器人导航至初始导航点时遇到障碍物时，激光雷达获取点云信息，融合里程计信息，结合复合语义-栅格地图，通过坐标变换融合构建新的局部地图，重新规划楼宇消防机器人的局部路径。
7.根据权利要求1所述方法，其特征在于步骤(4)具体是：
4-1通过四旋翼无人机采集到的红外图像获知火源温度信息，根据温度阈值f获取红外图像中若干像素点作为点集，将这些点集采用Graham算法创建火源可能扩张区域的凸包；随着灭火的不断进行，实时更新凸包形状；
4-2若场地内存在多个凸包，则构建评价凸包函数V作为扑救顺序的评价标准，V越高则表明该凸包优先级越高；
评价凸包函数具体见公式(17)：
V＝Ahull∑i:1→nwi×Li 公式(17)
其中wi代表第i个影响因素的权重，Ahull代表该凸包的面积，Li代表第i个影响因素的值。
8.根据权利要求1所述方法，其特征在于当楼宇消防机器人A开始使用设备灭火时，实时更新凸包的形状，重复步骤(4)，并对楼宇消防机器人A进行计时；若楼宇消防机器人A在某一个目标点灭火时间超过t0，则楼宇消防机器人A相邻的楼宇消防机器人B和楼宇消防机器人C靠近楼宇消防机器人A，帮助楼宇消防机器人A灭火直到楼宇消防机器人A的喷射站位目标点改变，楼宇消防机器人A重新计时；楼宇消防机器人B和楼宇消防机器人C回到其原有的位置上。
CN202211097536.0A 2022-09-08 2022-09-08 用于楼宇火灾消防的特种机器人协同辅助救援控制方法 Pending CN115578684A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211097536.0A CN115578684A (zh) 2022-09-08 2022-09-08 用于楼宇火灾消防的特种机器人协同辅助救援控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211097536.0A CN115578684A (zh) 2022-09-08 2022-09-08 用于楼宇火灾消防的特种机器人协同辅助救援控制方法

Publications (1)

Publication Number Publication Date
CN115578684A true CN115578684A (zh) 2023-01-06

Family

ID=84581753

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211097536.0A Pending CN115578684A (zh) 2022-09-08 2022-09-08 用于楼宇火灾消防的特种机器人协同辅助救援控制方法

Country Status (1)

Country Link
CN (1) CN115578684A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116510220A (zh) * 2023-07-04 2023-08-01 江苏苏启智能科技有限公司 一种用于高楼灭火无人机的灭火器流体压力控制系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116510220A (zh) * 2023-07-04 2023-08-01 江苏苏启智能科技有限公司 一种用于高楼灭火无人机的灭火器流体压力控制系统
CN116510220B (zh) * 2023-07-04 2023-10-31 江苏苏启智能科技有限公司 一种用于高楼灭火无人机的灭火器流体压力控制系统

Similar Documents

Publication Publication Date Title
US20220157137A1 (en) Facility surveillance systems and methods
CN109116867B (zh) 一种无人机飞行避障方法、装置、电子设备及存储介质
Alexandrov et al. Analysis of machine learning methods for wildfire security monitoring with an unmanned aerial vehicles
CN110390265A (zh) 一种无人机巡检的识别检测方法及系统
CN110427022A (zh) 一种基于深度学习的消防隐患检测机器人及检测方法
CN111639825A (zh) 基于A-Star算法是森林火灾指示逃生路径方法及系统
CN115578684A (zh) 用于楼宇火灾消防的特种机器人协同辅助救援控制方法
US20210256845A1 (en) Drone formation for traffic coordination and control
CN109783856A (zh) 基于群体效应的应急人群疏散仿真方法及系统
Symeonidis et al. Vision-based UAV safe landing exploiting lightweight deep neural networks
CN111062373A (zh) 一种基于深度学习的吊装过程危险识别方法及系统
CN113688921A (zh) 一种基于图卷积网络与目标检测的动火作业识别方法
Bahamid et al. Intelligent robot-assisted evacuation: A review
CN111753780A (zh) 变电站违章检测系统及违章检测方法
CN112669345A (zh) 一种面向云端部署的多目标轨迹跟踪方法及系统
Cherkasov et al. The use of open and machine vision technologies for development of gesture recognition intelligent systems
CN115797864A (zh) 一种应用于智慧社区的安全管理系统
CN111383410A (zh) 基于物联网的智慧消防系统
WO2011036661A1 (en) System and method for long-range surveillance of a scene and alerting of predetermined unusual activity
Kannan et al. Autonomous drone delivery to your door and yard
CN111258309A (zh) 一种用于城市消防机器人的灭火方法
CN112288155B (zh) 基于机器学习和协同过滤的安防预案生成调度方法及系统
KR102585665B1 (ko) 위험 상황 분석 및 위험 객체 수색 시스템
CN112785564B (zh) 一种基于机械臂的行人检测跟踪系统与方法
CN113625773A (zh) 一种无人机应急消防森林巡防指挥系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination