CN114299141A - 应用于消防灭火机器人的两自由度火焰识别装置及方法 - Google Patents

Abstract

本发明公开了一种应用于消防灭火机器人的两自由度火焰识别装置及方法，装置包括主控机，分别连接主控机的可见光相机、红外相机、紫外传感器、双目相机、俯仰驱动器、平转驱动器、俯仰角度编码器、平转角度编码器、俯仰电机和平转电机等，通过火灾现场进行实时数据、图像和视频信号的采集和分析处理，识别火源及寻找火焰中心位置，对火焰进行快速、精确定位，为高喷射流灭火装置提供了准确目标，能够有效地提高灭火效率。本发明将使用深度学习方法，同时融合RGB图像特征、红外图像特征以及基于深度相机得到目标的距离信息，设计了深度网络框架，充分用三者的特征信息，在提高网络模型对火焰目标的检测精度的同时输出火焰目标的距离信息。

Description

应用于消防灭火机器人的两自由度火焰识别装置及方法

技术领域

本发明涉及消防设备技术领域，具体涉及一种应用于消防灭火机器人的两自由度火焰识别装置及方法。

背景技术

火灾是日常生活中最常见的灾害之一，具有较强灾难性和破坏性，往往会给人们的生命财产造成不可估量的损失。尤其在变电站场景中，特殊的变电站装置结构与油液使用装置大大增加火灾发生的几率，火的蔓延的速度加快，危害的程度加深，预防与扑救的难度大大增加，使消防面临的任务极其艰巨。传统型火灾探测技术由于技术手段的限制，不能较好的满足变电站装置的消防安全需求。传统火灾探测器采集的数据或信息往往比较单一，且受到空间高度、粉尘、气流速度、腐蚀性环境等各种因素的影响，容易发生误报、迟报、漏报或失效等问题。其不仅在灵敏度和可靠性方面尚待提高，而且由于不能对火灾最初的信号做出反应，与日趋严格的火灾安全要求已不相适应。

随着计算机视觉技术的发展，火焰图像识别技术应运而生。火焰图像识别是一种基于数字图像处理和分析的新型火灾探测方法。其核心原理是利用摄像头对现场进行监视，对摄取的连续图像由图像采集卡转换为数字图像输入计算机，根据火焰的形状、颜色等主要图像特征进行处理和分析，从而达到探测火灾的目的。目前的消防高喷射流灭火机器人对火焰识别的精确度和实时性等有更高的要求。

发明内容

技术目的：针对上述技术问题，本发明公开了一种应用于消防灭火机器人的两自由度火焰识别装置及火焰定位方法，其能够在水平和垂直两个自由度控制识别装置的电机转动，实现对火焰进行快速、精确定位，为高喷射流灭火装置提供了准确目标，有效地提高了灭火效率，而且能够远程监控灭火情况。

技术方案：为实现上述技术目的，本发明采用了如下技术方案：

一种应用于消防灭火机器人的两自由度火焰识别装置，其特征在于：包括主控机，分别连接主控机的可见光相机、红外相机、紫外传感器、双目相机、俯仰驱动器、平转驱动器、俯仰角度编码器、平转角度编码器、俯仰电机和平转电机，其中，

所述紫外传感器用于检测火焰位置和采集火焰所属的光线波段，可见光相机和红外相机用于采集和探测火焰视频和图像，紫外传感器、可见光相机和红外相机向主控机发送采集到数据、图像和视频信息；

所述双目相机用于对火焰位置进行定位，确定火焰中心坐标位置及与消防灭火机器人的距离，平转角度编码器和俯仰角度编码器用于检测火焰识别装置的水平位置和俯仰角度信息；

所述平转驱动器和俯仰驱动器用于在主控机的控制命令下，分别驱动对应的平转电机和俯仰电机转动，并带动双目相机上下转动。

具体地，所述主控机通过CAN总线结构连接可见光相机、红外相机、紫外传感器、双目相机、俯仰驱动器、平转驱动器、俯仰角度编码器、平转角度编码器、俯仰电机和平转电机。

具体地，所述火焰识别装置还包括交换机，主控机通过交换机与远程监控中心通信连接，远程监控中心设有用于显示主控机发送的火焰图像的显示屏。

具体地，所述火焰识别装置安装在消防灭火机器人主臂架上，机器人主臂架上装有用于喷水的喷射装置。

具体地，所述火焰识别装置为等电位电磁屏蔽装置，密封结构满足防护等级IP66。

具体地，所述主控机中设有图像获取模块、图像配准模块、火焰识别模块和输出模块，其中，

图像获取模块，用于获取当前场景中可见光相机、红外相机和双目相机拍摄的RGB图像、深度图像以及对应的红外图像，对RGB图像、深度图像以及红外图像分别进行归一化操作，所有图像像素值均归一化至0～1之间；

图像配准模块，用于对接收到的RGB-D和红外图像进行图像对齐处理，图像对齐中采用基于小波变换的多尺度边缘提取方法，配合使用Powell法进行搜索，以RGB图像作为参考图像，完成深度图、红外图像和可见光图像三者之间的对齐操作；

火焰目标识别模块，用于将获取得到的RGB、深度和红外图像，分别输入到对应的特征提取网络，提取各自图像经过下采样后的的特征图，对来自不同深度学习分支的特征图进行多模态特征信息融合，火焰目标识别模块，用于将获取得到的RGB、深度和红外图像，分别使用特征提取网络进行处理，提取各自图像经过下采样后的的特征图，对来自不同深度学习分支的特征图进行多模态特征信息融合，得到火焰目标框与火焰识别硬件模块之间的距离信息；

输出模块，用于对火焰目标识别模块输出的火焰信息进行过滤，输出最终的火焰目标框和距离信息。

一种火焰定位方法，应用于所述装置，其特征在于，包括以下步骤：

S1、主控机对平转驱动器发送水平转动指令，平转驱动器驱动平转电机运动，带动火焰识别装置沿水平方向左右转动，平转角度编码器实时采集火焰识别装置的平转角度信息；

S2、火焰识别装置在沿水平方向转动过程中，紫外传感器和可见光相机将采集到的信号发送给主控机，主控机识别出火焰中心坐标信息；

S3、主控机根据火焰中心坐标信息，控制平转驱动器驱动平转电机带动火焰识别装置转动，火焰中心坐标水平方向为零时，平转电机停止转动，完成水平方向定位；

S4、双目相机测量火焰到消防机器人的距离，并将数据发送给主控机，主控机解析计算出火焰目标俯仰角度；

S5、主控机对俯仰驱动器发送指令，控制俯仰驱动器驱动俯仰电机运动，带动火焰识别装置沿垂直方向转动，俯仰角度编码器实时采集火焰识别装置的俯仰角度信息；

S6、当主控机检测到俯仰角度达到火焰目标俯仰角度时，俯仰电机停止转动，完成垂直方向定位，此时，火焰中心位于坐标原点位置，坐标原点位置即为本次灭火喷射的火焰目标位置。

有益效果：与现有技术相比，本发明具有如下技术效果：

本发明的火焰识别装置和定位方法采用可见光相机、紫外传感器、红外相机和双目相机采集火灾现场信号，主控制机实时对图像进行分析处理，识别火源及寻找火焰中心位置，在水平和垂直两个自由度上控制电机转动，对火焰进行快速、精确定位，为高喷射流灭火装置提供了准确目标，有效地提高了灭火效率。

附图说明

图1为本发明的应用于消防灭火机器人的两自由度火焰识别装置的系统框图；

图2为本发明的火焰识别装置的实施例一的立体图一；

图3为本发明的火焰识别装置的实施例一的立体图二；

图4为图2中部分装配示意图一；

图5为图2中部分装配示意图二；

图6为图5中部分装配示意图三；

图7为主控机内的部分功能模块的连接框图；

图8是RGB、深度和红外网络结构图；

图9是网络输出层的设计结构；

图10是深度图和红外图的特征提取模块图。

具体实施方式

下面结合附图对本发明做详细的说明。

如图1所示，本发明提供了一种应用于消防灭火机器人的两自由度火焰识别装置，包括主控机，分别连接主控机的可见光相机、红外相机、紫外传感器、双目相机、俯仰驱动器、平转驱动器、俯仰角度编码器、平转角度编码器、俯仰电机、平转电机和交换机，主控机通过CAN总线结构连接可见光相机、红外相机、紫外传感器、双目相机、俯仰驱动器、平转驱动器、俯仰角度编码器、平转角度编码器、俯仰电机和平转电机。

其中，紫外传感器用于检测火焰位置和采集火焰所属的光线波段，可见光相机和红外相机用于采集和探测火焰视频和图像，紫外传感器、可见光相机和红外相机向主控机发送采集到数据、图像和视频信息。双目相机用于对火焰位置进行定位，确定火焰中心坐标位置及与消防灭火机器人的距离，平转角度编码器和俯仰角度编码器用于检测火焰识别装置的水平位置和俯仰角度信息。平转驱动器和俯仰驱动器用于在主控机的控制命令下，分别驱动对应的平转电机和俯仰电机转动，并带动双目相机上下转动。交换机，主控机通过交换机与远程监控中心通信连接，远程监控中心设有用于显示主控机发送的火焰图像的显示屏。

火焰识别装置安装在消防灭火机器人主臂架上，机器人主臂架上装有用于喷水的喷射装置。

1、火焰识别装置

如图1所示，一种高喷射流式灭火机器人火焰识别装置，该装置包括可见光相机1、交换机2、红外相机3、紫外传感器4、主控机5、双目相机6、俯仰驱动器7、平转驱动器8、俯仰角度编码器9、平转角度编码器10、俯仰电机11和平转电机12。

该火焰识别装置安装在高喷灭火机器人臂架上，高喷消防灭火机器人本体通过天线与远程监控中心进行无线通讯完成信息传送，远程监控中心的显示屏幕上可显示火焰识别装置发来的火焰图像，机器人本体上还装有用于发射灭火介质的喷射装置。

如图2至图6所示，可见光相机1供电电压为DC12V，视频信号为网络接头，用于图像采集。主控机5供电电压为DC24V，视频输入信号，输入为网络接头，与主控机5通过交换机2网络接头相连，输出信号为一路RS232串口通讯接口和GND，视频信号板用于实时分析处理视频信号，并将图像上传到远程监控中心；远程监控中心显示屏幕画面分为四个象限，屏幕中心为坐标原点(0，0)，水平方向为X轴，垂直方向为Y轴。主控机5将识别的火焰中心点X和Y坐标通过RS232串口输出。

双目相机6采用DC24V供电，输出信号为一路RS232串口通讯接口、GND，双目相机输出信号与RS232串口芯片连接，双目相机用于测量火源到高喷消防灭火机器人本体的距离。

平转驱动器8采用DC48V供电，输入信号为一路CAN通讯接口和输入电源接口，输出信号与RS232串口芯片连接，平转驱动器8输入信号与CAN通讯芯片连接，输出信号为编码器接口和三相输出接口U、V、W分别与回转角度编码器和三相输出U、V、W连接。

俯仰驱动器7采用DC48V供电，输入信号为一路CAN通讯接口和输入电源接口，输出信号为编码器接口和三相输出接口U、V、W；俯仰驱动器输入信号与CAN通讯芯片连接，输出信号编码器接口与三相输出接口U、V、W分别与俯仰角度编码器和三相输出U、V、W连接。

主控机5采用STM32主板，DC12V供电。主控机的CAN通讯接口分别与平转驱动器8和俯仰驱动器7的CAN通讯接口连接；主控机5的通讯接口通过交换机2与可见光相机1、红外相机3相连；与紫外传感器4和双目相机6相连。

主控机5与平转驱动器8和俯仰驱动器7采用CAN进行通讯，为了识别区分主控机5发来的命令，主控机5通过发送协议分别控制平转驱动器8和俯仰驱动器7分别对火焰识别装置进行水平和垂直动作。

2、火焰定位方法

本发明还公开了一种消防高喷射流式灭火机器人火焰识别装置的火焰定位方法，该方法包括以下步骤：

步骤一：主控机5通过CAN通讯对平转驱动器8发送水平转动指令，平转驱动器8驱动平转电机12带动火焰识别装置沿水平方向左右转动，平转角度编码器10采集火焰识别装置的平转角度信息；

步骤二：火焰识别装置在沿水平方向转动过程中，紫外传感器4和可见光相机1将采集的信号发送给主控机5，主控机对火焰进行识别，并将火焰图像上传到远程监控中心；屏幕中心为坐标原点(0，0)，水平方向为X轴，垂直方向为Y轴；

同时，将识别的的火焰中心坐标信息通过RS232串口发送给主控机5；

步骤三：主控机5根据火焰中心坐标信息，控制平转驱动器8驱动平转电机12带动火焰识别装置转动，当火焰识别中心坐标X＝0，也就是火焰处于显示屏幕水平方向中间位置时，旋转电机停止转动，完成水平方向定位；

步骤四：双目相机6测量火源到机器人的距离，并通过RS232串口将数据发送给主控机5，主控机5解析计算出火焰目标俯仰角度；

步骤五：主控机5通过CAN通讯对俯仰驱动器7发送指令，控制俯仰驱动器7驱动俯仰电机11带动火焰识别装置沿垂直方向转动；

步骤六：俯仰角度编码器9采集火焰识别装置的俯仰角度信息，并将俯仰角度信号发送给主控机5，当主控机5检测到俯仰角度达到火焰目标俯仰角度时，俯仰电机停止转动，完成垂直方向定位，此时，火焰中心位于坐标原点(0，0)位置；

从而为灭火喷射装置提供了准确的火焰目标位置。

3、双自由度图像处理

如图7所示，主控机中设有图像获取模块、图像配准模块、火焰识别模块和输出模块，如图8至图10所示，其中图7显示了RGB、深度和红外网络结构图，图8是网络输出层的设计结构，其中cls表示目标类别，conf表示目标置信度，box表示目标框坐标，depth表示目标距离信息，temp表示目标温度信息；图9是深度图和红外图的特征提取模块SA：X_in表示网络输入，X_res表示经过CONV1卷积操作后的特征图，X_attn表示经过平均池化(Avg.Pool)和注意力卷积(ACONV2)操作的特征图。

本发明利用深度学习方法分别对可见光图像、红外图像以及深度图像进行特征分析，通过下采样、池化等操作后，进行一系列的特征融合，最终网络的三个输出层分别输出火焰目标的类别、置信度、位置坐标、对应目标框的温度以及距离信息。

具体包括如下步骤：

步骤1)、图像配准模块，设备获取的RGB-D和红外图像，因为是不同设备拍摄的同一目标，所以存在一定的视角偏差，因此需要进行图像对齐。图像对齐中采用基于小波变换的多尺度边缘提取方法，配合使用Powell法进行搜索，以RGB图像作为参考图像，完成深度图、红外图像和可见光图像三者之间的对齐操作；

步骤2)、图像获取模块，获取当前场景中的RGB图像，深度图像以及对应的红外图像，对RGB图像、深度图像以及红外图像分别进行归一化操作，所有图像像素值均归一化至0～1之间；

步骤3)、火焰目标识别模块，对步骤2)中获取得到的RGB、深度和红外图像，分别输入到对应的特征提取网络，提取各自图像经过下采样后的的特征图，对来自不同深度学习分支的特征图进行多模态特征信息融合，将融合后的特征图输入head部分，进行分类和回归操作得到火焰目标框与火焰识别硬件模块之间的距离信息。

步骤4)、对步骤3)中得的火焰相关信息，进行过滤，输出最终的火焰目标框和距离信息。

步骤1)具体按照一下步骤实施：

步骤1.1)、图像对齐模块，首先对图像进行预处理(高斯滤波等)，以抑制图像中的噪声，然后在采用小波变换方法，利用小波模极大值边缘检测方法将有效的得到图像边缘，以RGB图作为参考图像，保持不变，对待配准的图像进行空间变换后与参考图像相比较，计算相似度，并通过搜素算法，得到使得相似测度达到最大值对应的空间变化参数，

步骤1.2)、根据步骤1.1)中得到的空间变化参数，对深度图和可见光图像进行空间变换，得到配准后的RGB、可见光和深度图。

步骤2)具体按照以下步骤实施：

步骤2.1)、图像获取模块，获取当前场景中的RGB图像，深度图像以及对应的红外图像；

步骤2.2)、对RGB图像、深度图像以及红外图像分别进行归一化操作，所有图像像素值均归一化至0～1之间。其中RGB图像归一化采用除以255操作，深度和红外图像归一化采用以下公式：

步骤3)具体按照一下步骤实施：

步骤3.1)、构建RGB图像目标检测网络，并将经过归一化操作后的RGB图像输入到网络中，经历focus、CBL、CSPx_x和SPP等网络结构对输入图像进行下采样；

步骤3.2)、构建foucus、CBL和SA网络模块，对深度图像进行特征采集。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种应用于消防灭火机器人的两自由度火焰识别装置，其特征在于：包括主控机，分别连接主控机的可见光相机、红外相机、紫外传感器、双目相机、俯仰驱动器、平转驱动器、俯仰角度编码器、平转角度编码器、俯仰电机和平转电机，其中，

所述紫外传感器用于检测火焰位置和采集火焰所属的光线波段，可见光相机和红外相机用于采集和探测火焰视频和图像，紫外传感器、可见光相机和红外相机向主控机发送采集到数据、图像和视频信息；

所述双目相机用于对火焰位置进行定位，确定火焰中心坐标位置及与消防灭火机器人的距离，平转角度编码器和俯仰角度编码器用于检测火焰识别装置的水平位置和俯仰角度信息；

所述平转驱动器和俯仰驱动器用于在主控机的控制命令下，分别驱动对应的平转电机和俯仰电机转动，并带动双目相机上下转动。

2.根据权利要求1所述的一种应用于消防灭火机器人的两自由度火焰识别装置，其特征在于：所述主控机通过CAN总线结构连接可见光相机、红外相机、紫外传感器、双目相机、俯仰驱动器、平转驱动器、俯仰角度编码器、平转角度编码器、俯仰电机和平转电机。

3.根据权利要求1所述的一种应用于消防灭火机器人的两自由度火焰识别装置，其特征在于：所述火焰识别装置还包括交换机，主控机通过交换机与远程监控中心通信连接，远程监控中心设有用于显示主控机发送的火焰图像的显示屏。

4.根据权利要求1所述的一种应用于消防灭火机器人的两自由度火焰识别装置，其特征在于：所述火焰识别装置安装在消防灭火机器人主臂架上，机器人主臂架上装有用于喷水的喷射装置。

5.根据权利要求1所述的一种应用于消防灭火机器人的两自由度火焰识别装置，其特征在于：所述火焰识别装置为等电位电磁屏蔽装置，密封结构满足防护等级IP66。

6.根据权利要求1所述的一种应用于消防灭火机器人的两自由度火焰识别装置，其特征在于，所述主控机中设有图像获取模块、图像配准模块、火焰识别模块和输出模块，其中，

图像获取模块，用于获取当前场景中可见光相机、红外相机和双目相机拍摄的RGB图像、深度图像以及对应的红外图像，对RGB图像、深度图像以及红外图像分别进行归一化操作，所有图像像素值均归一化至0～1之间；

图像配准模块，用于对接收到的RGB-D和红外图像进行图像对齐处理，图像对齐中采用基于小波变换的多尺度边缘提取方法，配合使用Powell法进行搜索，以RGB图像作为参考图像，完成深度图、红外图像和可见光图像三者之间的对齐操作；

火焰目标识别模块，用于将获取得到的RGB、深度和红外图像，分别使用特征提取网络进行处理，提取各自图像经过下采样后的的特征图，对来自不同深度学习分支的特征图进行多模态特征信息融合，得到火焰目标框与火焰识别硬件模块之间的距离信息；

输出模块，用于对火焰目标识别模块输出的火焰信息进行过滤，输出最终的火焰目标框和距离信息。

7.一种火焰定位方法，应用于权利要求1-5任一所述装置，其特征在于，包括以下步骤：

S1、主控机对平转驱动器发送水平转动指令，平转驱动器驱动平转电机运动，带动火焰识别装置沿水平方向左右转动，平转角度编码器实时采集火焰识别装置的平转角度信息；

S2、火焰识别装置在沿水平方向转动过程中，紫外传感器和可见光相机将采集到的信号发送给主控机，主控机识别出火焰中心坐标信息；

S3、主控机根据火焰中心坐标信息，控制平转驱动器驱动平转电机带动火焰识别装置转动，火焰中心坐标水平方向为零时，平转电机停止转动，完成水平方向定位；

S4、双目相机测量火焰到消防机器人的距离，并将数据发送给主控机，主控机解析计算出火焰目标俯仰角度；

S5、主控机对俯仰驱动器发送指令，控制俯仰驱动器驱动俯仰电机运动，带动火焰识别装置沿垂直方向转动，俯仰角度编码器实时采集火焰识别装置的俯仰角度信息；

S6、当主控机检测到俯仰角度达到火焰目标俯仰角度时，俯仰电机停止转动，完成垂直方向定位，此时，火焰中心位于坐标原点位置，坐标原点位置即为本次灭火喷射的火焰目标位置。

Images