CN110837822A

CN110837822A - 基于多目视觉的消防机器人喷射曲线调整方法及装置

Info

Publication number: CN110837822A
Application number: CN201911252380.7A
Authority: CN
Inventors: 李建祥; 王宇航; 钱元梁; 阮鹏程; 周大洲; 王海鹏; 张海龙; 郭锐; 王海磊; 刘海波; 刘丕玉; 赵亚博; 李瑜
Original assignee: State Grid Intelligent Technology Co Ltd
Current assignee: State Grid Intelligent Technology Co Ltd
Priority date: 2019-12-09
Filing date: 2019-12-09
Publication date: 2020-02-25
Anticipated expiration: 2039-12-09
Also published as: CN110837822B

Abstract

本公开公开了一种基于多目视觉的消防机器人喷射曲线调整方法及装置，可以在消防作业的过程中，使用多目视觉设备实时监控作业进展，根据火情调整喷射的角度和流量，做到精准灭火，不影响站内其他正常运行的设备。该方法包括以下步骤：获取多目视觉设备采集的现场环境的视觉图像信息和红外图像信息；分别对得到的视觉图像信息和红外图像信息进行预处理，分别确定相应的可疑火灾区域；根据视觉图像信息和红外图像信息的预处理结果，定位着火点位置；根据着火点位置，建立喷射曲线模型，识别出水柱落点，确定最佳喷射角度和喷射流量；分析着火设备状况，确定最佳灭火位置和距离；确定现场火势大小，基于着火点位置，选取最佳喷射模式。

Description

基于多目视觉的消防机器人喷射曲线调整方法及装置

技术领域

本公开涉及消防机器人技术领域，具体涉及一种基于多目视觉的消防机器人喷射曲线调整方法及装置。

背景技术

现有的消防机器人在灭火作业中，纯靠人工遥控调整喷射的位置和角度，而且多是大流量全覆盖的粗放型灭火，不适用于对变电站内单一故障设备进行灭火作业。

现有的变电站内使用的消防机器人，绝大多数是通过人工远程遥控控制箱，后接消防车进行供水，仅起到替代消防员的作用，喷射流量不受控制，只能调整喷射方向，整个作业流程也离不开人工干预。

发明人在研发过程中发现，以上方案还存在以下问题：

(1)消防机器人灭火流量太大，覆盖站内大面积区域，进行消防作业时影响站内正常投运的设备；

(2)单纯远程遥控消防机器人作业，人不能接近现场，只能通过视频信号远程调整作业角度；喷射模式单一，仅能调整喷射方向。

发明内容

为了克服上述现有技术的不足，本公开提供了一种基于多目视觉的消防机器人喷射曲线调整方法及装置，可以在消防作业的过程中，使用多目视觉设备实时监控作业进展，根据火情调整喷射的角度和流量，做到精准灭火，不影响站内其他正常运行的设备。

本公开一方面提供的一种基于多目视觉的消防机器人喷射曲线调整方法的技术方案是：

一种基于多目视觉的消防机器人喷射曲线调整方法，该方法包括以下步骤：

获取多目视觉设备采集的现场环境的视觉图像信息和红外图像信息；

分别对得到的视觉图像信息和红外图像信息进行预处理；

根据视觉图像信息和红外图像信息的预处理结果，确定着火区域；

根据着火区域，建立喷射曲线模型，识别出水柱落点，确定最佳喷射角度和喷射流量；

分析着火区域的着火设备状况，确定最佳灭火位置和距离；

判断着火设备的火势大小，选取最佳喷射模式。

本公开另一方面提供的一种基于多目视觉的消防机器人喷射曲线调整装置的技术方案是：

一种基于多目视觉的消防机器人喷射曲线调整装置，该装置包括：

图像获取模块，用于获取多目视觉设备采集的现场环境的视觉图像信息和红外图像信息；

图像预处理模块，用于分别对得到的视觉图像信息和红外图像信息进行预处理；

着火区域确定模块，用于根据视觉图像信息和红外图像信息的预处理结果，确定着火区域；

喷射位置确定模块，用于根据着火区域，建立喷射曲线模型，识别出水柱落点，确定最佳喷射角度和喷射流量；

喷射模式调整模块，用于分析着火区域的着火设备状况，确定最佳灭火位置和距离；判断着火设备的火势大小，选取最佳喷射模式。

本公开另一方面提供的一种计算机可读存储介质的技术方案是：

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如下步骤；

分别对得到的视觉图像信息和红外图像信息进行预处理；

分析着火区域的着火设备状况，确定最佳灭火位置和距离；

判断着火设备的火势大小，选取最佳喷射模式。

本公开另一方面提供的一种处理装置的技术方案是：

一种处理装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如下步骤；

分别对得到的视觉图像信息和红外图像信息进行预处理；

分析着火区域的着火设备状况，确定最佳灭火位置和距离；

判断着火设备的火势大小，选取最佳喷射模式。

当消防介质是干粉或者细水雾时，只需要保证消防介质的喷射覆盖范围能够包含着火点即可，不需要进行过多的精细调整。

通过上述技术方案，本公开的有益效果是：

(1)本公开提出了一种基于多目视觉的消防机器人喷射曲线调整技术，构建了消防介质喷射曲线模型，确定最佳喷射角度和喷射流量，提升了灭火作业的效果。结合本机器人的水柱和细水雾的双喷射模式以及三级加压能力，设计了不同的喷射模式，并对算法进行了优化调整，提高作业的效率和灭火能力；

(2)本公开可以在消防机器人作业的过程中，使用多目视觉设备实时监控作业进展，根据火情调整喷射的角度和流量，做到精准灭火，不影响站内其他正常运行的设备；

(3)本公开针对站内特定的着火设备，进行精准灭火作业，通过机器人搭载的可见光摄像头与红外摄像头拍摄到的现场画面，通过算法即时处理，分析现场情况，自动调整喷射位置与喷射流量。

(4)本公开可以在作业过程中，根据作业效果即时调整作业模式，同时工作人员也可以通过后台控制系统远程进行遥控，现有的技术只能通过后台遥控，人工控制喷射过程，不具备自主作业功能。

(5)本公开提供工作效率，减轻作业人员的负担，自动分析现场环境，并可进行多种喷射模式的切换，可以针对不同的火灾现场做出更有效的应对。

(6)本公开可以减少运维人员的工作量，不必全程操作作业，只需进行监控并在关键时刻进行干预即可，提高了运维的自动化智能化水准，提升了灭火的效率效果。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本申请，并不构成对本公开的不当限定。

图1是实施例一基于多目视觉的消防机器人喷射曲线调整方法的流程图；

图2是实施例一喷射控制的流程图。

具体实施方式

下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本公开使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例一

图1本实施例涉及的基于多目视觉的消防机器人喷射曲线调整方法的流程图。如图1所示，所述消防机器人喷射曲线调整方法包括以下步骤：

S101，获取多目视觉设备采集的现场环境的视觉图像信息和红外图像信息。

通过多目视觉设备的普通视觉摄像头采集现场环境的图像信息，包括现场环境内设备的图像信息、现场环境内火情图像信息和现场环境内烟雾浓度信息等。如果在火情现场，则可通过多目视觉设备采集到着火设备、火情大小、烟雾浓度等视觉图像信息。

通过多目视觉设备的红外摄像头采集现场环境的红外图像，主要包括现场环境里各处的温度、最高温度、最高温度出现的位置、火焰的形状等。如果在火情现场，则可以采集到现场环境内温度的最高温度、最高温度出现的位置，火焰的形状等信息。

S102，分别对得到的视觉图像信息和红外图像信息进行预处理，确定相应的可疑火灾区域。

所述步骤102中，采用图像处理算法，对步骤101得到的图像进行图像灰度化、分割、滤波等处理，分别确定相应的可疑火灾区域。

具体地，所述步骤102中，对视觉图像信息进行预处理的具体实现过程如下：

首先，对图像进行颜色检测，如大片的橘红色或者黑色，做比重计算等初步处理。

接着，再对初步处理后的图像进行灰度化处理和运动检测，确定图像中是否有可疑火焰的区域。

对可疑火焰的区域进行滤波处理，提取滤波处理后图像的颜色直方图，提取图像特征值，进行匹配处理，确定图像中可疑火灾的区域。

最后，将可疑火灾区域进行分割并归一化处理，作为后续进行研判的基本单位。

对于获取的红外图像，由于多目视觉设备根据火焰红外辐射的波段选取了合适的红外摄像头，采集的红外图像除火焰的辐射信号外，其他的红外信号干扰较小，而且干扰源如其他发热设备或者反光等形状都较为规则，因此对红外图像的处理较为简单，将红外图像进行图像灰度化预处理后进行分割，提取分割后图像特征值，将提取的图像特征值输入训练好的神经网络模型进行识别，即可得到红外图像的可疑火灾区域。

S103，根据视觉图像信息和红外图像信息的预处理结果，定位着火区域。

在本实施例中，所述着火区域包括可信火灾区域和疑似火灾区域。

具体地，所述步骤103中，将视觉图像处理后的可疑火灾区域与红外图像处理后的可疑火灾区域进行对比，将重叠的可疑火灾区域作为可信火灾区域，若未重叠的可疑火灾区域作为疑似火灾区域，将重叠的未可疑火灾区域判定为没有着火的区域，则是未发生火灾的区域。

S104，根据着火区域，建立喷射曲线模型，识别出水柱落点，确定最佳喷射角度和喷射流量。

具体地，所述步骤104中，确定着火区域后进行瞄准，根据得到的可信火灾区域，以可信火灾区域的底部为目标区域，由于设备喷射的水柱曲线与落点较为固定，可以建立喷射曲线模型，调整云台角度及高度，使曲线模型的落点落在可信火灾区域内，喷射之后通过机器人搭载的其他摄像头传回的喷射画面，调用算法进行图像处理，在图像中识别出喷射的水柱落点。

对喷射图像进行处理，识别出喷射的水柱落点的具体实现过程为：

对喷射图像进行预处理，包括去噪、平滑、变换等的操作；

提取预处理后图像中喷射水柱的特征值；

将提取到的喷射水柱的特征值输入神经网络图像识别模型，识别出喷射的水柱落点。

当不存在可信火灾区域时，根据得到的疑似火灾区域，以疑似火灾区域的底部为目标区域，建立喷射曲线模型，调整云台角度及高度，使曲线模型的落点落在可信火灾区域内，喷射之后通过机器人搭载的其他摄像头传回的画面，调用算法进行图像处理，在图像中识别出喷射的水柱位置，根据水柱的落点与疑似火灾区域的坐标差，确定最佳喷射角度。

在本实施例中，所述步骤101-103一直执行，实时分析现场图像内的着火状况，在可信火灾区域面积缩小、消失之后，对疑似火灾区域进行喷射，直到摄像头传回画面内全部为未发生火灾区域为止。

本实施例将喷射流量由大到小分为三档，根据可信火灾区域和疑似火灾区域的面积进行调整，通常为最大流量，当可信火灾区域占比小于疑似火灾区域时，为中等流量，当不存在可信火灾区域时使用小流量。

本实施例可以根据判断结果，调整喷射曲线，精确瞄准着火点，选择喷射流量和角度。

S105，分析着火设备状况，确定最佳灭火位置和距离。

具体地，所述着火设备状况分析方法为：

对着火区域图像进行预处理，包括去噪、平滑、变换等的操作；

提取预处理后着火区域图像中着火设备的特征值；

将提取到的着火设备的特征值输入神经网络图像识别模型，识别出着火设备。

确定最佳灭火位置，包括选择角度，即着火设备各个方向中，遮挡最少的一个角度。

确定距离：着火区域在摄像头画面内占据1/3左右，占据面积少则靠近，占据面积大则远离，机器人在调整距离时会优先考虑是否会撞到障碍物。

S106，分析现场火情，选取最佳喷射模式。

请参阅附图2，所述步骤106的具体实现过程为：

研判现场火情主要是看火焰的相对大小，对比着火区域与整个设备的面积比，来判断现场着火设备的火情大小。不同设备的现场火情判断规则不同，比如对于长宽高均约为1m的电力设备，如果着火区域占设备面设计的二分之一以上面积，即算是大火，三分之一左右为中火，三分之一以下为小火。而对于设备长宽高约为3m的电力设备，那么三分之一面积即算是大火。

根据站内不同的设备，建立不同的样本库，在机器人识别出该设备着火或接到报警信息(如“xx设备起火”)时，适合的灭火距离、火情判断依据等各种信息，是可以直接从该库内得到的，机器人在从样本库内得到的灭火距离、火情判断依据等各种信息的基础上，通过即时判断进行作业。

样本库内信息是事前通过训练得到的，机器人每次作业时得出的即时判断结果也会存入该样本库。

在本实施例中，所述喷射模式包括分为大、中、小三种喷射模式，在开始作业时会选择大火，随着火势的减小会选择中火和小火，如果火势很小或者主要是降温，才会一开始选择中火或小火。

根据研判出的现场设备的火情大小以及整个设备的面积，选择相应的喷射模式。

在其他实施方式中，当消防介质是干粉或者细水雾时，只需要保证消防介质的喷射覆盖范围能够包含着火点即可，不需要进行过多的精细调整。在此就不再赘述了。

实施例二

本实施例提供一种基于多目视觉的消防机器人喷射曲线调整装置，该装置包括：

在本实施例中，所述图像预处理模块的具体实现方法为：

对视觉图像信息进行预处理，所述对视觉图像信息进行预处理的步骤包括：

对视觉图像进行预处理；

将预处理后的图像进行灰度化处理和运动检测，确定视觉图像中是否有可疑火焰的区域；

对可疑火焰的区域进行滤波处理，提取滤波处理后图像的颜色直方图，提取图像特征值，进行匹配处理，确定视觉图像中可疑火灾的区域；

将可疑火灾区域进行分割并归一化处理。

对红外图像信息进行预处理，所述对红外图像信息进行预处理的步骤包括：

对红外图像进行图像灰度化预处理后进行分割，提取分割后图像特征值，将提取的图像特征值输入训练好的神经网络模型进行识别，得到红外图像的可疑火灾区域。

在本实施例中，所述着火区域确定模块的具体实现方法为：

将视觉图像处理后得到的可疑火灾区域与红外图像处理后得到的可疑火灾区域进行对比，将重叠的可疑火灾区域作为可信火灾区域，将未重叠的可疑火灾区域作为疑似火灾区域，将重叠的未可疑火灾区域判定为未发生火灾的区域。

在本实施例中，所述最佳喷射位置确定模块的具体实现方法为：

以着火区域的底部为目标区域，建立喷射曲线模型；

获取消防机器人的喷射图像，并对喷射图像进行处理，识别出喷射的水柱落点；

根据水柱落点与着火区域的坐标差，确定最佳喷射角度；根据着火区域中可信火灾区域和疑似火灾区域的面积占比，调整喷射流量。

在本实施例中，所述喷射模式调整模块的具体实现方法为：

对着火区域图像进行预处理；

提取预处理后着火区域图像的特征值；

将提取到的特征值输入神经网络图像识别模型，识别出着火设备；

选择着火设备各个方向中，遮挡最少的一个角度作为确定最佳灭火位置；

根据着火区域占据整个图像的比例，调整消防机器人与着火设备之间的距离。

建立包含着火设备的灭火距离和火情判断依据的样本库；

从样本库中获取着火设备的灭火距离和火情判断依据；

将着火区域面积与着火设备面积相比，根据着火设备的火情判断依据，判断该着火设备的火势大小；

根据着火设备的火势大小，选取最佳喷射模式。

实施例三

本实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如下步骤；

分别对得到的视觉图像信息和红外图像信息进行预处理；

分析着火区域的着火设备状况，确定最佳灭火位置和距离；

判断着火设备的火势大小，选取最佳喷射模式。

实施例四

本实施例提供一种处理装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如下步骤；

分别对得到的视觉图像信息和红外图像信息进行预处理；

分析着火区域的着火设备状况，确定最佳灭火位置和距离；

判断着火设备的火势大小，选取最佳喷射模式。

上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims

1.一种基于多目视觉的消防机器人喷射曲线调整方法，其特征是，包括以下步骤：

分别对得到的视觉图像信息和红外图像信息进行预处理；

分析着火区域的着火设备状况，确定最佳灭火位置和距离；

判断着火设备的火势大小，选取最佳喷射模式。

2.根据权利要求1所述的基于多目视觉的消防机器人喷射曲线调整方法，其特征是，所述对视觉图像信息进行预处理的步骤包括：

对视觉图像进行预处理；

将可疑火灾区域进行分割并归一化处理。

3.根据权利要求1所述的基于多目视觉的消防机器人喷射曲线调整方法，其特征是，对红外图像信息进行预处理的步骤包括：

4.根据权利要求1所述的基于多目视觉的消防机器人喷射曲线调整方法，其特征是，所述着火区域的确定方法为：

5.根据权利要求1所述的基于多目视觉的消防机器人喷射曲线调整方法，其特征是，所述最佳喷射角度和喷射流量的确定方法为：

以着火区域的底部为目标区域，建立喷射曲线模型；

6.根据权利要求1所述的基于多目视觉的消防机器人喷射曲线调整方法，其特征是，所述分析着火区域的着火设备状况，确定最佳灭火位置和距离的步骤包括：

对着火区域图像进行预处理；

提取预处理后着火区域图像的特征值；

7.根据权利要求1所述的基于多目视觉的消防机器人喷射曲线调整方法，其特征是，所述判断着火设备的火势大小，选取最佳喷射模式的步骤包括：

建立包含着火设备的灭火距离和火情判断依据的样本库；

从样本库中获取着火设备的灭火距离和火情判断依据；

根据着火设备的火势大小，选取最佳喷射模式。

8.一种基于多目视觉的消防机器人喷射曲线调整装置，其特征是，包括：

9.一种计算机可读存储介质，其上存储有计算机程序，其特征是，该程序被处理器执行时实现如权利要求1-7中任一项所述的基于多目视觉的消防机器人喷射曲线调整方法中的步骤。

10.一种处理装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征是，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的基于多目视觉的消防机器人喷射曲线调整方法中的步骤。