CN110898353A - 变电站消防机器人全景监控与联动控制方法及系统 - Google Patents

Abstract

本发明公开了一种变电站消防机器人全景监控与联动控制方法及系统，包括：无人机采集站内设备不同视角的图像信息，辅助变电站消防机器人建立站内三维模型；消防机器人作业过程中，无人机实时采集变电站内的图像信息，协助机器人确定其在站内的位置坐标；无人机采集着火设备图像信息，确定着火点位置；根据机器人位置和着火点位置，控制机器人进行规划路径和喷射角度调整；机器人作业过程中，无人机实时采集着火点位置图像，确定着火点当前状态信息并传送给机器人，机器人根据接收到的着火点当前状态信息调整灭火策略。本发明有益效果：无人机与机器人设备数据共享，联动作业，可以获得更明确的现场信息，有助于做出更正确的判断，提升作业效果。

Description

变电站消防机器人全景监控与联动控制方法及系统

技术领域

本发明涉及变电站消防机器人技术领域，尤其涉及一种变电站消防机器人全景监控与联动控制方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

变电站内存在大量的高电压、大电流设备，容易因设备故障、线路缺陷等问题引发火灾。目前，变电站的消防设施主要有火灾自动报警系统、灭火系统和防火封堵等。但是，这主要是在重要的功能分区，才安装有火灾探测器并具有通信接口，可将火灾报警信号反馈给工作人员。少数极重要的功能区虽然配置有自动灭火装置及视频监控系统，但是往往无法实现对于早期火灾隐患的监测和预警。

现有技术中通过变电站消防机器人对变电站的火灾事故进行监测，一旦发生火情，变电站消防机器人能够第一时间对火情进行控制，提高了变电站早期火灾隐患的监测和预警水平。

现有的应用于消防用途的机器人多是依靠人在远处通过目测的方式遥控，并不支持远程作业，也没有任何辅助设备；消防机器人在火灾现场进行作业时，经常面临浓烟滚滚的低可视度恶劣环境，通过机器人自带的摄像头以及站内的监控摄像头辅助作业，固然能减少恶劣环境的影响，但仍会出现短时间故障设备完全被遮蔽的情况，设备被遮蔽时，机器人上搭载的摄像头传回的图像中全是烟雾等遮蔽物，没有有效信息可供分析，机器人会无法辨认出设备、着火点等；此时，一切基于图像处理得到的信息都无法准确得到。

发明内容

为了解决上述问题，本发明提出了一种变电站消防机器人全景监控与联动控制方法及系统，能够有效的利用能采集到的所有信息，增大作业视野，获得更多信息以供分析，提升作业效果。

在一些实施方式中，采用如下技术方案：

一种变电站消防机器人全景监控与联动控制方法，包括：

无人机采集站内设备不同视角的图像信息，辅助变电站消防机器人建立站内三维模型；

消防机器人作业过程中，无人机实时采集变电站内的图像信息，协助机器人确定其在站内的位置坐标；

无人机采集着火设备图像信息，确定着火点位置；

根据机器人位置和着火点位置，控制机器人进行规划路径和喷射角度调整；

机器人作业过程中，无人机实时采集着火点位置图像，确定着火点当前状态信息并传送给机器人，机器人根据接收到的着火点当前状态信息调整灭火策略。

本发明通过无人机采集变电站内的图像，协助机器人实现自身定位、着火点位置的确定以及火情分析，由于无人机能够从多角度获取变电站内图像，能够解决烟雾或消防介质喷射时产生的遮档问题，同时能够提高定位的精确度。

在一些实施方式中，采用如下技术方案：

一种变电站消防机器人全景监控与联动控制系统，包括：变电站消防机器人以及与所述机器人进行通信的无人机；

无人机采集站内设备不同视角的图像信息，辅助变电站消防机器人建立站内三维模型；

消防机器人作业过程中，无人机实时采集变电站内的图像信息，协助机器人确定其在站内的位置坐标；

无人机采集着火设备图像信息，确定着火点位置；

根据机器人位置和着火点位置，控制机器人进行规划路径和喷射角度调整；

机器人作业过程中，无人机实时采集着火点位置图像，确定着火点当前状态信息并传送给机器人，机器人根据接收到的着火点当前状态信息调整灭火策略。

在一些实施方式中，采用如下技术方案：

一种变电站消防机器人，采用上述的变电站消防机器人全景监控与联动控制方法。

与现有技术相比，本发明的有益效果是：

(1)创新性提出了一种变电站消防机器人全景监控与联动控制技术，利用变电站消防机器人和无人机的空地配合,将站内固定视角的视频信息与无人机采集的空中视角视频信息相结合，建立站内模型，实现站内的全景监控，同时无人机和消防机器人联动，实现了快速响应，能够实现复杂环境下不同设备以及着火点的精准定位，可以有效排除环境因素的干扰；无人机与机器人设备数据共享，联动作业，可以获得更明确的现场信息，有助于做出更正确的判断，提升作业效果。

(2)创新性的将倾斜建模技术和激光建模技术相融合，设计了变电站三维配准融合模型，利用无人机采集站内设备不同视角的图像信息，辅助变电站消防机器人建立站内三维模型，利用站内设备结构化的特点为约束，使用多视角重建得到一个变电站整体的初级模型，融合无人机从不同角度采集变电站的影像，与建立的初级模型进行密集匹配，生成精确的三维视觉模型，以辅助进行最优路径的确认和导航，避免由于受到天气或者烟雾影响，导致机器人自身定位失败的问题，实现快速灭火，将火势消灭在萌芽状态。

(3)通过无人机拍摄着火设备图像信息，能够在烟雾环境下准确确定着火点位置，机器人根据着火点位置和自身位置，能够进行更加有效的路径规划以及喷射角度的及时调整，避免烟雾环境对于机器人视觉系统的影响而导致的定位不准确的问题。

(4)无人机通过获取着火点位置图像，能够实时获得着火点位置以及火情信息，有利于机器人根据实时状态信息及时调整灭火策略，优化机器人作业模式。

附图说明

图1为本发明实施例一中变电站消防机器人全景监控与联动控制方法流程图。

具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例一

在一个或多个实施例中，公开了一种变电站消防机器人全景监控与联动控制方法，该方法依赖于变电站消防机器人以及与机器人进行通信的无人机；

具体包括以下过程：

(1)无人机采集站内设备不同视角的图像信息，辅助变电站消防机器人建立站内三维模型；

变电站消防机器人利用搭载的多目视觉设备，以站内设备结构化的特点为约束，使用多视角重建得到一个变电站整体的初级模型；具体过程为：

利用多摄像头摄取两幅图像的视差，构建三维场景，在检测到目标后，通过计算图像对应点间位置偏差，获取目标的三维信息。

通过分析摄像头传回的画面，就可以分析画面中的设备与设备之间的距离、拍摄点到设备的距离等各类距离信息。站内的设备通常规格是固定的，长度信息高度信息都是已知的，那么在测距的时候就可以用来作为参考。

通过立体视觉技术建立模型的缺点就是精度不够高，所以建立的是初级模型。

通过无人机搭载多台传感器，采用倾斜摄影技术，同时从垂直、前视、后视、左视、右视五个不同角度采集影像，获取到丰富的建筑物顶面及侧视的高分辨率纹理。通过该种方法可以真实地反映地物情况，高精度获取物方纹理信息，通过定位、融合、建模等技术，生成真实的三维模型。

结合多目视觉设备建立的初级模型，将真实的三维模型和初级模型进行密集匹配，生成精确的三维视觉模型。

多视影像密集匹配能得到高精度高分辨率的数字表面模型，匹配方法为:

利用算子检测角点，然后通过特征描述符对检测角点进行特征描述，根据相应的匹配准则对影像特征点进行匹配。具体过程为：

使用改进过PMVS算法(基于面片的三维多视角立体视觉算法),包括如下步骤：

初始特征匹配、面元扩散、面元过滤。

初始特征匹配的目的是生成一系列稀疏的面元，作为种子点进行扩散，扩散与过滤的过程重复多次，将稀疏的种子点扩散生成密集点云并删除错误点云。

初始特征匹配：首先是特征检测，常用的特征提取算子有Harris角点提取算子和DoG算子，特征检测完之后是影像匹配。

在进行影像匹配时，在原始算法的基础上，加入部分约束条件以得到更精确的匹配点，作为种子点进行后续操作，根据之前得到的初级模型，筛选出候选空间点中置信度较高的点作为种子点。

(2)消防机器人作业过程中，无人机实时采集变电站内的图像信息，协助机器人确定其在站内的位置坐标；

发生火情时，机器人受到烟雾等恶劣环境的影响，通过视觉定位技术可能会导致定位不准确，很容易导致后续的供水点位置确定、路径规划、喷射角度等过程出现差错，不利于消防机器人的自主作业。

本实施例中，在机器人在站内运动赶往着火现场时，无人机在空中拍摄图像，获取着火设备的位置，周边设备的分布情况以及机器人与其他设备的相对位置信息；将图像数据传回后台，用于检测现场环境。

同时，通过算法处理传回的图像，建立简单的模型，与预先建立好的精确模型比对，协助机器人确定自身在站内的位置坐标。

当机器人在站内运作时，无人机会在空中传回图像，那么根据无人机传回的图像进行建模，此时机器人在该模型中是作为站内一个移动设备而存在的，会拥有该模型下的一个坐标。同时，机器人安装的传感器，读取预先建立好的精确模型，也会测得自身在该精细模型下的坐标。

精细模型与无人机建立的模型，都是同一个变电站内的模型，因此可以使用同一坐标系进行衡量，在同一坐标系下的两个坐标值进行比对，可以协助机器人确定自身在站内的位置坐标。

上述方法使得机器人能够在视觉定位技术不准确的情况下，也能够准确的进行坐标定位；克服了烟雾或者消防介质喷射产生的遮挡对于机器人自身定位的影响。

(3)无人机采集着火设备图像信息，确定着火点位置；根据机器人位置和着火点位置，控制机器人进行规划路径；

三维模型建好后，机器人可通行的道路作为边，站内的设备作为点，就得到一个二维的图，在图论中有边有点的图规划最短路径，可以采用Dijkstra算法，已知起始结点，求最短路径；也可以采用Floyd-Warshall算法，求图中所有的最短路径。

(4)机器人根据自身位置和着火点位置，控制机器人进行喷射角度调整；

通过无人机采集的图像信息，确定了机器人位置以及着火点与机器人的相对位置，使得机器人能够准确判断出着火点距离自己的方位和距离，使得消防介质的喷射范围更加准确，提高灭火能力。

具体的水柱喷射角度调整策略为：

确定着火区域后进行瞄准，根据得到的可信火灾区域，以可信火灾区域的底部为目标区域，由于设备喷射的水柱曲线与落点较为固定，可以建立喷射曲线模型；

调整云台角度及高度，使曲线模型的落点落在可信火灾区域内；

喷射之后通过无人机采集喷射画面，在图像中识别出喷射的水柱落点。

对喷射图像进行处理，识别出喷射的水柱落点的具体实现过程为：

对喷射图像进行预处理，包括去噪、平滑、变换等的操作；

提取预处理后图像中喷射水柱的特征值；

将提取到的喷射水柱的特征值输入神经网络图像识别模型，识别出喷射的水柱落点。

当不存在可信火灾区域时，根据得到的疑似火灾区域，以疑似火灾区域的底部为目标区域，建立喷射曲线模型，调整云台角度及高度，使曲线模型的落点落在疑似火灾区域内，喷射之后通过无人机采集喷射画面，在图像中识别出喷射的水柱落点。根据水柱的落点与疑似火灾区域的坐标差，确定最佳喷射角度。

具体的干粉或细水雾喷射时，只需要满足其喷射形成的覆盖范围能够包含着火点即可。

无人机实时采集并分析现场图像内的着火状况，在可信火灾区域面积缩小、消失之后，机器人对疑似火灾区域进行喷射，直到无人机采集到的画面内全部为未发生火灾区域为止。

本实施例将喷射流量由大到小分为三档，根据可信火灾区域和疑似火灾区域的面积进行调整，通常为最大流量，当可信火灾区域占比小于疑似火灾区域时，为中等流量，当不存在可信火灾区域时使用小流量。

本实施例可以根据判断结果，调整喷射曲线，精确瞄准着火点，选择喷射流量和角度。

本实施例中，将无人机视觉图像处理后得到的可疑火灾区域与机器人红外图像处理后得到的可疑火灾区域进行对比，将重叠的可疑火灾区域作为可信火灾区域，将未重叠的可疑火灾区域作为疑似火灾区域，将重叠的未可疑火灾区域判定为未发生火灾的区域。

(5)机器人作业过程中，无人机实时采集着火点位置图像，确定着火点当前状态信息并传送给机器人，机器人根据接收到的着火点当前状态信息调整灭火策略。

当机器人选好地点开始作业之后，现场的烟雾、以及喷出的消防介质会进一步复杂现场环境，可能会导致机器人不能有效辨析火情；因此，无法准确获取火势的变化以及着火点的转移等信息；

通过在空中的无人机搭载的图像采集设备，可以有效避开干扰，实时采集着火设备的图像信息，从而及时判断着火点的火情以及着火点位置是否发生转移。将着火点的火情状态信息以及着火点位置转移信息及时传送给机器人，如果机器人作业之后火情变小/着火点发生转移，机器人便可及时调整喷射策略，包括：喷水量、喷射方位以及喷射距离等，优化了机器人的作业过程。

同时，在机器人进行灭火作业时，拍摄着火的设备，继续分析着火点位置与机器人位置，实时协助机器人找到最佳的作业角度和位置。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种变电站消防机器人全景监控与联动控制方法，其特征在于，包括：

无人机采集站内设备不同视角的图像信息，辅助变电站消防机器人建立站内三维模型；

消防机器人作业过程中，无人机实时采集变电站内的图像信息，协助机器人确定其在站内的位置坐标；

无人机采集着火设备图像信息，确定着火点位置；

根据机器人位置和着火点位置，控制机器人进行规划路径和喷射角度调整；

机器人作业过程中，无人机实时采集着火点位置图像，确定着火点当前状态信息并传送给机器人，机器人根据接收到的着火点当前状态信息调整灭火策略。

2.如权利要求1所述的一种变电站消防机器人全景监控与联动控制方法，其特征在于，无人机采集站内设备不同视角的图像信息，辅助变电站消防机器人建立站内三维模型，具体为：

利用消防机器人搭载的多目视觉设备，利用站内设备结构化的特点为约束，使用多视角重建得到一个变电站整体的初级模型；

无人机分别从不同角度采集变电站的影像，与建立的初级模型进行密集匹配，生成精确的三维视觉模型。

3.如权利要求2所述的一种变电站消防机器人全景监控与联动控制方法，其特征在于，与建立的初级模型进行密集匹配，具体为：

利用算子检测角点，然后通过特征描述符对检测角点进行特征描述，根据相应的匹配准则对影像特征点进行匹配。

4.如权利要求1所述的一种变电站消防机器人全景监控与联动控制方法，其特征在于，无人机实时采集变电站内的图像信息，协助机器人确定其在站内的位置坐标，具体为：

通过算法处理传回的图像，建立变电站模型，与预先建立好的精确模型比对，协助机器人确定自身在站内的位置坐标。

5.如权利要求1所述的一种变电站消防机器人全景监控与联动控制方法，其特征在于，无人机根据着火设备在站内三维模型中的位置确定着火点位置。

6.如权利要求1所述的一种变电站消防机器人全景监控与联动控制方法，其特征在于，根据机器人位置和着火点位置，控制机器人进行规划路径，具体为：

机器人可通行的道路作为边，站内的设备作为点，得到一个二维图；在图论中根据有边有点的图规划最短路径，通过已知起始点求最短路径，或者求图中所有的最短路径。

7.如权利要求1所述的一种变电站消防机器人全景监控与联动控制方法，其特征在于，根据机器人位置和着火点位置，控制机器人进行水柱喷射角度调整，具体为：

以着火区域的底部为目标区域，建立喷射曲线模型；

获取消防机器人的喷射图像，并对喷射图像进行处理，识别出喷射的水柱落点；

根据水柱落点与着火区域的坐标差，确定最佳喷射角度；根据着火区域中可信火灾区域和疑似火灾区域的面积占比，调整喷射流量。

8.如权利要求1所述的一种变电站消防机器人全景监控与联动控制方法，其特征在于，机器人根据接收到的着火点当前状态信息调整灭火策略，具体为：

机器人作业过程中，无人机实时采集着火点位置图像，确定着火点当前火情状态信息和着火点位置转移信息；

机器人根据接收到的着火点当前火情状态信息，判断是否需要调整喷水量；

机器人根据接收到的着火点位置转移信息，判断是否需要调整喷射角度和喷射距离。

9.一种变电站消防机器人全景监控与联动控制系统，其特征在于，包括：变电站消防机器人以及与所述机器人进行通信的无人机；

无人机采集站内设备不同视角的图像信息，辅助变电站消防机器人建立站内三维模型；

消防机器人作业过程中，无人机实时采集变电站内的图像信息，协助机器人确定其在站内的位置坐标；

无人机采集着火设备图像信息，确定着火点位置；

根据机器人位置和着火点位置，控制机器人进行规划路径和喷射角度调整；

机器人作业过程中，无人机实时采集着火点位置图像，确定着火点当前状态信息并传送给机器人，机器人根据接收到的着火点当前状态信息调整灭火策略。

10.一种变电站消防机器人，其特征在于，采用权利要求1-8任一项所述的变电站消防机器人全景监控与联动控制方法。

Images