CN105261029B - 基于双目视觉进行火源定位和灭火的机器人 - Google Patents

Abstract

基于双目视觉进行火源定位和灭火的机器人，包括前端摄像机模块、图像采集模块、数据处理及控制模块、灭火装置模块、无线传输模块和机器人载体，前端摄像机模块由红外热成像仪和低照度可见光摄像机组成；图像采集模块对红外热成像图像进行分析，若发现符合火源特征的区域，则将该区域对应的红外和可见光图像传输给数据处理及控制模块；数据处理及控制模块的双目测距单元对该区域做三维坐标定位，并把定位出来的三维坐标发送给控制单元；灭火装置模块包括可喷射灭火物质的灭火枪。其目的在于提供一种代替人进行危险化学品仓库监管、智能分析火源位置、对火源进行精准灭火的基于双目视觉进行火源定位和灭火的机器人。

Description

基于双目视觉进行火源定位和灭火的机器人

技术领域

本发明涉及基于双目视觉进行火源定位和灭火的机器人。

背景技术

随着机器视觉以及红外热成像技术的飞速发展，人们对红外与可见光双目视觉的研究也越来越多，在安防监控、医疗、军事等领域，为了获得全方位的信息，人们尝试将红外与可见光图像做融合，已经取得了很多成果，也改变了很多行业的技术瓶颈，然而，在危险化学品仓库巡检、火灾救援等领域，该技术还没有得到很好的推广应用。

危险化学品仓库由于储存了很多易燃、易爆、有毒、有害等化学物质，其安全状况也越来越得到了人们的广泛关注，尤其是近期发生的天津港“8.12”特别重大爆炸事故，对人民的生命、财产带来了严重的损害，同时也对周围环境造成了严重的影响。

对危险化学品仓库的监管，最主要的就是对内部存储的化学品种类、数量、周围环境温度等做监控，大部分火灾事故的发生都是由温度过高引起的，红外热成像技术由于具有非接触性测温以及全屏测温的优点，非常适合危险化学品仓库的监控。

目前对危险化学品仓库的监管还是主要靠人工监管，常常存在监管不到位，发现火灾不及时等问题。

发明内容

本发明的目的在于提供一种代替人进行危险化学品仓库监管、智能分析火源位置、对火源进行精准灭火的基于双目视觉进行火源定位和灭火的机器人。

本发明基于双目视觉进行火源定位和灭火的机器人，其包括：

前端摄像机模块，所述前端摄像机模块由红外热成像仪和低照度可见光摄像机组成，所述前端摄像机模块与图像采集模块相连；

图像采集模块，所述图像采集模块采集红外热成像图像和可见光图像后，首先对红外热成像图像进行分析，判断是否存在温度异常且符合火源特征的区域，如果发现温度异常且符合火源特征的区域，则将该区域对应的红外热成像图像和可见光图像传输给数据处理及控制模块；所述判断是否存在温度异常且符合火源特征的区域方法为：首先通过温度阈值分割，筛选出红外热成像图像中的高温区域，然后通过图像匹配，在可见光图像中找到对应的高温区域，对可见光图像中的高温区域做RGB颜色分析，与火焰的颜色特征做比较，判断是否为真实火源区域；

所述数据处理及控制模块由双目测距单元和控制单元组成，所述双目测距单元对所述温度异常且符合火源特征的区域做三维坐标定位，并把定位出来的三维坐标发送给所述控制单元，所述控制单元发出控制指令，所述控制指令包括灭火枪角度调整、灭火枪喷射压力调整；

灭火装置模块，所述灭火装置模块包括可喷射灭火物质的灭火枪；

无线传输模块，所述无线传输模块将所述图像采集模块采集的红外热成像图像和可见光图像发送出去；还接收远程指令传输给所述数据处理及控制模块；

机器人载体；

所述机器人载体由履带机器人构成；

所述红外热成像仪和低照度可见光摄像机左右水平设置且间距4-8cm；

所述红外热成像仪、低照度可见光摄像机和灭火枪安装在履带机器人的顶部，且灭火枪位于所述红外热成像仪和低照度可见光摄像机之间。

本发明基于双目视觉进行火源定位和灭火的方法，包括以下步骤：

S1，启动前端摄像机模块，对周围环境做图像扫描，并将周围环境的红外热成像图像和可见光图像发送给图像采集模块；

S2，所述图像采集模块对红外热成像图像进行分析，判断是否存在温度异常且符合火源特征的区域，如果发现温度异常且符合火源特征的区域，则将该区域对应的红外热成像图像和可见光图像传输给数据处理及控制模块；判断是否存在温度异常且符合火源特征的区域方法为：首先通过温度阈值分割，筛选出红外热成像图像中的高温区域，然后通过图像匹配，在可见光图像中找到对应的高温区域，对可见光图像中的高温区域做RGB颜色分析，与火焰的颜色特征做比较，判断是否为真实火源区域；

S3，所述数据处理及控制模块中的双目测距单元对所述温度异常且符合火源特征的区域做三维坐标定位，并把定位出来的三维坐标发送给所述数据处理及控制模块中的控制单元，所述控制单元发出控制指令，所述控制指令包括灭火枪角度调整、灭火枪喷射压力调整；

S4，启动灭火装置模块，所述灭火装置模块包括可喷射灭火物质的灭火枪，根据所述控制单元发出的控制指令调整灭火枪角度和灭火枪喷射压力；

S5，所述图像采集模块重新采集可见光图像并对S2步骤中定位的所述温度异常且符合火源特征的区域，做RGB颜色分析，和火焰的颜色特征做比较，如果当前的RGB颜色分析结果与火焰的颜色特征不符合，说明此处火源已经被扑灭。

优选地，所述前端摄像机模块、图像采集模块、数据处理及控制模块和灭火装置模块均以履带机器人为载体，步骤S2中，如果没有发现温度异常且符合火源特征的区域，所述数据处理及控制模块发送移动位置指令给履带机器人；步骤S5中经过RGB颜色分析，说明此处火源已经被扑灭后，所述数据处理及控制模块发送移动位置指令给履带机器人。

本发明的前端摄像机模块，实时采集周围环境的红外热成像图像和可见光图像并发送给图像采集模块，图像采集模块对红外热成像图像进行分析，将温度异常且符合火源特征的区域对应的红外热成像图像和可见光图像传输给数据处理及控制模块，数据处理及控制模块中的双目测距单元对所述温度异常且符合火源特征的区域做三维坐标定位，并把定位出来的三维坐标发送给所述数据处理及控制模块中的控制单元，所述控制单元发出控制指令调整灭火枪角度和喷射压力，本发明通过引入计算机视觉技术，代替人进行危险化学品仓库监管，将红外热成像仪和低照度可见光摄像机变成了机器人的“眼睛”，既能发现火源位置，又能计算出火源的具体三维坐标参数，调整灭火枪的喷射角度和喷射压力，及时、精准消灭火源。

下面结合附图对本发明的基于双目视觉进行火源定位和灭火的机器人作进一步详细说明。

附图说明

图1为本发明基于双目视觉进行火源定位和灭火的机器人原理框图；

图2为本发明基于双目视觉进行火源定位和灭火的机器人一种实施方式的示意图。

具体实施方式

参见图1和图2，本发明基于双目视觉进行火源定位和灭火的机器人，包括：

前端摄像机模块2，前端摄像机模块2由红外热成像仪和低照度可见光摄像机组成，红外热成像仪和低照度可见光摄像机左右水平设置且间距4-8cm，前端摄像机模块2与图像采集模块相连；

图像采集模块，图像采集模块是由DSP+FPGA构成的图像采集处理板，图像采集模块采集红外热成像图像和可见光图像后，首先对红外热成像图像进行分析，判断是否存在温度异常且符合火源特征的区域，如果发现温度异常且符合火源特征的区域，则将该区域对应的红外热成像图像和可见光图像传输给数据处理及控制模块；判断是否存在温度异常且符合火源特征的区域方法为：首先通过温度阈值分割，筛选出红外热成像图像中的高温区域，然后通过图像匹配，在可见光图像中找到对应的高温区域，对可见光图像中的高温区域做RGB颜色分析，与火焰的颜色特征做比较，判断是否为真实火源区域；火焰的颜色与温度具有相关关系，从焰心到火焰外表面温度逐渐升高，其颜色依次为暗红色、红色、橙色、黄色、蓝白色和白色，因此可以通过对图像做RGB颜色分析判断是否为真实火焰区域。

数据处理及控制模块由双目测距单元和控制单元组成，双目测距单元对温度异常且符合火源特征的区域做三维坐标定位，并把定位出来的三维坐标发送给控制单元，控制单元发出控制指令，控制指令包括灭火枪角度调整、灭火枪喷射压力调整；其中双目测距单元是基于OpenCV函数实现的，OpenCV是一个开源的跨平台计算机视觉库，通过立体匹配获得视差参数，以此为基础，求出三维坐标。

灭火装置模块，如图2所示，包括放置在机器人上方的灭火枪1，该灭火枪1的角度可以调节，喷射压力也可以调节，调节是基于三维坐标参数进行的，可以针对火源做精准控制。

无线传输模块，无线传输模块将图像采集模块采集的红外热成像图像和可见光图像发送给远程监控终端，监控人员可以实时掌握现场的状况，同时，还可以通过远程监控端将远程指令传输给数据处理及控制模块，辅助对机器人灭火和移动情况进行控制。

机器人载体选用履带机器人，能灵活的进行各种移动，适用于复杂的地理环境。

本发明基于双目视觉进行火源定位和灭火的机器人，通过引入计算机视觉技术，将红外热成像仪和低照度可见光摄像机变成了机器人的“眼睛”，既能及时发现火源，又能计算出火源的具体三维坐标参数，精准的消灭火源。该机器人还可以用来日常巡检危险化学品仓库，根据预先设定好的路线，对仓库做日常巡检，一旦发现火源，会迅速反应，做出灭火处理。

本发明基于双目视觉进行火源定位和灭火的方法，包括以下步骤：

S1，启动前端摄像机模块2，对周围环境做图像扫描，并将周围环境的红外热成像图像和可见光图像发送给图像采集模块；

S2，图像采集模块对红外热成像图像进行分析，判断是否存在温度异常且符合火源特征的区域，如果没有发现温度异常且符合火源特征的区域，数据处理及控制模块发送移动位置指令给履带机器人；如果发现温度异常且符合火源特征的区域，则将该区域对应的红外热成像图像和可见光图像传输给数据处理及控制模块；判断是否存在温度异常且符合火源特征的区域方法为：首先通过温度阈值分割，筛选出红外热成像图像中的高温区域，然后通过图像匹配，在可见光图像中找到对应的高温区域，对可见光图像中的高温区域做RGB颜色分析，与火焰的颜色特征做比较，判断是否为真实火源区域；火焰的颜色与温度具有相关关系，从焰心到火焰外表面温度逐渐升高，其颜色依次为暗红色、红色、橙色、黄色、蓝白色和白色，因此可以通过对图像做RGB颜色分析判断是否为真实火焰区域。

S3，数据处理及控制模块中的双目测距单元对温度异常且符合火源特征的区域做三维坐标定位，并把定位出来的三维坐标发送给数据处理及控制模块中的控制单元，控制单元发出控制指令，控制指令包括灭火枪角度调整、灭火枪喷射压力调整；

S4，启动灭火装置模块，灭火装置模块包括可喷射灭火物质的灭火枪，根据控制单元发出的控制指令调整灭火枪角度和灭火枪喷射压力；

S5，图像采集模块重新采集可见光图像并对S2步骤中定位的温度异常且符合火源特征的区域，做RGB颜色分析，和火焰的颜色特征做比较，如果当前的RGB颜色分析结果与火焰的颜色特征不符合，说明此处火源已经被扑灭；判断火源已经被扑灭后，数据处理及控制模块发送移动位置指令给履带机器人。

尽管本发明的实施例已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (1)

1.基于双目视觉进行火源定位和灭火的机器人，其特征在于包括：

前端摄像机模块(2)，所述前端摄像机模块(2)由红外热成像仪和低照度可见光摄像机组成，所述前端摄像机模块(2)与图像采集模块相连；

图像采集模块，所述图像采集模块采集红外热成像图像和可见光图像后，首先对红外热成像图像进行分析，判断是否存在温度异常且符合火源特征的区域，如果发现温度异常且符合火源特征的区域，则将该区域对应的红外热成像图像和可见光图像传输给数据处理及控制模块；所述判断是否存在温度异常且符合火源特征的区域方法为：首先通过温度阈值分割，筛选出红外热成像图像中的高温区域，然后通过图像匹配，在可见光图像中找到对应的高温区域，对可见光图像中的高温区域做RGB颜色分析，与火焰的颜色特征做比较，判断是否为真实火源区域；

所述数据处理及控制模块由双目测距单元和控制单元组成，所述双目测距单元对所述温度异常且符合火源特征的区域做三维坐标定位，并把定位出来的三维坐标发送给所述控制单元，所述控制单元发出控制指令，所述控制指令包括灭火枪(1)角度调整、灭火枪(1)喷射压力调整；

灭火装置模块，所述灭火装置模块包括可喷射灭火物质的灭火枪(1)；

无线传输模块，所述无线传输模块将所述图像采集模块采集的红外热成像图像和可见光图像发送出去；还接收远程指令传输给所述数据处理及控制模块；

机器人载体；

所述机器人载体由履带机器人构成；

所述红外热成像仪和低照度可见光摄像机左右水平设置且间距4-8cm；

所述红外热成像仪、低照度可见光摄像机和灭火枪(1)安装在履带机器人的顶部，且灭火枪(1)位于所述红外热成像仪和低照度可见光摄像机之间。