CN110888442A - 消防机器人和基于云平台架构的消防机器人系统 - Google Patents

Abstract

本发明公开一种消防机器人，涉及消防设备的技术领域，其包括移动平台，所述移动平台上搭载有第二摄像装置、第一摄像装置、灭火装置以及本地控制器,第一摄影装置为全景摄影装置，第二摄影装置为单向摄影装置，所述本地控制器内写入有控制系统，控制系统对第二摄像装置和第一摄像装置拍摄的影像进行火源识别与定位，并根据定位后确定的位置信息控制移动平台和灭火装置的移动，还能够控制灭火装置进行灭火作业。本发明其能够全方位的对火源自动识别与定位，并自动控制灭火装置瞄准火源并进行灭火。

Description

消防机器人和基于云平台架构的消防机器人系统

技术领域

本发明涉及消防设备的领域，具体涉及一种消防机器人。

背景技术

火灾是指在时间或空间上失去控制的灾害性燃烧现象，在各种灾害中，火灾是最经常、最普遍地威胁公众安全和社会发展的主要灾害之一。火灾所造成的损失也逐年提高，特别是针对存在着高温、有毒、易爆的特殊环境，火灾的扑灭更显得特别困难。

人工灭火作业具有危险性，所以利用设备进入火场取代消防员则能够有效保障消防员的安全。但当火灾发生时，如何快速的对火源进行定位，对于快速扑灭火灾将会产生重大的影响。现有技术中的智能消防机器人，还不能够全方位的进行火源的识别，所以在感知火源的范围和时效性上仍较低。

发明内容

本发明的目的是提供一种消防机器人，其能够全方位的对火源自动识别与定位，并自动控制灭火装置瞄准火源并进行灭火，其包括移动平台、灭火装置，所述灭火装置设置于所述移动平台，所述移动平台搭载有第一摄像装置、第二摄像装置以及本地控制器；所述第一摄像装置为全景视角的摄像装置，配置为获取所述消防机器人四周全景影像，作为第一影像；所述第二摄像装置的影像采集方向与灭火装置的朝向一致，配置为获取所述灭火装置所指向的场景的影像，作为第二影像；所述本地控制器与所述第一摄像装置、所述第二摄像装置以及所述移动平台信号连接；所述本地控制器接收所述第一影像并进行火源识别，生成关于火源与所述消防机器人相对方位的第一方位信息，基于所述第一方位信息使灭火装置指向火源；所述本地控制器获取包含火源影像的第二影像并进行火源识别，生成关于火源与所述灭火装置的指向方向之间的相对位置信息的第二方位信息，基于所述第二方位信息调整所述灭火装置使灭火装置对准火源，以进行灭火作业。

在一些优选实例中，所述本地控制器内写入有控制系统，所述控制系统包括单目模块、多目模块、处理模块以及移动模块；所述多目模块，用于调取所述第一影像并将所述第一影像发送至所述处理模块；所述单目模块，用于调取所述第二影像并将所述第二影像发送至所述处理模块；所述处理模块包括粗定位单元以及精定位单元；粗定位单元截取所述第一影像的一帧以得到第一图片，利用背差法对所述第一图片中的火源进行识别，当识别出火源时，根据火源在所述第一图片中的像素位置推算出火源与所述消防机器人之间的相对方位，作为第一方位信息；精定位单元截取所述第二影像的一帧以得到第二图片，利用背差法对所述第二图片中的火源进行识别，根据火源在所述第二图片中的像素位置推算出火源与灭火装置的指向方向之间的相对方位，作为第二方位信息；将所述第一方位信息发送至所述移动模块；所述移动模块响应所述第一方位信息以使所述灭火装置指向火源；在所述移动模块响应所述第一方位信息后，所述处理模块对所述第二影像进行火源识别，生成关于火源与所述灭火装置的指向方向之间的相对位置的第二方位信息，将所述第二方位信息发送至所述移动模块；移动模块响应所述第二方位信息以控制所述灭火装置指向火源，当灭火装置对准火源后，所述移动模块控制所述灭火装置进行灭火作业。

在一些优选实例中，所述移动模块根据所述第一方位信息控制所述移动平台的移动和转向以及灭火装置的指向方向，进而使火源落入到所述第二摄像装置的拍摄范围内。

在一些优选实例中，所述移动模块根据所述第二方位信息控制所述灭火装置的指向方向，进而使灭火装置指向火源,当灭火装置动作执行之后，所述灭火模块控制所述灭火装置进行灭火作业。

在一些优选实例中，所述第一摄像装置为多目的全景摄像头。

在一些优选实例中，所述第二摄像装置安装在所述灭火装置上。

在一些优选实例中，所述粗定位单元对所述第一图片进行火源识别时，依据设定的火源优先级策略优先定位所识别的最大的火源。

在一些优选实例中，所述优先级策略为：在所述第一图片中识别出的多个火源后，所述粗定位单元只识别面积最大的火源而忽略其他火源。

在一些优选实例中，火源面积的确定是基于火源在所述第一图片中的像素点个数。

本发明的目的之二是提供一种基于云平台架构的消防机器人系统，其方便了操作人员远程对上述消防机器人的工作过程进行监视并控制，该系统包含上述消防机器人，还包括云服务器和控制终端；所述云服务器分别与所述控制终端和所述消防机器人通过通信链路连接；所述本地控制器将所述第一影像和所述第二影像上传至所述云服务器，所述云服务器对所述第一影像和所述第二影像进行存储；所述控制终端调用所述第一影像和所述第二影像进行显示；所述控制终端向所述云服务器发送控制指令，所述云服务器将所述控制指令转发至所述消防机器人，所述本地控制器响应所述控制指令并控制所述移动平台移动。

本发明的有益效果为：

1)通过第一摄像装置和第二摄像装置的配合，可以全范围进行火源的识别，可以在发现火源时进行火源定位，提高了火源检测范围和火源定位的效率。

2)通过本发明的火源优先级策略，可以按照依据火源大小对火源进行定位和灭火，提高了灭火效率。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本发明一实施例中消防机器人的结构示意图。

图2是本发明一实施例中控制系统的框架示意图。

图3是本发明一实施例中基于云平台架构的消防机器人系统的框架示意图。

附图标记说明:1、第一摄像装置；2、第二摄像装置；3、移动平台；31、车身；32、履带；33、驱动系统；34、电器柜；4、灭火装置；5、本地控制器；6、控制系统；61、多目模块；62、单目模块；63、处理模块；631、粗定位单元；632、精定位单元；64、移动模块。

具体实施方式

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

实施例1：

参照图1和图2，本发明公开了一种消防机器人，其包括移动平台3，移动平台3包括车身31、履带32以及安装在车身31上并控制履带32的驱动系统33。可以想到的是，本领域技术人员能够将履带32置换为车轮。消防机器人还包括安装在车身31上的灭火装置4、第二摄像装置2、第一摄像装置1以及本地控制器5。

第一摄像装置1为多目的全景摄像头，配置为获取所述消防机器人四周全景影像，作为第一影像。第二摄像装置2为单目的高清摄像头，配置为获取灭火装置4所指向的场景的影像，作为第二影像。灭火装置4为电控且万向的消防水炮。本地控制器5与灭火装置4、第二摄像装置2、第一摄像装置1以及驱动系统33建立信号连接。

车身31上固定有电器柜34，本地控制器5容装于电器柜34内。第一摄像装置1固定在电器柜34外侧的柜顶，第二摄像装置2固定在灭火装置4的炮体上。第二摄像装置2和第一摄像装置1的安装方式可采用粘接、绑扎或螺栓连接等方式、较佳的采用螺栓连接。

本地控制器5内写入有控制系统6。控制系统6包括单目模块62、多目模块61、处理模块63以及移动模块64。

多目模块61，用于调取第一影像并将第一影像发送至处理模块63。单目模块62，用于调取第二影像并将第二影像发送至处理模块63。

处理模块63包括粗定位单元631以及精定位单元632。粗定位单元631截取第一影像的一帧以得到第一图片，利用背差法对第一图片中的火源进行识别，当识别出火源时，根据火源在第一图片中的像素位置推算出火源与消防机器人之间的相对方位，作为第一方位信息。

精定位单元632截取第二影像的一帧以得到第二图片，利用背差法对第二图片中的火源进行识别，根据火源在第二图片中的像素位置推算出火源与灭火装置4的指向方向之间的相对方位，作为第二方位信息。

粗定位模块将第一方位信息发送至移动模块64，移动模块64根据第一方位信息控制移动平台3的移动和转向以及灭火装置4的指向方向，进而使火源落入到第二摄像装置2的拍摄范围内。在移动模块64响应第一方位信息后，处理模块63对第二影像进行火源识别，生成关于火源与灭火装置4的指向方向之间的相对位置的第二方位信息，并将第二方位信息发送至移动模块64。移动模块64根据第二方位信息控制灭火装置4的指向方向，进而使灭火装置4指向火源,当灭火装置4动作执行之后，灭火模块控制灭火装置4进行灭火作业。

粗定位单元631和精定位单元632所进行的火源识别采用同一过程，即背差法，其步骤包括将图片转化为灰度图，然后根据设定的阈值对图片做二值化处理，再根据火源与背景的灰度值区别确定图片中火源的像素位置，再根据火源的像素位置推算出火源与消防机器人和灭火装置4之间的相对方位。由于基于图像的火源识别方法属于现有的技术，所以在此不再进行赘述。

处理模块63对火源的识别与定位包括粗定位单元631进行的粗定位过程和精定位单元632进行的精定位过程，并且精定位过程发生在移动模块64接收第一方位信息并作出相应的调整之后。粗定位单元631和精定位单元632按照设定好的时间间隔进行作业，不断的发送不同的第一方位信息和第二方位信息，消防机器人不断的作出响应。

利用第一摄像装置1可以实现对消防机器人周围进行360°全景的火源识别，并且是实时进行。但是第一摄像装置1所拍摄的全景的第一影像是一种畸变的影像，所截取的第一图片同样是一种畸变的图片，尽管具有畸变校正算法进行修正，但仍然无法完全修复，所以在第一图片中识别的火源位置和实际位置有一定的偏差，并且由于第一摄像装置1的安装位置以及拍摄角度都会加大第一图片中火源位置与实际位置的偏差。为了提高火源定位的准确度，提高灭火效率，所以利用第二摄像装置2拍摄出无畸变的第二影像，并且将第二摄像头安装在灭火装置4的炮体上，使第二摄像装置2的拍摄方向与炮体的指向方向一致。

所用的第二摄像装置2的分辨率要相对于第一摄像装置1的分辨率更高。因为第一摄像装置1的作用主要体现在全景范围内的火源识别，所以在分辨率上可以降低，这样可以降低成本。

本发明所公开的消防机器人中还创新性的加入了火源优先级策略。当消防机器人周围存在多处火源时，可以优先对最大的火源进行灭火作业，提高灭火效率。

火源优先级策略是基于在第一图片中识别出的火源面积，当消防机器人周围存在多处火源时，按照火源面积，粗定位单元631只识别面积最大的火源而忽略其他火源。因为粗定位模块按照设定的时间间隔进行作业，所以消防机器人能够在周围环境改变后作出调整，优先对最大火源进行灭火。火源面积的确定是根据火源在被二值化处理的图像中的像素点个数，这样的做法在简化计算的同时，增加火源大小排序精度到像素级别。

实施例2：

结合图3，本发明还公开了一种基于云平台架构的消防机器人系统，该系统包括上述消防机器人，还包括云服务器和控制终端。消防机器人和控制终端均与云服务器建立连接。处理模块63在接收第一影像和第二影像的同时还将第一影像和第二影像发送至云服务器，云服务器对第一影像和第二影像进行存储。控制端可以通过访问云服务器调用其存储的第一影像和第二影像进行显示，同时控制端还可以向服务器发送控制指令，云服务器转发控制指令至消防机器人，移动模块64响应响应控制指令进行相应的移动。

在一定距离内，灭火装置4所喷出的水流可以忽略重力对轨迹的影响，操作人员在控制端根据目测第一影像和第二影像了解火源与消防机器人的距离，进而改变消防机器人的位置。精定位模块定位火源之后，移动模块64直接进行相应的灭火作业即可。移动模块64优先相应控制指令。

综上所述，消防机器人进行作业时，能够对火场内的火源进行实时且全方位的火源识别，在寻找火源时更加高效，依据其火源优先级策略提高了灭火效率，在识别火源后又能够精确的定位火源，并且省去了对火源距离的解算，当灭火装置4对准火源之后可以直接进行准确的灭火。虽然已经参考优选实施例对本发明进行了描述，但在不脱离本发明的范围的情况下，可以对其进行各种改进并且可以用等效物替换其中的部件，尤其是，只要不存在结构冲突，各个实施例中所提到的各项技术特征均可以任意方式组合起来。本发明并不局限于文中公开的特定实施例，而是包括落入权利要求的范围内的所有技术方案。

在本发明的描述中，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示方向或位置关系的术语是基于附图所示的方向或位置关系，这仅仅是为了便于描述，而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

此外，还需要说明的是，在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可根据具体情况理解上述术语在本发明中的具体含义。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、物品或者设备/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种消防机器人，包括移动平台(3)、灭火装置(4)，所述灭火装置(4)设置于所述移动平台(3)，其特征在于：所述移动平台(3)搭载有第一摄像装置(1)、第二摄像装置(2)以及本地控制器(5)；

所述第一摄像装置(1)为全景视角的摄像装置，配置为获取所述消防机器人四周全景影像，作为第一影像；

所述第二摄像装置(2)的影像采集方向与灭火装置(4)的朝向一致，配置为获取所述灭火装置(4)所指向的场景的影像，作为第二影像；

所述本地控制器(5)与所述第一摄像装置(1)、所述第二摄像装置(2)以及所述移动平台(3)信号连接；所述本地控制器(5)接收所述第一影像并进行火源识别，生成关于火源与所述消防机器人相对方位的第一方位信息，基于所述第一方位信息使灭火装置(4)指向火源；

所述本地控制器(5)获取包含火源影像的第二影像并进行火源识别，生成关于火源与所述灭火装置(4)的指向方向之间的相对位置信息的第二方位信息，基于所述第二方位信息调整所述灭火装置(4)使灭火装置(4)对准火源，以进行灭火作业。

2.根据权利要求1所述的消防机器人，其特征在于：所述本地控制器(5)内写入有控制系统(6)，所述控制系统(6)包括单目模块(62)、多目模块(61)、处理模块(63)以及移动模块(64)；

所述多目模块(61)，用于调取所述第一影像并将所述第一影像发送至所述处理模块(63)；

所述单目模块(62)，用于调取所述第二影像并将所述第二影像发送至所述处理模块(63)；

所述处理模块(63)包括粗定位单元(631)以及精定位单元(632)；

粗定位单元(631)截取所述第一影像的一帧以得到第一图片，利用背差法对所述第一图片中的火源进行识别，当识别出火源时，根据火源在所述第一图片中的像素位置推算出火源与所述消防机器人之间的相对方位，作为第一方位信息；所述粗定位单元(631)将所述第一方位信息发送至所述移动模块(64)；所述移动模块(64)响应所述第一方位信息以控制所述灭火装置(4)指向火源；

精定位单元(632)截取所述第二影像的一帧以得到第二图片，利用背差法对所述第二图片中的火源进行识别，根据火源在所述第二图片中的像素位置推算出火源与灭火装置(4)的指向方向之间的相对方位，作为第二方位信息；

在所述移动模块(64)响应所述第一方位信息后，所述处理模块(63)对所述第二影像进行火源识别，生成关于火源与所述灭火装置(4)的指向方向之间的相对位置的第二方位信息，将所述第二方位信息发送至所述移动模块(64)；移动模块(64)响应所述第二方位信息以控制所述灭火装置(4)指向火源，当灭火装置(4)对准火源后，所述移动模块(64)控制所述灭火装置(4)进行灭火作业。

3.根据权利要求2所述的消防机器人，其特征在于：所述移动模块(64)根据所述第一方位信息控制所述移动平台(3)的移动和转向以及灭火装置(4)的指向方向，进而使火源落入到所述第二摄像装置(2)的拍摄范围内。

4.根据权利要求3所述的消防机器人，其特征在于：所述移动模块(64)根据所述第二方位信息控制所述灭火装置(4)的指向方向，进而使灭火装置(4)指向火源,当灭火装置(4)动作执行之后，所述灭火模块控制所述灭火装置(4)进行灭火作业。

5.根据权利要求1所述的消防机器人，其特征在于：所述第一摄像装置(1)为多目的全景摄像头。

6.根据权利要求1中任意一项所述的消防机器人，其特征在于：所述第二摄像装置(2)安装在所述灭火装置(4)上。

7.根据权利要求2-6中任意一项所述的消防机器人，其特征在于：所述粗定位单元(631)对所述第一图片进行火源识别时，依据设定的火源优先级策略优先定位所识别的最大的火源。

8.根据权利要求7所述的消防机器人，其特征在于：所述优先级策略为：在所述第一图片中识别出的多个火源后，所述粗定位单元(631)只识别面积最大的火源而忽略其他火源。

9.根据权利要求8所述的消防机器人，其特征在于：火源面积的确定是基于火源在所述第一图片中的像素点个数。

10.一种基于云平台架构的消防机器人系统，其特征在于，该系统包含权利要求1-9中任意一项所述的消防机器人，还包括云服务器和控制终端；所述云服务器分别与所述控制终端和所述消防机器人通过通信链路连接；所述本地控制器(5)将所述第一影像和所述第二影像上传至所述云服务器，所述云服务器对所述第一影像和所述第二影像进行存储；所述控制终端调用所述第一影像和所述第二影像进行显示；所述控制终端向所述云服务器发送控制指令，所述云服务器将所述控制指令转发至所述消防机器人，所述本地控制器(5)响应所述控制指令并控制所述移动平台(3)移动。

Images