CN115984674A - 图传灭火控制系统、消防无人机及其灭火方法 - Google Patents

Abstract

本申请实施例公开一种图传灭火控制系统、消防无人机及其灭火方法，所述图传灭火控制系统包括配合设置于消防无人机及地面站上的空中控制模块、现场图像获取模块、地面控制模块、现场图像显示模块、目标火源选定模块及视觉识别模块。本申请的图传灭火控制系统可实现对目标火源的精确指定与瞄准，进而使所述消防无人机可高效精准的执行灭火作业。

Description

图传灭火控制系统、消防无人机及其灭火方法

技术领域

本申请实施例涉及消防无人机技术领域，尤其涉及一种图传灭火控制系统、消防无人机及其灭火方法。

背景技术

随着经济社会的不断发展，高层建筑越来越多，200m以上的高层建筑在一二线城市数量猛增，伴随着这些高楼的建起，高层建筑的消防灭火问题会越来越突出。目前存在的消防车大都只能达到120米以内的高度，再高的话消防车无法抵达对应的高度，若发生火灾，高层灭火就成了一个棘手的问题。

近年来，随着无人驾驶技术的发展，已开始尝试将无人机应用到消防领域。现有消防无人机多采用传统的无人机结构，再在传统无人机上挂载灭火装置。在进行灭火作业时需要瞄准火源，现有消防无人机的灭火剂喷射方向通常由地面工作人员根据目视结果及工作经验进行判断与控制，这对工作人员的作业要求非常高，需要一种更高精度且更智能化的控制系统。

发明内容

本申请实施例提供一种图传灭火控制系统、消防无人机及其灭火方法，使消防无人机可快速精准对准目标火源执行灭火任务。

第一方面，本申请实施例公开了一种图传灭火控制系统，应用于消防无人机，所述消防无人机与地面站无线通信，所述消防无人机挂载有灭火装置，所述图传灭火控制系统包括：

空中控制模块，设置于所述消防无人机上；所述灭火装置与所述空中控制模块通信连接；

现场图像获取模块，设置于所述消防无人机上，与所述空中控制模块通信连接；

地面控制模块，设置于所述地面站上；所述地面控制模块与所述空中控制模块无线通信连接；

现场图像显示模块，设置于所述地面站上，与所述地面控制模块通信连接；

目标火源选定模块，设置于所述地面站上，与所述地面控制模块通信连接；以及

视觉识别模块，设置于所述消防无人机上，与所述空中控制模块通信连接。

在一些可能的实施方式中，所述目标火源选定模块包括：

选定操作子模块，用于向所述地面控制模块输入操作指令；以及

选定显示子模块，用于于所述现场图像显示模块中示出经选定操作子模块选定的结果。

在一些可能的实施方式中，所述现场图像显示模块为触控屏，所述触控屏同时构成所述选定操作子模块。

在一些可能的实施方式中，所述选定操作子模块为可向地面控制模块输入操作指令的操作件。

在一些可能的实施方式中，所述操作件为鼠标、操纵杆及/或按键。

在一些可能的实施方式中，所述选定显示子模块于所述现场图像显示模块中的表现形式为选定标记。

在一些可能的实施方式中，所述视觉识别模块预设有视觉跟踪算法，所述视觉识别模块通过所述视觉跟踪算法提取火灾现场视频图像当前帧中目标火源的数据，并计算出下一帧目标火源的数据。

在一些可能的实施方式中，所述图传灭火控制系统还包括设置于消防无人机上的空中瞄准模块。

在一些可能的实施方式中，所述空中瞄准模块包括与空中控制模块通信连接的激光雷达及/或毫米波雷达。

在一些可能的实施方式中，所述空中瞄准模块包括与空中控制模块通信连接的灭火装置调整组件。

在一些可能的实施方式中，所述图传灭火控制系统还包括设置于地面站上辅助瞄准模块；所述空中瞄准模块在瞄准目标火源的同时将瞄准目标状况传输给地面控制模块并以瞄准标识的方式于现场图像显示模块展示的火灾现场视频图像中显示，所述辅助瞄准模块通过控制现场图像显示模块上的瞄准标识移动以调整空中瞄准模块的瞄准目标。

在一些可能的实施方式中，所述现场图像获取模块包括与空中控制模块通信连接的云台相机，以及与所述空中控制模块通信连接的云台组件，所述云台相机固定于所述云台组件上。

在一些可能的实施方式中，所述空中控制模块包括相互独立的飞行控制器及挂载控制器，所述灭火装置与所述挂载控制器通信连接。

在一些可能的实施方式中，所述图传灭火控制系统还包括通信模块，所述飞行控制器及挂载控制器通过所述通信模块与地面站无线通信连接。

在一些可能的实施方式中，所述通信模块包括相互独立的飞行通信子模块及挂载通信子模块；所述飞行控制器通过飞行通信子模块与地面站无线通信连接；所述灭火装置通过挂载通信子模块与地面站无线通信连接。

在一些可能的实施方式中，所述空中控制模块包括飞行控制器，所述灭火装置与所述飞行控制器通信连接。

第二方面，本申请实施例公开了一种消防无人机，所述消防无人机采用如上任一项所述的图传灭火控制系统。

第三方面，本申请实施例公开了一种灭火方法，应用于消防无人机，所述消防无人机为上述的消防无人机，所述灭火方法包括如下步骤：

获取实时火灾现场视频图像；

于火灾现场视频图像中选定目标火源；

获取目标火源所处位置信息；

控制消防无人机到达灭火作业工位；

控制灭火单元瞄准目标火源；

控制灭火单元朝向目标火源执行灭火作业任务。

在一些可能的实施方式中，，所述获取目标火源所处位置信息的步骤包括：提取火灾现场视频图像当前帧中目标火源的数据，并计算出下一帧目标火源的数据。

本申请的有益效果是：

本申请实施例通配合设置的空中控制模块、现场图像获取模块、地面控制模块、现场图像显示模块、目标火源选定模块及视觉识别模块等组件，通过现场图像获取模块实时获取火灾现场视频，通过现场图像显示模块及目标火源选定模块实现对目标火源的快速有效指定，通过视觉识别模块实现对目标火源的自动精确识别与瞄准，使所述消防无人机可高效迅速精准的执行灭火作业。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请图传灭火控制系统的第一种实施方式的框架图。

图2是本申请图传灭火控制系统的第二种实施方式的框架图。

100-灭火装置；

11-空中控制模块；111-飞行控制器；112-挂载控制器；12-现场图像获取模块；121-云台相机；122-云台组件；13-地面控制模块；131-地面控制器；14-现场图像显示模块；141-显示屏；15-目标火源选定模块；16-视觉识别模块；17-通信模块；171-飞行通信子模块；172-挂载通信子模块；181-激光雷达；182-毫米波雷达；183-灭火装置调整组件；

200-服务器。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，以下将参照本申请实施例中的附图，通过实施方式详细地描述本申请的技术方案。显然，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是：在附图中，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件；在本申请的描述中，术语“中心”、“纵向”、“横向”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请保护范围的限制；在本申请的描述中，“第一”、“第二”等仅用于彼此的区分，而非表示它们的重要程度及顺序等。

在本申请的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，或活动连接，也可以是可拆卸地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通等。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。

请参考图1-图2，本申请实施例提供一种图传灭火控制系统，所述图传灭火控制系统应用于消防无人机，所述消防无人机与地面站无线通信，所述消防无人机上挂载有灭火装置100。所述图传灭火控制系统包括空中控制模块11、现场图像获取模块12、地面控制模块13、现场图像显示模块14、目标火源选定模块15及视觉识别模块16。

所述空中控制模块11设置于所述消防无人机上，用于实现所述消防无人机的飞行控制及数据传输。所述空中控制模块11与所述现场图像获取模块12及灭火装置100通信连接，所述空中控制模块11实时获取所述现场图像获取模块12拍摄的火灾现场视频图像，并根据所述火灾现场视频图像确定目标火源进而控制所述灭火装置100执行灭火作业任务。

在一些可能的实施方式中，所述空中控制模块11仅设置有飞行控制器111，所述灭火装置100与所述飞行控制器111通信连接，并受所述飞行控制器111控制。

在一些可能的实施方式中，所述空中控制模块11包括相互独立的飞行控制器111及挂载控制器112，所述灭火装置100与所述挂载控制器112通信连接，所述挂载控制器112主要负责各挂载的控制及数据传输，所述飞行控制器111则专职负责飞行安全。

在一些可能的实施方式中，所述图传灭火控制系统还包括通信模块17，所述飞行控制器111及挂载控制器112通过所述通信模块17与地面站无线通信连接。

在一些可能的实施方式中，所述通信模块17包括相互独立的飞行通信子模块171及挂载通信子模块172；所述飞行控制器111通过飞行通信子模块171与地面站无线通信连接；所述挂载控制器112通过挂载通信子模块172与地面站无线通信连接。

所述现场图像获取模块12设置于所述消防无人机上，并与所述空中控制模块11通信连接。所述现场图像获取模块12用于获取火灾现场视频图像。在一些可能的实施方式中，所述现场图像获取模块12包括与空中控制模块11通信连接的云台相机121，以及与所述空中控制模块11通信连接的云台组件122，所述云台相机121固定于所述云台组件122上。所述空中控制模块11可控制所述云台组件122转动，进而带动所述云台相机121转动，使所述云台相机121正对指定区域。

所述地面控制模块13设置于所述地面站上，所述地面控制模块13与所述空中控制模块11无线通信连接，用于与所述空中控制模块11进行数据交互并向所述空中控制模块11下发控制指令。所述地面控制模块13可实时接收所述空中控制模块11获取的火灾现场视频图像，用于在选定目标火源的同时向所述空中控制模块11传输目标火源信息，并进而向所述空中控制模块11下发控制灭火装置100瞄准目标火源的指令，再进而向所述空中控制模块11下发控制灭火装置100朝向目标火源执行灭火作业的指令。在一些可能的实施方式中，所述地面控制模块13包括设置于地面站上的地面控制器131。

所述现场图像显示模块14设置于所述地面站上，所述现场图像显示模块14与所述地面控制模块13通信连接，用于实时显示所述现场图像获取模块12拍摄的火灾现场视频图像，并向操作人员展示以便于操作人员进行相关操作。

所述目标火源选定模块15设置于所述地面站上，所述目标火源选定模块15与所述地面控制模块13及现场图像显示模块14通信连接，用于根据所述现场图像显示模块14显示的火灾现场视频图像选定待执行灭火作业任务的目标火源。

在本申请的一些实施例中，所述目标火源选定模块15包括选定操作子模块及选定显示子模块。

所述选定操作子模块用于向地面控制模块13输入操作指令，以完成对目标火源的选择。在一些可能的实施方式中，所述现场图像显示模块14为触控显示屏，所述触控显示屏同时构成所述选定操作子模块，如：通过手指或触控笔于触控显示屏上框选或点击即可于显示的火灾现场视频图像中选定目标火源。在另一些可能的实施方式中，所述现场图像显示模块14也可为普通的显示屏141，所述选定操作子模块还可以为可向地面控制模块13输入操作指令的操作件，所述操作件为鼠标、操纵杆及/或按键。如：当所述地面站通过操纵杆操控时，所述操纵杆被配置为通过操作操纵杆即可于现场图像显示模块14显示的火灾现场视频图像中选定目标火源，所述操纵杆即构成所述选定操作子模块。

所述选定显示子模块用于于所述现场图像显示模块14中示出选定操作子模块选定的目标火源结果，其表现形式为选定标记。在其中的一些实施例中，所述选定显示子模块表现为于现场图像显示模块14显示的火灾现场视频图像中以方形框、圆形框、三角形框等的形式框选出目标火源；在另一些实施例中，所述选定显示子模块也可表现为于现场图像显示模块14显示的火灾现场视频图像中以特定颜色点的方式点选出目标火源。

所述视觉识别模块16设置于所述消防无人机上，所述视觉识别模块16与所述空中控制模块11通信连接。在其中的一些实施例中，所述视觉识别模块16为一嵌入有算法的与所述空中控制模块11通信连接的电路板。作为一种较佳的实施例，所述视觉识别模块16嵌入有视觉跟踪算法，所述视觉识别模块16通过所述视觉跟踪算法提取当前帧中目标火源的数据，并计算出下一帧目标火源的数据，以实时确定目标火源区域，进而实现目标火源的跟踪。

在其中的一些实施例中，所述图传灭火控制系统还包括设置于消防无人机上的空中瞄准模块。所述空中瞄准模块与空中控制模块11相连，所述空中控制模块11在接收到选定的目标火源信息后实现灭火装置100瞄准目标火源。

在其中的一些实施例中，所述空中瞄准模块包括与空中控制模块11通信连接的激光雷达181及/或毫米波雷达182。

具体地，所述激光雷达181用于实时获取并向空中控制模块11反馈目标火源区域的场景数据，以形成目标火源灭火检测平面，为所述消防无人机自动驾驶灭火提供靶点。所述激光雷达181同时可根据目标火源区域的场景数据，生成目标偏航角度及距离数据。所述空中控制模块11可根据激光雷达181传输的目标所在位置航向角数据，控制消防无人机偏航跟踪，同时结合毫米波雷达182数据进行避障，使所述消防无人机可快速到达与目标火源相对应的灭火作业工位，且使所述消防无人机机头可正对选定的目标火源，在保障飞行安全的同时达到对目标火源的预瞄准效果。

在其中的一些实施例中，所述空中瞄准模块进一步还包括与空中控制模块11通信连接的灭火装置调整组件183。所述灭火装置调整组件183可在空中控制模块11的指令下控制灭火装置100调整预设角度，以使灭火装置100可准确瞄准目标火源。

在本申请的一些实施例中，所述地面站还包括与地面控制模块13相连的辅助瞄准模块。所述空中瞄准模块在瞄准目标火源的同时将瞄准目标状况传输给地面控制模块13并以瞄准标识的方式于现场图像显示模块14展示的火灾现场视频图像中显示，所述辅助瞄准模块通过控制现场图像显示模块14上的瞄准标识移动以调整空中瞄准模块的瞄准目标。所述瞄准标识为十字准星标识、点状准星标识及/或者圆形准星标识。

基于此，本申请实施例同时还提供一种消防无人机，所述消防无人机采用本申请实施例所提供的图传灭火控制系统。

本申请的图传灭火控制系统通过配合设置的空中控制模块11、现场图像获取模块12、地面控制模块13、现场图像显示模块14、目标火源选定模块15及视觉识别模块16等组件，实现实时的火灾现场视频图像回传及实时的目标火源跟踪，并进而实现对目标火源的快速准确瞄准。所述图传灭火控制系统通过现场图像获取模块12获取火灾现场视频，通过目标火源选定模块15在现场图像显示模块14操作界面于实时回传的火灾现场视频中选定目标火源，同时，通过所述消防无人机预设的图像算法和飞控算法控制消防无人机移动，通过所述激光雷达181及毫米波雷达182实时回传与障碍物及目标火源的距离，使所述消防无人机可迅速准确移动至目标火源相对应的灭火作业工位，并使所述灭火装置100瞄准目标火源，进而针对目标火源执行相应的灭火作业。

以下，结合具体的实施例，对本申请的图传灭火控制系统的具体应用作进一步说明。

当需要采用本申请的消防无人机执行灭火任务时。通过所述地面站控制消防无人机到达火灾现场。

所述云台相机121实时拍摄火灾现场视频，所述挂载控制器112获取火灾现场视频图像后通过所述挂载通信子模块172传输给服务器200，所述地面控制器131获取火灾现场视频图像，进而于所述显示屏141中显示；通过所述目标火源选定模块15于火灾现场视频图像中通过框选的方式选定目标火源，所述地面控制器131获取选定的目标火源，将选定的目标火源信息传输给空中控制模块11，并向所述空中控制模块11下发执行目标跟踪指令；所述挂载控制器112获取目标跟踪指令后，向所述视觉识别模块16下发视觉识别指令，以确认框选的目标火源所在区域；所述视觉识别模块16生成目标区域数据，并将目标区域数据传输给挂载控制器112；所述挂载控制器112根据所述视觉识别模块16生成的目标区域数据，取得云台偏转角度数据，并通过云台组件122控制云台相机121转动，使所述云台相机121正对框选的目标火源：所述激光雷达181获取目标区域数据，生成目标识别平面和目标偏航角度传输给飞行控制器111；所述飞行控制器111根据激光雷达181传输的偏航角度数据和距离数据，控制所述消防无人机偏航跟踪，同时结合所述毫米波雷达182数据进行避障，进而使得所述消防无人机的机头正对框选的目标火源，进而达到灭火预瞄准的效果；所述飞行控制器111同时控制消防无人机执行跟踪飞行，到达指定距离的灭火作业工位后悬停；进一步通过目标区域数据控制所述灭火装置调整组件183转动预设角度，进而实现所述灭火装置100对目标火源的精准瞄准；所述辅助瞄准模块以十字准星标识的方式于显示屏141中展示灭火装置100的瞄准状态，通过操作所述辅助瞄准模块适当调整十字准星标识的位置进而适当调整空中瞄准模块的瞄准目标；所述消防无人机悬停，且所述灭火装置100准确瞄准目标火源后，所述地面控制器131向挂载控制器112发出灭火作业指令，所述挂载控制器112接收到灭火作业指令后，控制灭火装置100执行相应的灭火作业指令。

本申请的图传灭火控制系统，通过现场图像获取模块12实时获取火灾现场视频图像；通过所述现场图像显示模块14实时显示火灾现场视频图像；通过所述目标火源选定模块15框选目标火源；通过所述视觉识别模块16，采用预设算法，获取目标火源相关数据，进而控制消防无人机跟踪目标火源，并移动至与目标火源相对应的灭火作业工位；所述激光雷达181及毫米波雷达182实时回传与障碍物及目标火源距离，以确保所述消防无人机安全准确移动；所述灭火装置100通过所述空中瞄准模块及辅助瞄准模块的配合实现目标火源的精准瞄准。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。

Claims (19)

1.一种图传灭火控制系统，应用于消防无人机，所述消防无人机与地面站无线通信，其特征在于，所述消防无人机挂载有灭火装置，所述图传灭火控制系统包括：

空中控制模块，设置于所述消防无人机上；所述灭火装置与所述空中控制模块通信连接；

现场图像获取模块，设置于所述消防无人机上，与所述空中控制模块通信连接；

地面控制模块，设置于所述地面站上，与所述空中控制模块无线通信连接；

现场图像显示模块，设置于所述地面站上，与所述地面控制模块通信连接；

目标火源选定模块，设置于所述地面站上，与所述地面控制模块通信连接；以及

视觉识别模块，设置于所述消防无人机上，与所述空中控制模块通信连接。

2.如权利要求1所述的图传灭火控制系统，其特征在于，所述目标火源选定模块包括：

选定操作子模块，用于向所述地面控制模块输入操作指令；以及

选定显示子模块，用于于所述现场图像显示模块中示出经选定操作子模块选定的结果。

3.如权利要求2所述的图传灭火控制系统，其特征在于，所述现场图像显示模块为触控屏，所述触控屏同时构成所述选定操作子模块。

4.如权利要求2所述的图传灭火控制系统，其特征在于，所述选定操作子模块为可向地面控制模块输入操作指令的操作件。

5.如权利要求4所述的图传灭火控制系统，其特征在于，所述操作件为鼠标、操纵杆及/或按键。

6.如权利要求2所述的图传灭火控制系统，其特征在于，所述选定显示子模块于所述现场图像显示模块中的表现形式为选定标记。

7.如权利要求1所述的图传灭火控制系统，其特征在于，所述视觉识别模块预设有视觉跟踪算法，所述视觉识别模块通过所述视觉跟踪算法提取火灾现场视频图像当前帧中目标火源的数据，并计算出下一帧目标火源的数据。

8.如权利要求1所述的图传灭火控制系统，其特征在于，所述图传灭火控制系统还包括设置于消防无人机上的空中瞄准模块。

9.如权利要求8所述的图传灭火控制系统，其特征在于，所述空中瞄准模块包括与空中控制模块通信连接的激光雷达及/或毫米波雷达。

10.如权利要求8所述的图传灭火控制系统，其特征在于，所述空中瞄准模块包括与空中控制模块通信连接的灭火装置调整组件。

11.如权利要求8所述的图传灭火控制系统，其特征在于，所述图传灭火控制系统还包括设置于地面站上辅助瞄准模块；所述空中瞄准模块在瞄准目标火源的同时将瞄准目标状况传输给地面控制模块并以瞄准标识的方式于现场图像显示模块展示的火灾现场视频图像中显示，所述辅助瞄准模块通过控制现场图像显示模块上的瞄准标识移动以调整空中瞄准模块的瞄准目标。

12.如权利要求1所述的图传灭火控制系统，其特征在于，所述现场图像获取模块包括与空中控制模块通信连接的云台相机，以及与所述空中控制模块通信连接的云台组件，所述云台相机固定于所述云台组件上。

13.如权利要求1-12中任一项所述的图传灭火控制系统，其特征在于，所述空中控制模块包括相互独立的飞行控制器及挂载控制器，所述灭火装置与所述挂载控制器通信连接。

14.如权利要求13所述的图传灭火控制系统，其特征在于，所述图传灭火控制系统还包括通信模块，所述飞行控制器及挂载控制器通过所述通信模块与地面站无线通信连接。

15.如权利要求14所述的图传灭火控制系统，其特征在于，所述通信模块包括相互独立的飞行通信子模块及挂载通信子模块；所述飞行控制器通过飞行通信子模块与地面站无线通信连接；所述灭火装置通过挂载通信子模块与地面站无线通信连接。

16.如权利要求1-12中任一项所述的图传灭火控制系统，其特征在于，所述空中控制模块包括飞行控制器，所述灭火装置与所述飞行控制器通信连接。

17.一种消防无人机，其特征在于，所述消防无人机采用权利要求1-14中任一项所述的图传灭火控制系统。

18.一种灭火方法，应用于消防无人机，其特征在于，所述消防无人机为权利要求17所述的消防无人机，所述灭火方法包括如下步骤：

获取实时火灾现场视频图像；

于火灾现场视频图像中选定目标火源；

获取目标火源所处位置信息；

控制消防无人机到达灭火作业工位；

控制灭火单元瞄准目标火源；

控制灭火单元朝向目标火源执行灭火作业任务。

19.如权利要求18所述的灭火方法，其特征在于，所述获取目标火源所处位置信息的步骤包括：提取火灾现场视频图像当前帧中目标火源的数据，并计算出下一帧目标火源的数据。

Images