CN112774073A - 无人机引导的多机协作灭火方法及其灭火系统 - Google Patents

Abstract

本发明提供了一种无人机引导的多机协作灭火方法，其包括：启动地面控制终端，无人机沿搜索航点进行飞行搜索并建立地面二维地图信息，寻找着火点并对其精准定位，计算并标记着火点、无人机和所有消防无人车的空间位置信息，所有消防无人车经路径规划后编队行驶向着火点前进、自主避障并建立三维稀疏点云图，通过温度传感器判断前进与否，临近着火点开始进行灭火任务，完成灭火任务后无人机和所有消防无人车各自沿原路返回，并提供了一种适用于此方法的多机协作灭火系统，其包括一个无人机、多个消防无人车和一个地面控制终端。本发明在保证大范围搜寻并精准定位着火点位置的同时，可大幅缩减无人车抵达着火点所需时间，提高完成消防任务的效率。

Description

无人机引导的多机协作灭火方法及其灭火系统

技术领域

本发明属于消防技术领域，特别涉及一种无人机引导的多机协作灭火方法及其灭火系统。

背景技术

火灾是威胁公众安全和社会发展的主要灾害之一，每年上万起的火灾，会造成大量的人员伤亡和财产损失。随着科技的发展，消防机器人开始进入灭火领域，有效地保证了消防人员安全，提高了灭火效率，降低了损失。目前，消防机器人的种类很多，部分已经进入实战灭火中，但对于工业区石化爆燃、森林等大型火灾，由于其着火区域广，着火点数量多、且难以精准定位等因素，消防机器人往往无法发挥有效作用。

消防机器人多机协作灭火是解决消防机器人灭火效率低的有效手段，如申请号201910485349.1的发明专利公开了一种无人机与消防机器人协同侦察灭火作业方法，该发明采用空间几何定位方法，实现对灭火侦察机器人实时三维空间定位，从而快速获取无人机、机器人控制台、无人机控制台和灭火侦察机器人在空间中的相对位置，提高了系统的适用范围，同时实现了消防水炮喷射角度的在线补偿，大大提升了对目标点喷射的精准度；申请号201711283479.X的发明专利公开了一种基于无人机和智能消防机器人的精确灭火系统及方法，该发明中无人机对火点和射流落点依次进行精确定位，智能消防机器人根据定位信息不断调整消防水炮的航向角和俯仰角，从而使流落点精确覆盖火点区域，形成闭环精确灭火。然而，现有技术仍无法满足火源点未知、消防机器人移动范围较大的灭火需求，而只能在已知目标火源的大致状况下进行小范围的移动灭火；同时，目前的消防机器人和灭火系统仅仅用于辅助消防人员进行灭火，还无法做到操作人员在远端控制消防机器人自主灭火。因此，针对大射程及室外大空间下智能消防机器人视野空间不足、火点定位不精确、灭火精度和智能化程度不高等问题，寻求一种可实现闭环精确灭火的无人机引导的多机协作灭火方法是十分迫切且必要的。

发明内容

本发明针对上述现有技术中的缺陷，提出一种无人机引导的多机协作灭火方法。该方法包括启动地面控制终端，无人机沿搜索航点进行飞行搜索并建立地面二维地图信息，寻找着火点并对其精准定位，计算并标记着火点、无人机和所有消防无人车的空间位置信息，所有消防无人车经路径规划后编队行驶向着火点前进、自主避障并建立三维稀疏点云图，通过温度传感器判断前进与否，临近着火点开始进行灭火任务，完成灭火任务后无人机和所有消防无人车各自沿原路返回，并提供了一种适用于此方法的多机协作灭火系统，包括一个无人机、多个消防无人车和一个地面控制终端。本发明在保证大范围搜寻并精准定位着火点位置的同时，可大幅缩减无人车抵达着火点所需时间，提高完成消防任务的效率。

本发明提供一种无人机引导的多机协作灭火方法，所述方法包括以下步骤：

S1、启动地面控制终端：将地面控制终端所在位置设定为全局坐标系原点，在地面控制终端旁布置好无人机和多个消防无人车，操作人员通过地面控制终端的UI界面启动系统；

S2、无人机沿搜索航点进行飞行搜索并建立地面二维地图信息；操作人员通过地面控制终端设置无人机的搜索航点，并设定其飞行高度和飞行速度，发出起飞和执行任务指令，无人机通过第一无线通信模块接收到该指令，飞行控制模块按照该指令控制无人机起飞，并按照设定好的航点进行着火点位置的飞行搜索，通过第一激光雷达实时获取地面环境情况，并采用SLAM算法建立地面二维地图信息；

S3、寻找着火点并对其精准定位：利用火焰识别算法寻找着火点，结合目标跟踪算法实现对着火点的精准定位；

其中所述目标跟踪算法具体包括以下步骤：

S341、矩形框获取：获取步骤S396中检测到的矩形框的大小和位置；

S342、计算相机画面中心点与矩形框中心点位置的误差值：设定相机图像平面坐标系，以左上角为原点，向右为u正方向，向下为v正方向；设定无人机机体坐标系，以机体重心为原点，x轴指向机头，z轴指向机腹，x轴和z轴都位于纵向对称面内，而y轴指向机身右侧，与x、z轴构成右手系；无人机根据第一航姿传感器获得三轴云台的俯仰角为β，无人机根据第一双目相机立体视觉算法获得无人机与着火点的距离为L，得到计算误差表达式：

其中：v_min,v_max表示矩形框上、下边框的边界位置；u_min,u_max表示矩形框左、右边框的边界位置；(u_center,v_center)表示相机画面中心点位置坐标；H′为设定的需要调整到的目标高度值；x_error,y_error,z_error表示相机画面中心点与矩形框中心点位置的x向、y向、z向误差值；

S343、无人机位置调整：将计算得到的误差值经处理后得到的线速度信息，发给飞行控制模块，控制无人机的电机动力系统进行调整，并循环该步骤使得误差值不断减小，目标矩形框中心点不断靠近相机画面中心点，所述处理后得到的线速度为：

其中：K_x,K_y,K_z均表示减小误差用的参数，绝对值均小于等于1。

S4、计算全局坐标系下着火点的空间位置信息：无人机将无人机GPS定位信息、当前飞行控制模块中的气压计信息和运用双目相机立体视觉算法测得的无人机与着火点的距离信息传回飞行控制模块，飞行控制模块将数据传输至第一板载计算机，通过坐标计算，计算出全局坐标系下着火点目标的二维坐标和高度信息，无人机将着火点的空间位置信息和通过SLAM建图所获得的二维地图信息通过第一无线通信模块传送给地面控制终端；

其中所述坐标计算具体包括以下步骤：

S41：数据获取：设无人机位于N点处，根据其第一GPS模块测得的定位信息以及无人机与地面控制终端的位置关系，通过坐标转换得到无人机在全局坐标系下的二维坐标信息，记为Q(X₀,Y₀)，无人机根据第一航姿传感器获得三轴云台的航向角为α、俯仰角为β，无人机运用第一双目相机立体视觉算法测得与着火点的距离为L；无人机根据飞行控制模块的气压计测得其高度值为h，以上数据均传递至第一板载计算机；

S42：坐标计算：利用第一板载计算机获得的数据，经过计算得全局坐标系下着火点的二维坐标P(X₁,Y₁)和其高度值H：

S5、标记着火点、无人机和所有消防无人车的空间位置信息：地面控制终端收到无人机的二维地图信息，在上面标出着火点的二维坐标位置和高度信息、无人机的当前位置以及所有消防无人车的当前位置；

S6、所有消防无人车经路径规划后编队行驶向着火点前进：操作人员为所有消防无人车接上消防水带，准备工作和无人机侦察任务完成后，操作人员通过地面控制终端启动所有消防无人车，所有消防无人车采用领航者-跟随者的编队算法前进，地面控制终端为领航者消防无人车提供无人机所获取到的地图信息及着火点坐标位置和高度信息，领航者消防无人车运行导航算法进行定位和路径规划后即能往着火点目标前进，跟随者消防无人车通过编队算法跟随领航者消防无人车向着火点目标前进；

S7、所有消防无人车自主避障并建立三维稀疏点云图：所有消防无人车在前进的过程中，均通过各自的第二激光雷达获取周围环境的情况，所有消防无人车上的第二板载计算机调用导航算法，通过运动控制模块控制各自对应的消防无人车自动实时躲避路径上的障碍物，同时所有消防无人车上的第二板载计算机根据各自对应的第二双目相机数据调用ORB-SLAM算法建立三维稀疏点云图；

S8、所有消防无人车通过温度传感器判断前进与否：所有消防无人车在前进过程中，其上各自的第二板载计算机需要根据温度传感器数据判断是否临近着火位置，若周围温度到达设定阈值或抵达着火点位置处，则停止前进；

S9、所有消防无人车临近着火点开始进行灭火任务：经火焰识别算法进行火焰识别，调用立体视觉算法测出着火点位置和火势信息，调整航向角参数使消防水炮始终对着着火点，自动计算消防水炮的喷射俯仰角和喷射流量并调整，进行精准定点喷射；

S10、完成灭火任务后无人机和所有消防无人车各自沿原路返回：无人机通过三轴云台的第一双目相机侦察到灭火完成后，向地面控制终端发送已灭火完成的信号，操作人员通过地面控制终端观察无人机的实时视频图像，确定完成灭火任务后，控制所有消防无人车停止喷射，与无人机按照原路径返回到地面控制终端所在区域内，完成灭火任务。

进一步，所述步骤S3具体包括以下步骤：

S31、无人机在飞行搜索过程中，飞行控制模块控制三轴云台保持固定方向和角度，第一激光雷达和三轴云台实时获取地面环境情况，并将其传给第一板载计算机；

S32、第一板载计算机运行SLAM算法进行建图，利用第一激光雷达数据对无人机飞过途经的地面环境建立二维地图信息；

S33、第一板载计算机运行火焰识别算法，利用实时视频信息对着火点进行寻找；

S34、发现着火点后，飞行控制模块控制无人机进行悬停，同时第一板载计算机运行目标跟踪算法，实现对着火点的精准定位。

可优选的是，所述步骤S9具体包括以下步骤：

S91、所有消防无人车根据其上各自的第二双目相机获取的数据，通过对应的第二板载计算机调用火焰识别算法进行火焰识别，并调用立体视觉算法测出着火位置与消防无人车的距离以及着火高度和火势大小的信息；

S92、所有消防无人车的运动控制模块通过调整对应的第二航姿传感器的航向角参数，使消防水炮始终对着着火点目标；

S93、所有消防无人车的第二板载计算机根据各自消防无人车与着火点的相对空间位置关系、着火高度和火势大小的信息，自动计算消防水炮的喷射俯仰角和喷射流量，并将计算出的参数传给运动控制模块；

S94、所有消防无人车的运动控制模块控制各自的消防水炮，调整俯仰角参数和喷射流量，进行精准定点喷射。

进一步，所述步骤S33和步骤S91中的火焰识别算法采用基于图像处理的火焰检测算法，具体包括以下步骤：

S391、三通道分割：分割所获取到的实时视频图像的RGB通道；

S392、形态学操作：为分割出的R、G、B三个通道设置相应基于颜色进行划分的阈值；

S393、高斯滤波：使用高斯滤波对实时视频图像进行降噪平滑处理；

S394、火源检测：结合RGB判据和HIS判据，基于颜色划分阈值；

S395、轮廓识别与重心算法：将实时视频图像二值化，挖空内部点，获取图像的轮廓，将对轮廓进行全面分析，获得总加权值作为轮廓的重心，从而获得火源中心的大致位置；

S396、最小边界矩形算法：从获得的火焰中心开始，获得轮廓的最小外接矩形，得到矩形四个顶点的坐标并绘制矩形，对火焰区域进行框定。

进一步，所述步骤S6中的领航者-跟随者编队算法采用纵队形，具体包括以下步骤：

S611、数据获取：所有消防无人车通过各自的第二GPS模块和第二激光雷达采集数据后，其自身的第二板载计算机获取到定位数据和激光雷达数据；

S612、通过第一无线通信模块，所有消防无人车进行数据交流：领航者消防无人车上的第二板载计算机结合激光雷达数据和导航信息做出运动控制命令，通过运动控制模块控制领航者消防无人车进行运动，并将运动控制命令发送至跟随者消防无人车，跟随者消防无人车上的第二板载计算机将自身定位数据、自身激光雷达数据、领航者消防无人车的位置信息和领航者消防无人车的运动控制命令进行分析和运算后，通过运动控制模块控制跟随者消防无人车跟随领航者消防无人车进行运动；

S613、控制算法：根据领航者消防无人车与跟随者消防无人车之间的距离和偏航角的差值，计算后通过第二无线通信模块给出跟随者消防无人车的控制命令，使得两者位置差距逐渐趋近于给定值，跟随者消防无人车的角速度由二者相对位置的反正切值决定，线速度由二者相对位置的直线距离决定；当领航者消防无人车速度一定时，若跟随者消防无人车与其相距较远，则给定线速度大于领航者消防无人车速度；反之，相距较近时则小于领航者消防无人车速度；当距离达到一定值且二者速度相同时，两者距离不变，形成稳定编队；调整系数即能对消防无人车形成编队速度以及编队中的相对位置进行调整，线速度控制中系数越大，编队中两车距离较远；

所述导航算法具体包括以下步骤：

S621、定位：领航者消防无人车获取第二GPS模块信息和第二激光雷达数据，第二板载计算机根据这些数据信息获得当前自身的位置信息，利用AMCL自适应蒙特卡罗算法，将当前位置信息与无人机提供的导航地图信息进行匹配，在导航地图中标记出与当前位置相对应的点；

S622、全局路径规划：根据导航地图信息，领航者消防无人车的第二板载计算机对当前位置点到目标点进行全局路径规划，使用Dijkstra算法寻找出领航者消防无人车从当前位置点到着火点的最优路线，而后第二板载计算机发出指令，通过运动控制模块控制领航者消防无人车按照最优路线前进，同时跟随者消防无人车根据所述领航者-跟随者编队算法跟随领航者消防无人车运动；

S623、本地实时规划：各消防无人车的第二板载计算机使用DWA算法与VFH算法，规划机器人每个周期内的线速度、角速度，使之符合全局最优路径，同时搜索躲避和行进的多条路径并选取最优路径。

本发明的第二方面，提供一种利用前述的无人机引导的多机协作灭火方法的多机协作灭火系统，其包括一个无人机、多个消防无人车和一个地面控制终端，所述无人机包括无人机机体、飞行控制模块、搭载ROS系统的第一板载计算机、三轴云台、第一双目相机、第一激光雷达、第一GPS模块、第一无线通信模块和第一航姿传感器，所述飞行控制模块、第一板载计算机、三轴云台、第一双目相机、第一激光雷达、第一GPS模块、第一无线通信模块和第一航姿传感器均设置在所述无人机机体上，所述三轴云台、第一GPS模块和第一航姿传感器与所述飞行控制模块电气相连，所述第一双目相机、第一激光雷达和第一无线通信模块与第一板载计算机电气相连，所述飞行控制模块与第一板载计算机电气相连且两者之间使用MAVROS进行数据交互；所述消防无人车包括无人车车体、运动控制模块、搭载ROS系统的第二板载计算机、消防水炮、温度传感器、第二双目相机、第二激光雷达、第二GPS模块、第二无线通信模块、第二航姿传感器，所述运动控制模块、第二板载计算机、消防水炮、温度传感器、第二双目相机、第二激光雷达、第二GPS模块、第二无线通信模块和第二航姿传感器均设置在所述无人车车体上，所述消防水炮、温度传感器、第二GPS模块和第二航姿传感器与所述运动控制模块电气相连，所述第二双目相机、第二激光雷达和第二无线通信模块与所述第二板载计算机电气相连，所述运动控制模块与第二板载计算机电气相连且两者之间使用MAVROS进行数据交互；所述地面控制终端通过5G信号与所述第一无线通信模块和第二无线通信模块进行连接，实现与无人机和所有消防无人车的通信。

优选的，无人机的第一无线通信模块和所有消防无人车的第二无线通信模块采用5G通信模块，将无人机的第一无线通信模块、所有消防无人车的第二无线通信模块、地面控制终端搭建在同一个网络内进行无线连接，通过ROS系统中的ROS节点建立通信；采用RTK差分GPS模块；多个进行编队的消防无人车能采用水炮无人车、泡沫无人车和排烟无人车混合编组；地面控制终端的UI界面能看到无人机的实时视频信息和建立的地图信息，能手动控制无人机和所有消防无人车的运动。

与现有技术相比，本发明的技术效果为：

1、本发明设计的一种无人机引导的多机协作灭火方法，在飞行搜索过程中，无人机运行SLAM算法建图，同时运行火焰识别算法对着火点进行寻找，当发现着火点后运行目标跟踪算法，无人机悬停实现着火点的精准定位，进行着火点坐标计算后，无人机将地图信息和着火点信息提供给无人车，无人车根据上述信息进行路径规划，携带消防水枪即可抵达着火点处，在保证大范围搜寻并精准定位着火点位置的同时，可以大幅缩减无人车抵达着火点所需时间，提高完成消防任务的效率。

2、本发明提出一种基于ROS的自主精准灭火系统，消防人员无需深入火场，利用地面控制终端的UI界面即可让消防机器人自主灭火，在远端控制便可完成灭火任务；将无人机和无人车的优势结合起来，利用无人机进行大范围搜索着火点目标，无人车携带消防水炮进行精准灭火，避免了因消防无人车视野不足无法准确获取着火点位置的问题，提高灭火效率，降低生命和财产损失。

3、本发明中采用多消防无人车编队行驶，在兼顾移动性的同时可比单消防无人车更有效率和更高质量地完成灭火任务，增加了可灭火的角度和范围，提高了现场灾害处置质量和处置速度，提高了在抢险救灾等危险活动中救灾人员使用机器人的效率。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显。

图1是本发明的无人机引导的多机协作灭火方法的流程图；

图2是本发明的多机协作灭火系统图；

图3是本发明的无人机的电气连接示意图；

图4是本发明的消防无人车的电气连接示意图；

图5是本发明的以地面控制终端为原点构建的全局坐标系。

图中，1-地面控制终端；2-无人机；3-领航者消防无人车；4-第一跟随者消防无人车；5-第二跟随者消防无人车；6-着火点；7-三轴云台；8-第一双目相机；9-第一航姿传感器；10-第一板载计算机；11-飞行控制模块；12-第一无线通信模块；13-第一激光雷达；14-第一GPS模块；15-第二双目相机；16-第二板载计算机；17-第二无线通信模块；18-第二激光雷达；19-消防水炮；20-第二航姿传感器；21-运动控制模块；22-温度传感器；23-第二GPS模块。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了本发明的无人机引导的多机协作灭火方法，该方法包括以下步骤：

S1、启动地面控制终端1：将地面控制终端1所在位置设定为全局坐标系原点，在地面控制终端1旁布置好无人机2和多个消防无人车，操作人员通过地面控制终端1的UI界面启动系统。

S2、无人机沿搜索航点进行飞行搜索并建立地面二维地图信息；操作人员通过地面控制终端1的UI界面运行QGroundControl地面站，在该地面站中设置无人机2的搜索航点，并设定其飞行高度和飞行速度，发出起飞和执行任务指令，无人机2通过第一无线通信模块12接收到该指令，飞行控制模块11按照该指令控制无人机起飞，并按照设定好的航点进行着火点6位置的飞行搜索，通过第一激光雷达13实时获取地面环境情况，采用SLAM算法建立地面二维地图信息。

S3、寻找着火点6并对其精准定位：利用火焰识别算法寻找着火点6，结合目标跟踪算法实现对着火点6的精准定位。

S31、无人机2在飞行搜索过程中，飞行控制模块11控制三轴云台7保持固定方向和角度，第一激光雷达13和三轴云台7实时获取地面环境情况，并将其传给第一板载计算机10。

S32、第一板载计算机10运行SLAM算法进行建图，利用第一激光雷达13数据对无人机2飞过途经的地面环境建立二维地图信息。

S33、第一板载计算机10运行火焰识别算法，利用实时视频信息对着火点6进行寻找。

火焰识别算法采用基于图像处理的火焰检测算法，具体包括以下步骤：

S391、三通道分割：分割所获取到的实时视频图像的RGB通道，将图像的RGB分为三个通道，然后对三个通道进行并行处理，准确提取某种颜色。

S392、形态学操作：为分割出的R、G、B三个通道设置相应基于颜色进行划分的阈值，以便准确地提取火焰，然后进行膨胀的形态学操作，使目标边界向外部扩张，连通一些遗漏的区域。

S393、高斯滤波：使用高斯滤波对实时视频图像进行降噪平滑处理，以使图像识别操作更加准确。

S394、火源检测：结合RGB判据和HIS判据，基于颜色划分阈值。分割的条件公式如下：

其中：R_T表示红色分量阈值；S_T表示饱和度阈值；火焰像素主要取决于红色分量(R)的色度和饱和度。

S395、轮廓识别与重心算法：将实时视频图像二值化，如果原始图像中的一个点为黑色，而其八个相邻点为黑色，则该点为内部。该点将被删除，即内部点将被挖空以获取图像的轮廓。提取所需的轮廓后，将对轮廓进行全面分析，以获得总加权值作为轮廓的重心，从而获得火源中心的大致位置。

S396、最小边界矩形算法：从获得的火焰中心开始，使用minAreaRect方法获得轮廓的最小外接矩形，得到矩形四个顶点的坐标并绘制矩形，对火焰区域进行框定。

S34、发现着火点6后，飞行控制模块11控制无人机2进行悬停，同时第一板载计算机10运行目标跟踪算法，实现对着火点6的精准定位。

目标跟踪算法具体包括以下步骤：

S341、矩形框获取：获取步骤S396中检测到的矩形框的大小和位置。

S342、计算相机画面中心点与矩形框中心点位置的误差值：设定相机图像平面坐标系，以左上角为原点，向右为u正方向，向下为v正方向；设定无人机2机体坐标系，以机体重心为原点，x轴指向机头，z轴指向机腹，x轴和z轴都位于纵向对称面内，而y轴指向机身右侧，与x、z轴构成右手系；无人机2根据第一航姿传感器9获得三轴云台7的俯仰角为β，无人机2根据第一双目相机8立体视觉算法获得无人机2与着火点6的距离为L，得到计算误差表达式：

其中：v_min,v_max表示矩形框上、下边框的边界位置；u_min,u_max表示矩形框左、右边框的边界位置；(u_center,v_center)表示相机画面中心点位置坐标；H′为设定的需要调整到的目标高度值；x_error,y_error,z_error表示相机画面中心点与矩形框中心点位置的x向、y向、z向误差值。

S343、无人机2位置调整：将计算得到的误差值经处理后得到的线速度信息，发给飞行控制模块11，控制无人机2的电机动力系统进行调整，并循环该步骤使得误差值不断减小，目标矩形框中心点不断靠近相机画面中心点，处理后得到的线速度为：

其中：K_x,K_y,K_z均表示减小误差用的参数，绝对值均小于等于1。

S4、计算全局坐标系下着火点6的空间位置信息：无人机2将无人机2GPS定位信息、当前飞行控制模块11中的气压计信息和运用双目相机立体视觉算法测得的无人机2与着火点6的距离信息传回飞行控制模块11，飞行控制模块11将数据传输至第一板载计算机10，通过坐标计算，计算出全局坐标系下着火点6目标的二维坐标和高度信息，无人机2将着火点6的空间位置信息和通过SLAM建图所获得的二维地图信息通过第一无线通信模块12传送给地面控制终端1。

坐标计算具体包括以下步骤：

S41：数据获取：设无人机2位于N点处，根据其第一GPS模块14测得的定位信息以及无人机2与地面控制终端1的位置关系，通过坐标转换得到无人机2在全局坐标系下的二维坐标信息，记为Q(X₀,Y₀)，无人机2根据第一航姿传感器9获得三轴云台7的航向角为α、俯仰角为β，无人机2运用第一双目相机8立体视觉算法测得与着火点6的距离为L；无人机2根据飞行控制模块11的气压计测得其高度值为h，以上数据均传递至第一板载计算机10。

S42：如图5所示，坐标计算：利用第一板载计算机10获得的数据，经过计算可得全局坐标系下着火点6的二维坐标P(X₁,Y₁)和其高度值H：

S5、标记着火点6、无人机2和所有消防无人车的空间位置信息：地面控制终端1收到无人机2的二维地图信息，在上面标出着火点6的二维坐标位置和高度信息、无人机2的当前位置以及所有消防无人车的当前位置。

S6、所有消防无人车经路径规划后编队行驶向着火点6前进：操作人员为所有消防无人车接上消防水带，准备工作和无人机2侦察任务完成后，操作人员通过地面控制终端1启动所有消防无人车，所有消防无人车采用领航者-跟随者的编队算法前进，地面控制终端1为领航者消防无人车3提供无人机2所获取到的地图信息及着火点6坐标位置和高度信息，领航者消防无人车3运行导航算法进行定位和路径规划后即可往着火点6目标前进，跟随者消防无人车通过编队算法跟随领航者消防无人车3向着火点6目标前进。

领航者-跟随者编队算法采用纵队形，具体包括以下步骤：

S611、数据获取：所有消防无人车通过各自的第二GPS模块23和第二激光雷达18采集数据后，其自身的第二板载计算机16获取到定位数据和激光雷达数据。

S612、通过第一无线通信模块12，所有消防无人车进行数据交流：领航者消防无人车3上的第二板载计算机16结合激光雷达数据和导航信息做出运动控制命令，通过运动控制模块21控制领航者消防无人车3进行运动，并将运动控制命令发送至跟随者消防无人车。领航者需要将运动控制命令发送至跟随者，故跟随者除了获取自身数据外，还需要接受领航者的位置信息和运动控制命令。跟随者消防无人车上的第二板载计算机16将自身定位数据、自身激光雷达数据、领航者消防无人车3的位置信息和领航者消防无人车3的运动控制命令进行分析和运算后，通过运动控制模块21控制跟随者消防无人车跟随领航者消防无人车3进行运动。

S613、控制算法：根据领航者消防无人车3与跟随者消防无人车之间的距离和偏航角的差值，计算后通过第二无线通信模块17给出跟随者消防无人车的控制命令，使得两者位置差距逐渐趋近于给定值，跟随者消防无人车的角速度由二者相对位置的反正切值决定，线速度由二者相对位置的直线距离决定；当领航者消防无人车3速度一定时，若跟随者消防无人车与其相距较远，则给定线速度大于领航者消防无人车3速度；反之，相距较近时则小于领航者消防无人车3速度；当距离达到一定值且二者速度相同时，两者距离不变，形成稳定编队；调整系数即可对消防无人车形成编队速度以及编队中的相对位置进行调整，线速度控制中系数越大，编队中两车距离较远。

导航算法具体包括以下步骤：

S621、定位：领航者消防无人车3获取第二GPS模块23信息和第二激光雷达18数据，第二板载计算机16根据这些数据信息获得当前自身的位置信息，利用AMCL自适应蒙特卡罗算法，将当前位置信息与无人机2提供的导航地图信息进行匹配，在导航地图中标记出与当前位置相对应的点。

S622、全局路径规划：根据导航地图信息，领航者消防无人车3的第二板载计算机16对当前位置点到目标点进行全局路径规划，使用Dijkstra算法寻找出领航者消防无人车3从当前位置点到着火点6的最优路线，而后第二板载计算机16发出指令，通过运动控制模块21控制领航者消防无人车3按照最优路线前进，同时跟随者消防无人车根据领航者-跟随者编队算法跟随领航者消防无人车运动。

S623、本地实时规划：火场信息复杂且时刻都在变化，因此需要让各消防无人车在前往目标点的途中进行实时避障。各消防无人车的第二板载计算机16使用Dynamic WindowApproach(DWA)算法与Vector Field Histogram(VFH)算法，规划机器人每个周期内的线速度、角速度，使之尽量符合全局最优路径，同时搜索躲避和行进的多条路径，综合各评价标准选取最优路径。

S7、所有消防无人车自主避障并建立三维稀疏点云图：所有消防无人车在前进的过程中，均通过各自的第二激光雷达18获取周围环境的情况，所有消防无人车上的第二板载计算机16调用导航算法，通过运动控制模块21控制各自对应的消防无人车自动实时躲避路径上的障碍物，同时所有消防无人车上的第二板载计算机16根据各自对应的第二双目相机15数据调用ORB-SLAM算法建立三维稀疏点云图。

S8、火场情况复杂多变，火势可能会不断蔓延。所有消防无人车通过温度传感器22判断前进与否：所有消防无人车在前进过程中，其上各自的第二板载计算机16需要根据温度传感器22数据判断是否临近着火位置，若周围温度到达设定阈值或抵达着火点6位置处，则停止前进。

S9、所有消防无人车临近着火点6开始进行灭火任务：经火焰识别算法进行火焰识别，调用立体视觉算法测出着火点6位置和火势信息，调整航向角参数使消防水炮19始终对着着火点6，自动计算消防水炮19的喷射俯仰角和喷射流量并调整，进行精准定点喷射。

S91、所有消防无人车根据其上各自的第二双目相机15获取的数据，通过对应的第二板载计算机16调用火焰识别算法进行火焰识别，并调用立体视觉算法测出着火位置与消防无人车的距离以及着火高度和火势大小的信息。

S92、所有消防无人车的运动控制模块21通过调整对应的第二航姿传感器20的航向角参数，使消防水炮19始终对着着火点6目标。

S93、所有消防无人车的第二板载计算机16根据各自消防无人车与着火点6的相对空间位置关系、着火高度和火势大小的信息，自动计算消防水炮19的喷射俯仰角和喷射流量，并将计算出的参数传给运动控制模块21。

S94、所有消防无人车的运动控制模块21控制各自的消防水炮19，调整俯仰角参数和喷射流量，进行精准定点喷射。

S10、完成灭火任务后无人机2和所有消防无人车各自沿原路返回：无人机2通过三轴云台7的第一双目相机8侦察到灭火完成后，向地面控制终端1发送已灭火完成的信号，操作人员通过地面控制终端1观察无人机2的实时视频图像，确定完成灭火任务后，控制所有消防无人车停止喷射，与无人机2按照原路径返回到地面控制终端1所在区域内，完成灭火任务。

如图2所示，基于无人机引导的多机协作灭火方法，提供一种多机协作灭火系统，其包括一个无人机2、多个消防无人车和一个地面控制终端1，在一个具体实施例中，消防无人车包含第一领航者消防无人车3、第一跟随者消防无人车4和第二跟随者消防无人车5。

如图3所示，无人机2包括无人机机体、飞行控制模块11、搭载ROS系统的第一板载计算机10、三轴云台7、第一双目相机8、第一激光雷达13、第一GPS模块14、第一无线通信模块12和第一航姿传感器9，飞行控制模块11、第一板载计算机10、三轴云台7、第一双目相机8、第一激光雷达13、第一GPS模块14、第一无线通信模块12和第一航姿传感器9均设置在无人机机体上，三轴云台7、第一GPS模块14和第一航姿传感器9与飞行控制模块11电气相连，第一双目相机8、第一激光雷达13和第一无线通信模块12与第一板载计算机10电气相连。

飞行控制模块11与第一板载计算机10电气相连且两者之间使用MAVROS进行数据交互。飞行控制模块11用于控制无人机的飞行，可利用自动控制系统，对飞行器的构形、飞行姿态和运动参数实施控制。控制无人机机体运动时，飞行控制模块11将控制指令传输至驱动器中，驱动器驱动电机转动，从而实现无人机2的飞行。飞行控制模块11中载有加速度计、陀螺仪、气压计、罗盘等传感器。

第一板载计算机10搭载了ROS系统，与飞行控制模块11之间使用MAVROS进行数据交互。其接收并处理定位、实时视频和激光雷达等的信息，用于运行Gmapping算法、火焰识别算法、立体视觉算法、目标跟踪算法和坐标变换，并按照算法结果发出信号指令传递给飞行控制模块11；此外第一板载计算机10在ROS系统中通过ROS节点建立无线通信，通过第一无线通信模块12与消防无人车和地面控制终端1进行通信。

三轴云台7设置在无人机2上，搭载第一航姿传感器9、第一双目相机8，并根据飞行控制模块11的指令进行水平和垂直转动，用于减少相机等设备因无人机2飞行产生的视角晃动，便于识别和跟踪目标。第一双目相机8用于拍摄实时画面，并将其传递给第一板载计算机10；并且第一板载计算机10调用立体视觉算法可以计算画面中目标物的深度信息。第一激光雷达13用于对周围环境进行探测，获得的激光雷达信息传递给第一板载计算机10，用于进行SLAM建图、避障和目标测距。第一GPS模块14用于感应无人机机体的GPS坐标，并将其传递给飞行控制模块11。第一无线通信模块12用于和消防无人车、地面控制终端1进行通信。第一航姿传感器9用于感应三轴云台7航向角和俯仰角，并将其传给飞行控制模块11。

如图4所示，消防无人车包括无人车车体、运动控制模块21、搭载ROS系统的第二板载计算机16、消防水炮19、温度传感器22、第二双目相机15、第二激光雷达18、第二GPS模块23、第二无线通信模块17、第二航姿传感器20，运动控制模块21、第二板载计算机16、消防水炮19、温度传感器22、第二双目相机15、第二激光雷达18、第二GPS模块23、第二无线通信模块17和第二航姿传感器20均设置在无人车车体上，消防水炮19、温度传感器22、第二GPS模块23和第二航姿传感器20与运动控制模块21电气相连，第二双目相机15、第二激光雷达18和第二无线通信模块17与第二板载计算机16电气相连，运动控制模块21与第二板载计算机16电气相连且两者之间使用MAVROS进行数据交互。

无人车车体用于根据运动控制模块21的指令运动到指定地点。运动控制模块21用于控制消防无人车的运动，可利用自动控制系统，对无人车车体的状态和运动参数实施控制。控制无人车车体运动时，运动控制模块21将控制指令传输至驱动器中，驱动器驱动驱动电机转动，从而实现消防无人车的运动。运动控制模块21中载有加速度计、陀螺仪、气压计、罗盘等传感器。

第二板载计算机16接收并处理定位和激光雷达等的信息，用于运行ORB-SLAM算法、火焰识别算法、立体视觉算法、编队算法和导航算法，并按照算法结果发出信号指令传递给运动控制模块21；此外第二板载计算机16在ROS系统中通过ROS节点建立无线通信，通过第二无线通信模块17与无人机和地面控制终端1进行通信。

消防水炮19设置在无人车本体上，用于进行喷射、停止喷射以及调节喷射角度，喷射时运动控制模块21控制消防水炮19驱动器工作，驱动器驱动垂向角度调节结构和横向角度调节结构，对水炮的俯仰角和航向角进行调整，从而改变喷射水流的角度、高度和最终落点位置；温度传感器22用于探测环境温度，将传感器信息传递给运动控制模块21，判断是否靠近着火位置，也可用于探测着火的位置方向，辅助寻找最佳的水炮落水点位置；第二双目相机15用于拍摄实时画面，并将其传递给第二板载计算机16；并且第二板载计算机16调用立体视觉算法可以计算画面中目标物的深度信息；第二激光雷达18用于对周围环境进行探测，获得的激光雷达信息传递给第二板载计算机16，用于进行导航和目标测距；第二GPS模块23用于感应无人车车体的GPS坐标，并将其传递给运动控制模块21；第二无线通信模块17用于和第一无线通信模块12、其他消防无人车的第二无线通信模块17、地面控制终端1进行通信；第二航姿传感器20设置在消防水炮19上，用于感应消防水炮19航向角和俯仰角，并将其传递给运动控制模块21。

在一个具体实施例中，飞行控制模块11和运动控制模块21采用Pixhawk-v4，第一激光雷达13和第二激光雷达18采用Rplidar S1激光雷达，第一双目相机8和第二双目相机15采用英特尔T265，无人机的第一板载计算机10采用英伟达TX2，消防无人车的第二板载计算机16采用英特尔X86。Pixhawk-v4在OFFBOARD模式下通过MAVLINK接口接收MAVROS上板载计算机发布的期望，同时英伟达TX2和英特尔X86板载计算机也分别会从MAVROS上获取需要的Pixhawk-v4发布的飞机状态信息。

地面控制终端1通过5G信号与第一无线通信模块12和第二无线通信模块17进行连接，实现与无人机2和所有消防无人车的通信。地面控制终端1搭载ROS系统，并通过5G信号和ROS节点建立无线通信，与第一无线通信模块12和第二无线通信模块17进行连接，从而实现与无人机和多消防无人车进行通信。

本发明设计的一种无人机引导的多机协作灭火方法，在飞行搜索过程中，无人机运行SLAM算法建图，同时运行火焰识别算法对着火点进行寻找，当发现着火点后运行目标跟踪算法，无人机悬停实现着火点的精准定位，进行着火点坐标计算后，无人机将地图信息和着火点信息提供给无人车，无人车根据上述信息进行路径规划，携带消防水枪即可抵达着火点处，在保证大范围搜寻并精准定位着火点位置的同时，可以大幅缩减无人车抵达着火点所需时间，提高完成消防任务的效率；提出一种基于ROS的自主精准灭火系统，消防人员无需深入火场，利用地面控制终端的UI界面即可让消防机器人自主灭火，在远端控制便可完成灭火任务；将无人机和无人车的优势结合起来，利用无人机进行大范围搜索着火点目标，无人车携带消防水炮进行精准灭火，避免了因消防无人车视野不足无法准确获取着火点位置的问题，提高灭火效率，降低生命和财产损失；采用多消防无人车编队行驶，在兼顾移动性的同时可比单消防无人车更有效率和更高质量地完成灭火任务，增加了可灭火的角度和范围，提高了现场灾害处置质量和处置速度，提高了在抢险救灾等危险活动中救灾人员使用机器人的效率。

最后所应说明的是：以上实施例仅以说明而非限制本发明的技术方案，尽管参照上述实施例对本发明进行了详细说明，本领域的普通技术人员应当理解：依然可以对本发明进行修改或者等同替换，而不脱离本发明的精神和范围的任何修改或局部替换，其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.一种无人机引导的多机协作灭火方法，其特征在于，其包括以下步骤：

S1、启动地面控制终端：将地面控制终端所在位置设定为全局坐标系原点，在地面控制终端旁布置好无人机和多个消防无人车，操作人员通过地面控制终端的UI界面启动系统；

S2、无人机沿搜索航点进行飞行搜索并建立地面二维地图信息；操作人员通过地面控制终端设置无人机的搜索航点，并设定其飞行高度和飞行速度，发出起飞和执行任务指令，无人机通过第一无线通信模块接收到该指令，飞行控制模块按照该指令控制无人机起飞，并按照设定好的航点进行着火点位置的飞行搜索，通过第一激光雷达实时获取地面环境情况，并采用SLAM算法建立地面二维地图信息；

S3、寻找着火点并对其精准定位：利用火焰识别算法寻找着火点，结合目标跟踪算法实现对着火点的精准定位；

其中所述目标跟踪算法具体包括以下步骤：

S341、矩形框获取：获取步骤S396中检测到的矩形框的大小和位置；

S342、计算相机画面中心点与矩形框中心点位置的误差值：设定相机图像平面坐标系，以左上角为原点，向右为u正方向，向下为v正方向；设定无人机机体坐标系，以机体重心为原点，x轴指向机头，z轴指向机腹，x轴和z轴都位于纵向对称面内，而y轴指向机身右侧，与x、z轴构成右手系；无人机根据第一航姿传感器获得三轴云台的俯仰角为β，无人机根据第一双目相机立体视觉算法获得无人机与着火点的距离为L，得到计算误差表达式：

其中：v_min,v_max表示矩形框上、下边框的边界位置；u_min,u_max表示矩形框左、右边框的边界位置；(u_center,v_center)表示相机画面中心点位置坐标；H′为设定的需要调整到的目标高度值；x_error,y_error,z_error表示相机画面中心点与矩形框中心点位置的x向、y向、z向误差值；

S343、无人机位置调整：将计算得到的误差值经处理后得到的线速度信息，发给飞行控制模块，控制无人机的电机动力系统进行调整，并循环该步骤使得误差值不断减小，目标矩形框中心点不断靠近相机画面中心点，所述处理后得到的线速度为：

其中：K_x,K_y,K_z均表示减小误差用的参数，绝对值均小于等于1；

S4、计算全局坐标系下着火点的空间位置信息：无人机将无人机GPS定位信息、当前飞行控制模块中的气压计信息和运用双目相机立体视觉算法测得的无人机与着火点的距离信息传回飞行控制模块，飞行控制模块将数据传输至第一板载计算机，通过坐标计算，计算出全局坐标系下着火点目标的二维坐标和高度信息，无人机将着火点的空间位置信息和通过SLAM建图所获得的二维地图信息通过第一无线通信模块传送给地面控制终端；

其中所述坐标计算具体包括以下步骤：

S41：数据获取：设无人机位于N点处，根据其第一GPS模块测得的定位信息以及无人机与地面控制终端的位置关系，通过坐标转换得到无人机在全局坐标系下的二维坐标信息，记为Q(X₀,Y₀)，无人机根据第一航姿传感器获得三轴云台的航向角为α、俯仰角为β，无人机运用第一双目相机立体视觉算法测得与着火点的距离为L；无人机根据飞行控制模块的气压计测得其高度值为h，以上数据均传递至第一板载计算机；

S42：坐标计算：利用第一板载计算机获得的数据，经过计算得全局坐标系下着火点的二维坐标P(X₁,Y₁)和其高度值H：

S5、标记着火点、无人机和所有消防无人车的空间位置信息：地面控制终端收到无人机的二维地图信息，在上面标出着火点的二维坐标位置和高度信息、无人机的当前位置以及所有消防无人车的当前位置；

S6、所有消防无人车经路径规划后编队行驶向着火点前进：操作人员为所有消防无人车接上消防水带，准备工作和无人机侦察任务完成后，操作人员通过地面控制终端启动所有消防无人车，所有消防无人车采用领航者-跟随者的编队算法前进，地面控制终端为领航者消防无人车提供无人机所获取到的地图信息及着火点坐标位置和高度信息，领航者消防无人车运行导航算法进行定位和路径规划后即能往着火点目标前进，跟随者消防无人车通过编队算法跟随领航者消防无人车向着火点目标前进；

S7、所有消防无人车自主避障并建立三维稀疏点云图：所有消防无人车在前进的过程中，均通过各自的第二激光雷达获取周围环境的情况，所有消防无人车上的第二板载计算机调用导航算法，通过运动控制模块控制各自对应的消防无人车自动实时躲避路径上的障碍物，同时所有消防无人车上的第二板载计算机根据各自对应的第二双目相机数据调用ORB-SLAM算法建立三维稀疏点云图；

S8、所有消防无人车通过温度传感器判断前进与否：所有消防无人车在前进过程中，其上各自的第二板载计算机需要根据温度传感器数据判断是否临近着火位置，若周围温度到达设定阈值或抵达着火点位置处，则停止前进；

S9、所有消防无人车临近着火点开始进行灭火任务：经火焰识别算法进行火焰识别，调用立体视觉算法测出着火点位置和火势信息，调整航向角参数使消防水炮始终对着着火点，自动计算消防水炮的喷射俯仰角和喷射流量并调整，进行精准定点喷射；

S10、完成灭火任务后无人机和所有消防无人车各自沿原路返回：无人机通过三轴云台的第一双目相机侦察到灭火完成后，向地面控制终端发送已灭火完成的信号，操作人员通过地面控制终端观察无人机的实时视频图像，确定完成灭火任务后，控制所有消防无人车停止喷射，与无人机按照原路径返回到地面控制终端所在区域内，完成灭火任务。

2.根据权利要求1所述的无人机引导的多机协作灭火方法，其特征在于，所述步骤S3具体包括以下步骤：

S31、无人机在飞行搜索过程中，飞行控制模块控制三轴云台保持固定方向和角度，第一激光雷达和三轴云台实时获取地面环境情况，并将其传给第一板载计算机；

S32、第一板载计算机运行SLAM算法进行建图，利用第一激光雷达数据对无人机飞过途经的地面环境建立二维地图信息；

S33、第一板载计算机运行火焰识别算法，利用实时视频信息对着火点进行寻找；

S34、发现着火点后，飞行控制模块控制无人机进行悬停，同时第一板载计算机运行目标跟踪算法，实现对着火点的精准定位。

3.根据权利要求1所述的无人机引导的多机协作灭火方法，其特征在于，所述步骤S9具体包括以下步骤：

S91、所有消防无人车根据其上各自的第二双目相机获取的数据，通过对应的第二板载计算机调用火焰识别算法进行火焰识别，并调用立体视觉算法测出着火位置与消防无人车的距离以及着火高度和火势大小的信息；

S92、所有消防无人车的运动控制模块通过调整对应的第二航姿传感器的航向角参数，使消防水炮始终对着着火点目标；

S93、所有消防无人车的第二板载计算机根据各自消防无人车与着火点的相对空间位置关系、着火高度和火势大小的信息，自动计算消防水炮的喷射俯仰角和喷射流量，并将计算出的参数传给运动控制模块；

S94、所有消防无人车的运动控制模块控制各自的消防水炮，调整俯仰角参数和喷射流量，进行精准定点喷射。

4.根据权利要求1至3所述的无人机引导的多机协作灭火方法，其特征在于，所述步骤S33和步骤S91中的火焰识别算法采用基于图像处理的火焰检测算法，具体包括以下步骤：

S391、三通道分割：分割所获取到的实时视频图像的RGB通道；

S392、形态学操作：为分割出的R、G、B三个通道设置相应基于颜色进行划分的阈值；

S393、高斯滤波：使用高斯滤波对实时视频图像进行降噪平滑处理；

S394、火源检测：结合RGB判据和HIS判据，基于颜色划分阈值；

S395、轮廓识别与重心算法：将实时视频图像二值化，挖空内部点，获取图像的轮廓，将对轮廓进行全面分析，获得总加权值作为轮廓的重心，从而获得火源中心的大致位置；

S396、最小边界矩形算法：从获得的火焰中心开始，获得轮廓的最小外接矩形，得到矩形四个顶点的坐标并绘制矩形，对火焰区域进行框定。

5.根据权利要求1所述的无人机引导的多机协作灭火方法，其特征在于，所述步骤S6中的领航者-跟随者编队算法采用纵队形，具体包括以下步骤：

S611、数据获取：所有消防无人车通过各自的第二GPS模块和第二激光雷达采集数据后，其自身的第二板载计算机获取到定位数据和激光雷达数据；

S612、通过第一无线通信模块，所有消防无人车进行数据交流：领航者消防无人车上的第二板载计算机结合激光雷达数据和导航信息做出运动控制命令，通过运动控制模块控制领航者消防无人车进行运动，并将运动控制命令发送至跟随者消防无人车，跟随者消防无人车上的第二板载计算机将自身定位数据、自身激光雷达数据、领航者消防无人车的位置信息和领航者消防无人车的运动控制命令进行分析和运算后，通过运动控制模块控制跟随者消防无人车跟随领航者消防无人车进行运动；

S613、控制算法：根据领航者消防无人车与跟随者消防无人车之间的距离和偏航角的差值，计算后通过第二无线通信模块给出跟随者消防无人车的控制命令，使得两者位置差距逐渐趋近于给定值，跟随者消防无人车的角速度由二者相对位置的反正切值决定，线速度由二者相对位置的直线距离决定；当领航者消防无人车速度一定时，若跟随者消防无人车与其相距较远，则给定线速度大于领航者消防无人车速度；反之，相距较近时则小于领航者消防无人车速度；当距离达到一定值且二者速度相同时，两者距离不变，形成稳定编队；调整系数即能对消防无人车形成编队速度以及编队中的相对位置进行调整，线速度控制中系数越大，编队中两车距离较远；

所述导航算法具体包括以下步骤：

S621、定位：领航者消防无人车获取第二GPS模块信息和第二激光雷达数据，第二板载计算机根据这些数据信息获得当前自身的位置信息，利用AMCL自适应蒙特卡罗算法，将当前位置信息与无人机提供的导航地图信息进行匹配，在导航地图中标记出与当前位置相对应的点；

S622、全局路径规划：根据导航地图信息，领航者消防无人车的第二板载计算机对当前位置点到目标点进行全局路径规划，使用Dijkstra算法寻找出领航者消防无人车从当前位置点到着火点的最优路线，而后第二板载计算机发出指令，通过运动控制模块控制领航者消防无人车按照最优路线前进，同时跟随者消防无人车根据所述领航者-跟随者编队算法跟随领航者消防无人车运动；

S623、本地实时规划：各消防无人车的第二板载计算机使用DWA算法与VFH算法，规划机器人每个周期内的线速度、角速度，使之符合全局最优路径，同时搜索躲避和行进的多条路径并选取最优路径。

6.一种利用权利要求1至5之一所述的无人机引导的多机协作灭火方法的多机协作灭火系统，其特征在于，其包括一个无人机、多个消防无人车和一个地面控制终端，所述无人机包括无人机机体、飞行控制模块、搭载ROS系统的第一板载计算机、三轴云台、第一双目相机、第一激光雷达、第一GPS模块、第一无线通信模块和第一航姿传感器，所述飞行控制模块、第一板载计算机、三轴云台、第一双目相机、第一激光雷达、第一GPS模块、第一无线通信模块和第一航姿传感器均设置在所述无人机机体上，所述三轴云台、第一GPS模块和第一航姿传感器与所述飞行控制模块电气相连，所述第一双目相机、第一激光雷达和第一无线通信模块与第一板载计算机电气相连，所述飞行控制模块与第一板载计算机电气相连且两者之间使用MAVROS进行数据交互；所述消防无人车包括无人车车体、运动控制模块、搭载ROS系统的第二板载计算机、消防水炮、温度传感器、第二双目相机、第二激光雷达、第二GPS模块、第二无线通信模块、第二航姿传感器，所述运动控制模块、第二板载计算机、消防水炮、温度传感器、第二双目相机、第二激光雷达、第二GPS模块、第二无线通信模块和第二航姿传感器均设置在所述无人车车体上，所述消防水炮、温度传感器、第二GPS模块和第二航姿传感器与所述运动控制模块电气相连，所述第二双目相机、第二激光雷达和第二无线通信模块与所述第二板载计算机电气相连，所述运动控制模块与第二板载计算机电气相连且两者之间使用MAVROS进行数据交互；所述地面控制终端通过5G信号与所述第一无线通信模块和第二无线通信模块进行连接，实现与无人机和所有消防无人车的通信。

7.根据权利要求6所述的多机协作灭火系统，其特征在于，无人机的第一无线通信模块和所有消防无人车的第二无线通信模块采用5G通信模块，将无人机的第一无线通信模块、所有消防无人车的第二无线通信模块、地面控制终端搭建在同一个网络内进行无线连接，通过ROS系统中的ROS节点建立通信；采用RTK差分GPS模块；多个进行编队的消防无人车能采用水炮无人车、泡沫无人车和排烟无人车混合编组；地面控制终端的UI界面能看到无人机的实时视频信息和建立的地图信息，能手动控制无人机和所有消防无人车的运动。

Images