CN116139430B - 一种无人机智能消防灭火系统及方法 - Google Patents

一种无人机智能消防灭火系统及方法 Download PDF

Info

Publication number
CN116139430B
CN116139430B CN202310404913.9A CN202310404913A CN116139430B CN 116139430 B CN116139430 B CN 116139430B CN 202310404913 A CN202310404913 A CN 202310404913A CN 116139430 B CN116139430 B CN 116139430B
Authority
CN
China
Prior art keywords
fire
jet
scene
point
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310404913.9A
Other languages
English (en)
Other versions
CN116139430A (zh
Inventor
李伟
赵桔贤
朱劲松
高志刚
张博
潘禄
刘中冠
殷姗姗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology CUMT
Original Assignee
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology CUMT filed Critical China University of Mining and Technology CUMT
Priority to CN202310404913.9A priority Critical patent/CN116139430B/zh
Publication of CN116139430A publication Critical patent/CN116139430A/zh
Application granted granted Critical
Publication of CN116139430B publication Critical patent/CN116139430B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A62—LIFE-SAVING; FIRE-FIGHTING
    • A62C—FIRE-FIGHTING
    • A62C3/00—Fire prevention, containment or extinguishing specially adapted for particular objects or places
    • A62C3/02—Fire prevention, containment or extinguishing specially adapted for particular objects or places for area conflagrations, e.g. forest fires, subterranean fires
    • A62C3/0228—Fire prevention, containment or extinguishing specially adapted for particular objects or places for area conflagrations, e.g. forest fires, subterranean fires with delivery of fire extinguishing material by air or aircraft
    • A62C3/0242—Fire prevention, containment or extinguishing specially adapted for particular objects or places for area conflagrations, e.g. forest fires, subterranean fires with delivery of fire extinguishing material by air or aircraft by spraying extinguishants from the aircraft
    • A—HUMAN NECESSITIES
    • A62—LIFE-SAVING; FIRE-FIGHTING
    • A62C—FIRE-FIGHTING
    • A62C37/00—Control of fire-fighting equipment
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
    • Y02A40/28—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture specially adapted for farming

Landscapes

  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Forests & Forestry (AREA)
  • Fire-Extinguishing By Fire Departments, And Fire-Extinguishing Equipment And Control Thereof (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本申请公开了一种无人机智能消防灭火系统及方法，其中，系统包括：无人机、光电吊舱、地面消防机器人运输车和远程终端，无人机携带光电吊舱飞往火场上方，光电吊舱安装在无人机下方，并以无人机俯视视角获取火场视频和图片信息，将采集到的火场视频和图片信息发送至远程终端。本申请与现有技术相比的优点在于：通过远程终端采用静态误差补偿和动态误差补偿相结合的方式修正所拍摄图像的偏差对火场目标进行精准定位，并根据射流灭火剂的射流落点坐标和火场坐标误差计算出消防炮的偏航角和俯仰角的调整角度，让射流灭火剂的射流落点坐标和火场坐标相重合，实现了射流灭火剂的射流落点的精准定位和灭火作业的实施。

Description

一种无人机智能消防灭火系统及方法
技术领域
本发明涉及消防灭火技术领域，具体涉及一种无人机智能消防灭火系统及方法。
背景技术
火灾是指在时间或空间上失去控制的燃烧所造成的灾害，也是最经常、最普遍地威胁公众安全和社会发展的主要灾害之一，随着智能消防机器人技术的不断发展，智能消防机器人被越来越多的用于各种事故救援现场，消防机器人的研发大致分为三个阶段，第一阶段主要依靠远程手动操作控制系统，其灭火的效率易受人的主观因素的影响，智能化水平整体偏低，第二阶段主要通过传感器采集火场数据来辅助人为操作决策的过程，其自主化功能并不完善，第三阶段开始向智能化靠近，比如：现有的消防机器人主要依靠视觉与环境进行交互式灭火，是采用图像处理技术实现对火源的定位，但是，采用安装视觉传感设备的方式定位火源，会让地面消防机器人的视角局限，不能完全了解火灾把控火灾的整体趋势，难以实现射流落点的精度定位和自主化灭火作业的实施。
发明内容
本发明的目的在于提供一种无人机智能消防灭火系统及方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种无人机智能消防灭火方法，所述方法包括以下步骤：
步骤一、远程控制无人机携带光电吊舱飞往火场上方，拍摄火场图片或者视频，并将采集到的视频和图片信息反馈至远程终端；
步骤二、远程终端基于步骤一中拍摄的火场图片和视频获得火场截图，根据火场截图建立坐标系，得到火场坐标点，通过远程终端的静态误差补偿模块和动态误差补偿模块基于图像识别算法对火场截图进行分析和补偿，得到精确的火场坐标点；
步骤三、远程终端的射流落点追踪定位模块通过预先训练的神经网络模型完成射流灭火剂的射流落点在坐标系中的初定位，远程终端基于目标点追踪算法和滤波算法补偿射流灭火剂的射流落点的初定位的误差，得到射流灭火剂的射流落点的坐标点；
步骤四、远程终端获取各个地面消防机器人运输车的位置信息，并在坐标系中形成多个地面消防机器人运输车坐标点；
步骤五、基于步骤二中得到的火场坐标点和步骤四中得到的地面消防机器人运输车坐标点，选择距离火场坐标点较近的地面消防机器人运输车的识别码，匹配无人机与地面消防机器人运输车；
步骤六、远程终端基于神经网络算法调整射流灭火剂的射流落点的坐标点与火场坐标点之间的误差，并根据误差得出消防炮的偏航角和俯仰角的调整角度，将消防炮的偏航角和俯仰角的角度调整数据以及调整角度指令发送至地面消防机器人运输车的车辆控制器；
步骤七、车辆控制器接收调整角度指令并根据角度调整数据调整消防炮的偏航角和俯仰角，控制消防炮对火场实施灭火作业，完成火场的灭火作业；
步骤二中的静态误差补偿模块进行如下坐标点补偿：
Figure SMS_12
式中，/>
Figure SMS_3
、/>
Figure SMS_7
、/>
Figure SMS_11
分别为火焰点、地面消防机器人运输车点、射流落点在图像坐标系下横坐标像素值，/>
Figure SMS_14
、/>
Figure SMS_15
、/>
Figure SMS_16
分别为火焰点、地面消防机器人运输车点、射流落点在图像坐标系下纵坐标像素值；/>
Figure SMS_6
、/>
Figure SMS_10
分别表示修正后的目标点像素坐标X和未修正的目标点像素坐标X；/>
Figure SMS_1
、/>
Figure SMS_5
分别表示修正后的目标点像素坐标Y和未修正的目标点像素坐标Y；/>
Figure SMS_4
、/>
Figure SMS_8
为图像像素中心位置坐标，/>
Figure SMS_9
为选取目标点的高度，
Figure SMS_13
为相机焦距，/>
Figure SMS_2
为无人机当前飞行高度；
步骤二中的动态误差补偿模块对火场截图进行分析和补偿的具体步骤如下：
a、识别火场截图中的火场和地面消防机器人运输车的阴影处；
b、框选出火场截图中的火场和地面消防机器人运输车作为动态补偿候选特征点提取的区域；
c、基于特征点提取算法对b中框选的区域进行图像特征点提取，得到图像特征点；
d、基于亚像素处理方法对c中提取的图像特征点进行亚像素处理，得到像素坐标的精确值；
e、基于图像金字塔对获得的图像特征点进行火场截图光流场信息计算，获得火场截图图像漂移量的期望值；
f、基于e中得到的火场截图图像漂移量的期望值对获得的火场、地面消防机器人运输车坐标点进行光流补偿，得到修正后的火场坐标点、地面消防机器人运输车坐标点。
优选地，步骤二中的坐标系是以火场截图左上角为原点，水平方向向右为x轴，竖直方向向下为y轴，图片左上角垂直方向为z轴，建立坐标系，将火场、地面消防机器人运输车和射流灭火剂的射流落点的位置反馈至坐标系中得到火场坐标点、地面消防机器人运输车坐标点、射流灭火剂的射流落点的坐标点。
优选地，b中的框选的区域为图像静态局部区域，并且，图像特征点具有5-10个特征点作为候选静态特征点。
优选地，一种无人机智能消防灭火的系统，所述系统包括：无人机、光电吊舱、地面消防机器人运输车和远程终端，其中；
无人机携带光电吊舱飞往火场上方，光电吊舱安装在无人机下方，并以无人机俯视视角获取火场视频和图片信息，将采集到的火场视频和图片信息发送至远程终端；
远程终端基于采集到的火场图片和视频获得火场截图，针对火场截图建立坐标系，得到火场坐标点；基于预先训练的神经网络模型完成地面消防机器人运输车的射流灭火剂的射流落点的初定位，形成射流灭火剂的射流落点的坐标点；远程终端获取地面消防机器人运输车的位置，并在坐标系中形成地面消防机器人运输车坐标点；选择距离火场坐标点较近的地面消防机器人运输车匹配无人机；远程终端基于火场坐标点、地面消防机器人运输车坐标点和射流灭火剂的射流落点的坐标点得到消防炮的偏航角和俯仰角的角度和方向，并将消防炮的偏航角和俯仰角的角度调整数据以及调整角度指令发送至地面消防机器人运输车；
地面消防机器人运输车接收远程终端发送的指令控制消防炮移动和作业灭火。
优选地，光电吊舱的底部设置有摄像机，摄像机的摄像头垂直向下，且摄像机通过光电吊舱转动安装在无人机的底部，并以无人机俯视视角拍摄火场视频和图片。
优选地，远程终端上设置有射流落点追踪定位模块，射流落点追踪定位模块通过预先训练的神经网络模型完成射流灭火剂的射流落点初定位，并基于目标点追踪算法和滤波算法对射流灭火剂的射流落点进行分析，得到初始射流落点的位置信息，将实时的射流落点位置信息作为神经网络控制器的输入。
优选地，地面消防机器人运输车上设置有通信模块，地面消防机器人运输车通过通信模块与无人机进行匹配通讯，并且，地面消防机器人运输车上设置有车辆控制器，车辆控制器接收角度调整数据和调整角度指令，并根据角度调整数据和调整角度指令调整消防炮的偏航角和俯仰角，让射流灭火剂的射流落点的坐标点和火场坐标点重合，控制消防炮对火场实施灭火作业。
与现有技术相比，本发明的优点在于：本发明先通过无人机拍摄火场图像并对火场进行定位，形成火场坐标，同时，采用静态误差补偿和动态误差补偿相结合的方式修正所拍摄图像的偏差，达到了对火场目标的精准定位，再采用目标追踪算法和滤波算法获得射流灭火剂的射流落点，形成射流灭火剂的射流落点的坐标，最后，再通过神经网络算法对比射流灭火剂的射流落点的坐标和火场坐标之间的误差，并根据误差计算出消防炮的偏航角和俯仰角的调整角度，让射流灭火剂的射流落点的坐标和火场坐标相重合，实现了射流灭火剂的射流落点的精准定位和灭火作业的实施，并且，可以根据火场的位置变化，让无人机匹配火场附近的地面消防机器人运输车，缩短了火场与消防炮之间的距离，能够让消防炮快速的对火场目标进行打击灭火，有效的提升了灭火的效率和装备的自主化作业灭火水平。
附图说明
图1为根据本发明一实施例的消防灭火系统的结构框图；
图2为根据本发明一实施例的地面消防机器人运输车的结构框图；
图3为本发明中单处火源灭火的流程图；
图4为本发明中多处火源灭火的流程图。
实施方式
在本发明的描述中，需要理解的是，术语“中心”、“横向”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、或以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。另外，术语“包括”及其任何变形，意图在于覆盖不排他的包含。
结合图1-图4所示，一种无人机智能消防灭火系统，包括：无人机、光电吊舱、地面消防机器人运输车和远程终端，其中；无人机携带光电吊舱飞往火场上方，光电吊舱安装在无人机下方，并以无人机俯视视角获取火场视频和图片信息，将采集到的火场视频和图片信息发送至远程终端。
在一个实施例中，光电吊舱的底部设置有摄像机，摄像机的摄像头垂直向下，且摄像机通过光电吊舱转动安装在无人机的底部，并以无人机俯视视角拍摄火场视频和图片，由于光电吊舱的顶部设置有旋转台，旋转台转动安装在无人机的底部并固定在无人机内部的驱动电机的输出端，在对火场情况进行侦查时，无人机携带光电吊舱飞往火场上方后，调整无人机的姿态，让无人机位于火场上方，保证摄像机能够以无人机俯视视角拍摄火场，消防员通过远程终端操控驱动电机工作，可带动安装在驱动电机输出端的旋转台旋转，并带动光电吊舱无人机底部旋转，从而带动安装在光电吊舱上的摄像机转动，能够调节摄像机的拍摄角度，增加了摄像机的拍摄范围，让摄像机拍摄出的火场视频和图片更加全面，有利于消防员对火场情况的把控。
在一个实施例中，远程终端包括静态误差补偿模块和动态误差补偿模块，其中，静态误差补偿模块、动态误差补偿模块基于图像补偿算法对光电吊舱采集到的动态视频中的火场坐标进行修正，得到更加准确的坐标位置信息，在使用时，先选择出含有火场的火场截图，并以火场截图左上角为原点，图片水平方向向右为x轴，图片竖直方向向下为y轴，图片左上角垂直方向为z轴，建立坐标系，再通过图像识别算法识别图片中的火场位置，将火场位置反馈至坐标系中，得到火场的初始坐标点，最后，再通过静态误差补偿模块、动态误差补偿模块对图片中的火场的初始坐标点进行修正，得到更加准确的火场坐标点。
在一个实施例中，基于预先训练的神经网络模型完成地面消防机器人运输车的射流灭火剂的射流落点的初定位，形成射流灭火剂的射流落点的坐标点；在确定地面消防机器人运输和消防炮射流落点位置时，射流落点追踪定位模块通过预先训练的神经网络模型完成射流灭火剂的射流落点的初定位，并基于目标点追踪算法和滤波算法对射流灭火剂的射流落点进行分析，补偿射流灭火剂的射流落点初定位的误差，得到射流灭火剂的初始射流落点，将地面消防机器人运输车位置和射流灭火剂的初始射流落点反馈至坐标系中，形成地面消防机器人运输车坐标点、射流灭火剂的射流落点的坐标点。
在一个实施例中，远程终端基于火场坐标点、地面消防机器人运输车坐标点和射流灭火剂的射流落点的坐标点得到消防炮的偏航角和俯仰角的角度和方向，并将消防炮的偏航角和俯仰角的角度调整数据以及调整角度指令发送至地面消防机器人运输车；远程终端基于神经网络算法对火场坐标点、地面消防机器人运输车坐标点和射流灭火剂的射流落点的坐标点进行处理，得到射流灭火剂的射流落点的坐标点和火场坐标点的误差，并根据射流灭火剂的射流落点的坐标点和火场坐标点的误差计算出消防炮的偏航角和俯仰角的角速度和方向，将消防炮的偏航角和俯仰角的角度调整数据以及调整角度指令发送至地面消防机器人运输车，由地面消防机器人运输车上的车辆控制器接收角度调整数据和调整角度指令，并根据角度调整数据和调整角度指令调整消防炮的偏航角和俯仰角，让射流灭火剂的射流落点的坐标点和火场坐标点重合，控制消防炮对目标火场实施灭火作业，并且，将实时的射流灭火剂的射流落点位置信息作为神经网络控制器的输入，能够对地面消防机器人运输车消防炮调整偏航角和俯仰角后的射流灭火剂的射流落点位置的改变进行查看，便于对比改变后的射流灭火剂的射流落点的坐标点与火场坐标点是否重合，从而达到消防炮对目标火场精准灭火的目的。
在一个实施例中，远程终端获取地面消防机器人运输车的位置，并在坐标系中形成地面消防机器人运输车坐标点；选择距离火场坐标点较近的地面消防机器人运输车匹配无人机；远程终端控制无人机根据地面消防机器人运输车的识别码完成与地面消防机器人运输车的通信模块的匹配，在对无人机和地面消防机器人运输车进行匹配时，框选出含有火场1的图片，以图片左上角为原点，图片水平方向向右为x轴，图片竖直方向向下为y轴，图片左上角垂直方向为z轴，建立坐标系，得到火场1的坐标点，并在坐标系中选择出靠近火场1坐标点的地面消防机器人运输车1，再通过识别码控制无人机与地面消防机器人运输车1匹配，让无人机与地面消防机器人运输车1通讯；框选出含有火场2的图片，以图片左上角为原点，图片水平方向向右为x轴，图片竖直方向向下为y轴，图片左上角垂直方向为z轴，建立坐标系，得到火场2的坐标点，并在坐标系中选择出靠近火场2坐标点的地面消防机器人运输车2，再通过识别码控制无人机与地面消防机器人运输车2匹配，让无人机与地面消防机器人运输车2通讯；框选出含有火场3的图片，以图片左上角为原点，图片水平方向向右为x轴，图片竖直方向向下为y轴，图片左上角垂直方向为z轴，建立坐标系，得到火场3的坐标点，并在坐标系中选择出靠近火场3坐标点的地面消防机器人运输车3，再通过识别码控制无人机与地面消防机器人运输车3匹配，让无人机与地面消防机器人运输车3通讯；框选出含有火场4的图片……；框选出含有火场N的图片，以图片左上角为原点，图片水平方向向右为x轴，图片竖直方向向下为y轴，图片左上角垂直方向为z轴，建立坐标系，得到火场N的坐标点，并在坐标系中选择出靠近火场N坐标点的地面消防机器人运输车N，再通过识别码控制无人机与地面消防机器人运输车N匹配，让无人机与地面消防机器人运输车N通讯；能够根据火场的位置选用地面消防机器人运输车，由地面消防机器人运输车的消防炮对火场实施灭火作业，避免了需要地面消防机器人运输车重新赶往新火场的麻烦出现，提高了灭火效率。
本发明的无人机智能消防灭火系统的灭火方法为：在进行消防灭火工作时，先将系统初始化，重新记录数据，再控制无人机携带光电吊舱飞往火场上方，再通过远程终端操控驱动电机工作，并带动通过旋转台安装在无人机底部的光电吊舱旋转，可由光电吊舱带动安装在其上的摄像机转动，调节摄像机的拍摄角度，让摄像机拍摄出的火场视频和图片更加全面，再将摄像机所拍摄的图片或者视频反馈至远程终端，由消防员在远程终端上查看火场视频或图片，并在火场视频或图片中框选出含有目标火场的火场截图，启动灭火系统，以火场截图左上角为原点，图片水平方向向右为x轴，图片竖直方向向下为y轴，图片左上角垂直方向为z轴，建立坐标系，得到火场目标的初始点，并由静态误差补偿模块和动态误差补偿模块基于图像识别算法对得到的火场目标初始点进行分析补偿，修正目标火场的位置，得到准确的火场坐标点，同时，地面消防机器人运输车将自身位置反馈至坐标系中，得到地面消防机器人运输车坐标点，并让射流落点追踪定位模块通过目标点追踪算法和滤波算法对射流灭火剂的射流落点进行分析、补偿，得到射流灭火剂的射流落点的位置信息，将地面消防机器人运输车的射流灭火剂的射流落点反馈至坐标系中，得到射流灭火剂的射流落点的坐标点，再在坐标系中选择出靠近火场坐标点的地面消防机器人运输车，控制让无人机通过识别码与靠近火场坐标点位置的地面消防机器人运输车进行通信模块匹配，让无人机与地面消防机器人运输车通讯，最后，再通过神经网络算法对火场坐标点、地面消防机器人运输车坐标点和射流灭火剂的射流落点的坐标点进行处理，得到射流灭火剂的射流落点的坐标点和火场坐标点的误差，并根据射流灭火剂的射流落点的坐标点和火场坐标点的误差计算出消防炮的偏航角和俯仰角的角速度和方向，再将消防炮的偏航角和俯仰角的角度调整数据以及调整角度指令发送至地面消防机器人运输车，由地面消防机器人运输车上的车辆控制器接收角度调整数据和调整角度指令，并根据角度调整数据和调整角度指令调整消防炮的偏航角和俯仰角，让射流灭火剂的射流落点的坐标点和火场坐标点重合，再控制消防炮对目标火场实施灭火作业，实现了射流灭火剂的射流落点的精准定位和灭火作业的实施，以此完成目标火场的灭火作业；
在完成本次目标火场的灭火作业后，重新选择出含有新火场目标的图片，并以新图片左上角为原点，图片水平方向向右为x轴，图片竖直方向向下为y轴，图片左上角垂直方向为z轴，建立新坐标系，得到新火场目标的初始点，更新火场坐标点、地面消防机器人运输车坐标点以及射流灭火剂的射流落点的坐标点，让无人机重新匹配与新火场坐标点位置相近的地面消防机器人运输车对新火场实施灭火作业，直至火场目标全部熄灭，无人机返航，结束消防工作。
以上所述的，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种无人机智能消防灭火方法，其特征在于，所述方法包括以下步骤：
步骤一、远程控制无人机携带光电吊舱飞往火场上方，拍摄火场图片或者视频，并将采集到的视频和图片信息反馈至远程终端；
步骤二、远程终端基于步骤一中拍摄的火场图片和视频获得火场截图，根据火场截图建立坐标系，得到火场坐标点，通过远程终端的静态误差补偿模块和动态误差补偿模块基于图像识别算法对所述火场截图进行分析和补偿，得到精确的火场坐标点；
步骤三、远程终端的射流落点追踪定位模块通过预先训练的神经网络模型完成射流灭火剂的射流落点在所述坐标系中的初定位，远程终端基于目标点追踪算法和滤波算法补偿射流灭火剂的射流落点的初定位的误差，得到射流灭火剂的射流落点的坐标点；
步骤四、远程终端获取各个地面消防机器人运输车的位置信息，并在坐标系中形成多个地面消防机器人运输车坐标点；
步骤五、基于步骤二中得到的火场坐标点和步骤四中得到的地面消防机器人运输车坐标点，选择距离火场坐标点较近的地面消防机器人运输车的识别码，匹配无人机与地面消防机器人运输车；
步骤六、远程终端基于神经网络算法调整射流灭火剂的射流落点的坐标点与火场坐标点之间的误差，并根据误差得出消防炮的偏航角和俯仰角的调整角度，将消防炮的偏航角和俯仰角的角度调整数据以及调整角度指令发送至地面消防机器人运输车的车辆控制器；
步骤七、车辆控制器接收调整角度指令并根据角度调整数据调整消防炮的偏航角和俯仰角，控制消防炮对火场实施灭火作业，完成火场的灭火作业；
所述步骤二中的静态误差补偿模块进行如下坐标点补偿：
Figure QLYQS_11
式中，/>
Figure QLYQS_1
、/>
Figure QLYQS_7
、/>
Figure QLYQS_13
分别为火焰点、地面消防机器人运输车点、射流落点在图像坐标系下横坐标像素值，/>
Figure QLYQS_16
、/>
Figure QLYQS_14
、/>
Figure QLYQS_15
分别为火焰点、地面消防机器人运输车点、射流落点在图像坐标系下纵坐标像素值；/>
Figure QLYQS_8
、/>
Figure QLYQS_9
分别表示修正后的目标点像素坐标X和未修正的目标点像素坐标X；/>
Figure QLYQS_2
、/>
Figure QLYQS_6
分别表示修正后的目标点像素坐标Y和未修正的目标点像素坐标Y；/>
Figure QLYQS_3
、/>
Figure QLYQS_5
为图像像素中心位置坐标，/>
Figure QLYQS_10
为选取目标点的高度，/>
Figure QLYQS_12
为相机焦距，/>
Figure QLYQS_4
为无人机当前飞行高度；
所述步骤二中的动态误差补偿模块对所述火场截图进行分析和补偿的具体步骤如下：
a、识别火场截图中的火场和地面消防机器人运输车的阴影处；
b、框选出火场截图中的火场和地面消防机器人运输车作为动态补偿候选特征点提取的区域；
c、基于特征点提取算法对b中框选的区域进行图像特征点提取，得到图像特征点；
d、基于亚像素处理方法对c中提取的图像特征点进行亚像素处理，得到像素坐标的精确值；
e、基于图像金字塔对获得的图像特征点进行火场截图光流场信息计算，获得火场截图图像漂移量的期望值；
f、基于e中得到的火场截图图像漂移量的期望值对获得的火场、地面消防机器人运输车坐标点进行光流补偿，得到修正后的火场坐标点、地面消防机器人运输车坐标点。
2.根据权利要求1所述的一种无人机智能消防灭火方法，其特征在于，所述步骤二中的坐标系是以火场截图左上角为原点，水平方向向右为x轴，竖直方向向下为y轴，左上角垂直方向为z轴，建立坐标系，将火场、地面消防机器人运输车和射流灭火剂的射流落点的位置反馈至坐标系中得到火场坐标点、地面消防机器人运输车坐标点、射流灭火剂的射流落点的坐标点。
3.根据权利要求1所述的一种无人机智能消防灭火方法，其特征在于，所述b中的框选的区域为图像静态局部区域，并且，图像特征点具有5-10个特征点作为候选静态特征点。
4.根据权利要求1-3任意一项所述的一种无人机智能消防灭火的系统，其特征在于，所述系统包括：无人机、光电吊舱、地面消防机器人运输车和远程终端，其中；
所述无人机携带所述光电吊舱飞往火场上方，所述光电吊舱安装在所述无人机下方，并以无人机俯视视角获取火场视频和图片信息，将采集到的火场视频和图片信息发送至所述远程终端；
所述远程终端基于采集到的火场图片和视频获得火场截图，针对所述火场截图建立坐标系，得到火场坐标点；基于预先训练的神经网络模型完成所述地面消防机器人运输车的射流灭火剂的射流落点的初定位，形成射流灭火剂的射流落点的坐标点；所述远程终端获取所述地面消防机器人运输车的位置，并在坐标系中形成地面消防机器人运输车坐标点；选择距离火场坐标点较近的所述地面消防机器人运输车匹配所述无人机；所述远程终端基于火场坐标点、地面消防机器人运输车坐标点和射流灭火剂的射流落点的坐标点得到消防炮的偏航角和俯仰角的角度和方向，并将消防炮的偏航角和俯仰角的角度调整数据以及调整角度指令发送至所述地面消防机器人运输车；
所述地面消防机器人运输车接收所述远程终端发送的指令控制消防炮移动和作业灭火。
5.根据权利要求4所述的一种无人机智能消防灭火系统，其特征在于，所述光电吊舱的底部设置有摄像机，所述摄像机的摄像头垂直向下，且所述摄像机通过所述光电吊舱转动安装在所述无人机的底部，并以所述无人机俯视视角拍摄火场视频和图片。
6.根据权利要求4所述的一种无人机智能消防灭火系统，其特征在于，所述远程终端上设置有射流落点追踪定位模块，所述射流落点追踪定位模块通过预先训练的神经网络模型完成射流灭火剂的射流落点的初定位，并基于目标点追踪算法和滤波算法对射流灭火剂的射流落点进行分析，得到初始射流落点的位置信息，将实时的射流落点位置信息作为神经网络控制器的输入。
7.根据权利要求4所述的一种无人机智能消防灭火系统，其特征在于，所述地面消防机器人运输车上设置有通信模块，所述地面消防机器人运输车通过通信模块与所述无人机进行匹配通讯，并且，所述地面消防机器人运输车上设置有车辆控制器，车辆控制器接收角度调整数据和调整角度指令，并根据角度调整数据和调整角度指令调整消防炮的偏航角和俯仰角，让射流灭火剂的射流落点的坐标点和火场坐标点重合，控制消防炮对火场实施灭火作业。
CN202310404913.9A 2023-04-17 2023-04-17 一种无人机智能消防灭火系统及方法 Active CN116139430B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310404913.9A CN116139430B (zh) 2023-04-17 2023-04-17 一种无人机智能消防灭火系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310404913.9A CN116139430B (zh) 2023-04-17 2023-04-17 一种无人机智能消防灭火系统及方法

Publications (2)

Publication Number Publication Date
CN116139430A CN116139430A (zh) 2023-05-23
CN116139430B true CN116139430B (zh) 2023-07-07

Family

ID=86362106

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310404913.9A Active CN116139430B (zh) 2023-04-17 2023-04-17 一种无人机智能消防灭火系统及方法

Country Status (1)

Country Link
CN (1) CN116139430B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117218514B (zh) * 2023-11-09 2024-01-23 中国矿业大学 一种无人机视觉灭火决策方法及系统
CN117968851A (zh) * 2023-12-29 2024-05-03 大湾区大学(筹) 基于红外热成像协同传感的火灾定位方法、装置和介质
CN118015047B (zh) * 2024-04-08 2024-07-16 天津所托瑞安汽车科技有限公司 多目标跟踪方法、装置、设备及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN207950388U (zh) * 2017-12-07 2018-10-12 南京航空航天大学 基于无人机和智能消防机器人的精确灭火系统
CN110694217A (zh) * 2019-10-09 2020-01-17 武汉德创天成科技发展有限公司 一种基于人工智能的灭火系统
AU2020101085A4 (en) * 2020-06-23 2020-07-23 Casic Simulation Technology Co., Ltd. A Fire Extinguishing Device for High-rise Buildings Based on UAV
CN111991720A (zh) * 2020-08-31 2020-11-27 熊新明 一种智能森林灭火系统
CN112774073B (zh) * 2021-02-05 2022-02-11 燕山大学 无人机引导的多机协作灭火方法及其灭火系统
BR102021016894A2 (pt) * 2021-08-26 2023-03-07 André Augusto Ceballos Melo Método e sistema de inteligência artificial e inteligência de enxame em ambientes simulados para drones e robôs autônomos para supressão de incêndios florestais.
CN114307016B (zh) * 2021-11-22 2022-12-13 中国矿业大学 一种基于无人机视觉辅助消防炮灭火系统及控制方法
CN115035027A (zh) * 2022-04-29 2022-09-09 大连海事大学 一种基于荧光特性的消防闭环控制方法及系统

Also Published As

Publication number Publication date
CN116139430A (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
CN116139430B (zh) 一种无人机智能消防灭火系统及方法
CN112164015B (zh) 单目视觉自主巡检图像采集方法、装置及电力巡检无人机
CN107899166B (zh) 基于无人机和智能消防机器人的精确灭火系统及方法
CN111766897B (zh) 一种输电线路的通道巡视方法、无人机和系统
EP2597422B1 (en) Aerial photograph image pickup method and aerial photograph image pickup apparatus
CN105759839A (zh) 无人机视觉跟踪方法、装置以及无人机
JP6337226B1 (ja) 異常箇所検出システム
CN114307016B (zh) 一种基于无人机视觉辅助消防炮灭火系统及控制方法
CN207950388U (zh) 基于无人机和智能消防机器人的精确灭火系统
JP7044293B2 (ja) 設備点検システム
CN105979147A (zh) 一种无人机智能拍摄方法
CN107343177A (zh) 一种无人机全景视频的拍摄控制方法
CN109660721B (zh) 无人机飞行拍摄质量优化方法、系统、设备及存储介质
CN112331015A (zh) 一种电力设备无人机巡检虚拟仿真培训系统及方法
CN103730864B (zh) 无人机电力线路巡检的协同控制方法
CN103744390B (zh) 无人机电力线路巡检的协同控制方法
JP6362750B1 (ja) 異常箇所検出システム
US11107245B2 (en) Image processing device, ranging device, and method
JP2005265710A (ja) 無人飛行体を用いた送電線点検システムおよび方法
CN113031462A (zh) 无人机用港机巡检航线规划系统及方法
CN107323677B (zh) 无人机辅助降落方法、装置、设备及存储介质
CN113274663B (zh) 一种消防型无人机的控制方法、装置和计算设备
CN111103608A (zh) 一种用在林业勘测工作中的定位装置及方法
CN107544481A (zh) 一种无人机巡视控制方法、装置及系统
CN115337581B (zh) 一种基于多目视觉消防系统的消防灭火方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant