CN115337581B - 一种基于多目视觉消防系统的消防灭火方法 - Google Patents

一种基于多目视觉消防系统的消防灭火方法 Download PDF

Info

Publication number
CN115337581B
CN115337581B CN202211258327.XA CN202211258327A CN115337581B CN 115337581 B CN115337581 B CN 115337581B CN 202211258327 A CN202211258327 A CN 202211258327A CN 115337581 B CN115337581 B CN 115337581B
Authority
CN
China
Prior art keywords
vision system
fire
monitoring
binocular vision
fire scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211258327.XA
Other languages
English (en)
Other versions
CN115337581A (zh
Inventor
潘禄
李伟
朱劲松
刘中冠
张博
王勇
赵桔贤
朱骁
赵威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology CUMT
Original Assignee
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology CUMT filed Critical China University of Mining and Technology CUMT
Priority to CN202211258327.XA priority Critical patent/CN115337581B/zh
Publication of CN115337581A publication Critical patent/CN115337581A/zh
Application granted granted Critical
Publication of CN115337581B publication Critical patent/CN115337581B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A62LIFE-SAVING; FIRE-FIGHTING
    • A62CFIRE-FIGHTING
    • A62C27/00Fire-fighting land vehicles
    • AHUMAN NECESSITIES
    • A62LIFE-SAVING; FIRE-FIGHTING
    • A62CFIRE-FIGHTING
    • A62C31/00Delivery of fire-extinguishing material
    • A62C31/02Nozzles specially adapted for fire-extinguishing
    • A62C31/03Nozzles specially adapted for fire-extinguishing adjustable, e.g. from spray to jet or vice versa
    • AHUMAN NECESSITIES
    • A62LIFE-SAVING; FIRE-FIGHTING
    • A62CFIRE-FIGHTING
    • A62C31/00Delivery of fire-extinguishing material
    • A62C31/28Accessories for delivery devices, e.g. supports
    • AHUMAN NECESSITIES
    • A62LIFE-SAVING; FIRE-FIGHTING
    • A62CFIRE-FIGHTING
    • A62C37/00Control of fire-fighting equipment

Abstract

本发明涉及一种基于多目视觉消防系统的消防灭火方法,多目视觉消防系统包括消防炮、双目视觉系统、监测视觉系统,移动底盘和控制系统;双目视觉系统作为载体安装在移动底盘上,用于获取火场的双目图像、识别火场并获取火场的三维位置;监测视觉系统作为载体安装在移动底盘上,用于获取火场的图像和识别火场;消防炮作为载体安装在移动底盘上,用于向火场发射灭火射流,同时具有水平与俯仰角度反馈功能;控制系统,与移动底盘、消防炮、双目视觉系统以及监测视觉系统的控制信号连接。本申请通过监测相机可扩大双目相机的视野,并且提出了基于监测相机的双目视觉系统快速对准火场方法,提高了双目视觉系统的快速性和视野范围。

Description

一种基于多目视觉消防系统的消防灭火方法
技术领域
本申请涉及消防灭火,具体地,涉及一种基于多目视觉消防系统的消防灭火方法。
背景技术
火灾是现代文明社会最具有破坏力的灾害现象之一,在火灾现场,存在大火自身、建筑物容易倒塌和易爆物品容易出现爆炸伤人等诸多潜在危险,依靠传统的人工去近距离灭火极易造成人员伤亡事故,随着社会发展,具备智能化水平的消防炮已成为主流发展趋势,消防炮在大型火灾现场中发挥着不可替代的优势,以其流量大、压力高、射程远的特点受到各行各业的广泛使用。
由于消防炮是一些消防设施的必备品,在飞机场、石化工厂、车站等场合下都发挥着重要作用。消防炮目前有固定式消防炮和移动式消防炮,主要运用在远距离灭火场合,一定程度上避免了消防人员的潜在危险。消防炮的执行结构主要为水平回转结构和俯仰回转结构,故消防炮的有效射程范围较广。其中移动式消防炮的特点是,消防炮架在可移动的支架上,可以在一定范围内移动,灭火的灵活性相比于固定式要好。
其中,以视觉为主的智能化消防炮可在无人参与的情况进行发现火场、定位火场等灭火动作,提高了灭火效率,降低了人为参与灭火发生的事故率,从而更好保障人员安全。
现有专利中,申请号CN200910235406.7的专利提出了一种用于气浮机械臂遥操作的三目视觉装置,增加了主动视觉功能,使平台上的摄像头自适应的跟踪目标物,提高遥操作的效率;克服了单目视觉在操作过程中容易被遮挡的弊端,同时利用三目视觉还能给出到目标物的深度信息,利于遥操作人员在操作过程中对远端环境的了解,避免了碰撞等意外的发生,为遥操作任务的顺利完成提供保障。该专利仅是提到可用于测量深度信息,并未指出如何测量,且并未说明三台相机是如何协同工作的。
申请号为CN202011523123.5的专利一种智能管道检测机器人及其控制方法,公开了监控摄像机用于采集管道内的视频,双目相机用于采集管道缺陷区域的图像,电控清洁组件用于清除管道壁上的杂质,监控摄像机,与双目相机配合,可以采集管道内部完整图像以及机器人的移动位置监测,确保图像的准确性和全面性。该专利未说明监控相机是如何与双目相机配合的。
申请号为CN202110800602.5的专利提出了一种基于三目视觉的运动目标跟踪系统,公开了一个枪机加两个PTZ球机的三目视觉系统,提出了一种多自由度机械臂辅助的摄像机参数标定方法,该专利的目的是用于三台相机追踪目标,不具备测距功能。
申请号为CN202111031047.0的专利提出了一种多自由度位姿实时调整的双目视觉检测系统、方法、装置,多自由度位姿实时调整双目视觉模块以及双目视觉实时标定模块,能够同时实现双目视觉的自适应调节以及实时标定的稳定性。该专利用于检测双目相机的位姿,实现双目视觉系统的实时标定,并未涉及灭火监控的视觉检测和定位。
针对以上的现有专利再结合现有技术,存在以下问题,亟待改进:
现有搭载双目视觉设备的灭火系统未考虑远距离定位时,视野变小的问题:当视野变小,会出现火场不在双目视觉系统视野范围内的情况,此时需要人为调整,使火场出现在双目视野中,从而降低了灭火系统的自动化程度,影响了灭火效率;
尤其是在远距离火场定位时,为保证精度,双目视觉系统的焦距会很大,其视野非常小,仅能识别到大片火场的一小部分;同时,长焦双目视觉系统仅能获取得灭火射流的一小部分,难以对灭火射流的状态进行监测。
发明内容
本申请解决背景技术中提出的技术问题,提出了一种基于多目视觉消防系统的消防灭火方法,通过监测相机可扩大双目相机的视野,并且提出了基于监测相机的双目视觉系统快速对准火场方法,提高了双目视觉系统的快速性和视野范围。
为解决上述技术问题,本申请提供的技术方案为:一种基于多目视觉消防系统的消防灭火方法,多目视觉消防系统包括消防炮、双目视觉系统、监测视觉系统、移动底盘和控制系统;双目视觉系统包括摄像机一、摄像机二和旋转云台一,监测视觉系统包括摄像机三和旋转云台二,其特征在于,
消防灭火方法包括如下步骤:
S1、监测视觉系统转动识别火场,并调整至使所识别的火场处于监测视觉系统的视野中心,控制系统记录监测视觉系统的转动角度和位置信息;
S2、基于监测视觉系统的转动角度和位置信息,通过控制系统调整双目视觉系统对准当前火场,并使当前火场处于双目视觉系统的视野中心,具体过程为:
S21、转动双目视觉系统,使其光轴与监测视觉系统的光轴平行,获得双目视觉系统的视野中心在监测视觉系统视野中的位置信息;
S22、基于双目视觉系统的视野中心在监测视觉系统视野中的位置信息,以及双目 视觉系统和监测视觉系统的视场角信息,控制系统得到转动双目视觉系统使得火场至其视 野中心所需的水平角度
Figure 277220DEST_PATH_IMAGE002
与俯仰角度
Figure 636658DEST_PATH_IMAGE004
S23、通过控制系统调整双目视觉系统转动水平角度
Figure 27188DEST_PATH_IMAGE005
与俯仰角度
Figure 963920DEST_PATH_IMAGE006
,在此过 程中,监测视觉系统与双目视觉系统同步转动与停止,转动上述角度后,基于监测视觉系统 反馈的火场的信息对双目视觉系统进行二次校准,使得火场置于双目视觉系统的视野中 心;
S3、基于控制系统获得的火场的空间三维坐标的位置信息,消防炮完成灭火,具体过程为:
S31、双目视觉系统获取火场的空间三维坐标
Figure 340674DEST_PATH_IMAGE007
并发送至控制系统;
S32、控制系统基于空间三维坐标获得消防炮对转火场需要的水平角度
Figure 679252DEST_PATH_IMAGE009
与俯 仰角度
Figure 116049DEST_PATH_IMAGE011
S33、所述消防炮(1)转动
Figure 307122DEST_PATH_IMAGE013
Figure 346622DEST_PATH_IMAGE015
角度,对准所述火场,喷射灭火射流;
S4、所述监测视觉系统(3)识别灭火射流与所述火场,所述控制系统判断所述火场被扑灭后,所述监测视觉系统(3)扫描识别下一处火场。
进一步的,步骤S1还包括:
S11、所述旋转云台二(9)作水平与俯仰旋转运动,在运动过程中,所述摄像机三 (8)实时采集图像并识别火场,将识别出的火场图像和火场位置信息传输至所述控制系统, 同时所述控制系统记录所述旋转云台二(9)的水平角度值
Figure 680651DEST_PATH_IMAGE016
和俯仰角度值
Figure 147405DEST_PATH_IMAGE018
S12、根据所述控制系统的反馈信息,在所识别的火场处于所述摄像机三(8)的图 像正中心
Figure 199674DEST_PATH_IMAGE019
时,所述旋转云台二(9)停止运动。
进一步的,在步骤S22中,获得所述双目视觉系统(2)视野中心在所述监测视觉系统(3)视野中的方法为:
记录所述双目视觉系统(2)视场角为水平角度值βH和俯仰角度值βV,所述监测视觉系统(3)的视场角为水平角度值αH和俯仰角度值αV,所述双目视觉系统(2)在所述监测视觉系统(3)中的范围表示为:
Figure 42865DEST_PATH_IMAGE020
其中,u和v为所述双目视觉系统(2)在所述监测视觉系统(3)中的水平和俯仰视场范围,
得到所述双目视觉系统(2)的中心位于所述监测视觉系统(3)视场中的中心位置为:
Figure 860429DEST_PATH_IMAGE022
进一步的,在步骤S22中,获得所述双目视觉系统(2)对准所述火场所需转动的水 平
Figure 639030DEST_PATH_IMAGE024
与俯仰旋转角度
Figure 37650DEST_PATH_IMAGE026
,公式为:
Figure 559898DEST_PATH_IMAGE028
其中,
Figure 727574DEST_PATH_IMAGE030
为所述双目视觉系统(2)视野中心在所述监测视觉系统(3)视野 中的位置,
Figure 801710DEST_PATH_IMAGE032
Figure 562992DEST_PATH_IMAGE034
分别为所述旋转云台一的水平角度值和俯仰角度值,
Figure 249451DEST_PATH_IMAGE036
Figure 412579DEST_PATH_IMAGE038
分别 为所述旋转云台二的水平角度值和俯仰角度值。
进一步的,步骤S23还包括:
S231、所述双目视觉系统(2)转动
Figure 657615DEST_PATH_IMAGE040
角度后,识别火场,若未发现火场, 则由所述监测视觉系统(3)重新识别火场,并根据所述火场与所述双目视觉系统(2)在所述 监测视觉系统(3)中的范围u和v边界的像素关系,确定所述双目视觉系统(2)的移动方向; 以及
S232、基于所述移动方向,所述双目视觉系统(2)进行水平和俯仰转动直至识别到所述火场,当所述火场出现在双目视觉系统(2)的视野中,则以所述双目视觉系统(2)的视野中心与所述火场的图像偏差为输入,设计基于相机切换的视觉伺服控制器,以所述双目视觉系统(2)的转速为输出,调整所述双目视觉系统(2)的转速,直至所述火场出现在双目视觉系统(2)的视野中心。
进一步的,步骤S232中,设计基于相机切换的视觉伺服控制器用下式表示:
Figure 30828DEST_PATH_IMAGE041
其中,
Figure 629299DEST_PATH_IMAGE043
为所述旋转云台一和所述旋转云台二的同步旋转速度,g1和g2为逻辑 切换器,
Figure 37147DEST_PATH_IMAGE044
Figure 686041DEST_PATH_IMAGE045
为比例控制系数,
Figure 156336DEST_PATH_IMAGE046
为基于所述双目视觉系统与所述旋转云台一的 复合雅克比矩阵,
Figure 948712DEST_PATH_IMAGE047
为基于所述监测视觉系统与所述旋转云台二的复合雅克比矩阵,
Figure 86432DEST_PATH_IMAGE048
为基于所述双目视觉系统图像的火点变化速率,
Figure 407692DEST_PATH_IMAGE049
为基于所述监测视 觉系统图像的火点变化速率。
进一步的,在步骤S4中,所述控制系统判断灭火射流是否命中火场时,若未命中火场,所述控制系统发出指令控制所述消防炮(1)水平旋转和俯仰旋转,直到灭火射流命中当前火场。
进一步的,在步骤S4中,所述控制系统判断当前火场是否被扑灭,若未扑灭,则保持所述消防炮(1)当前状态,所述监测视觉系统(3)监测灭火射流与火场状态;若已经扑灭,所述监测视觉系统(3)识别下一处火场;
所述控制系统获得所述双目视觉系统(2)和所述消防炮(1)对准下一处火场的水平与俯仰角度值,完成对准后,所述监测视觉系统(3)监测射流与火场状态,重复此循环,直至所述监测视觉系统(3)在任意水平与俯仰角度下都识别不到火场。
进一步的,所述监测视觉系统(3)的焦距小于所述双目视觉系统(2)的焦距,所述监测视觉系统(3)的视野范围大于所述双目视觉系统(2)的视野范围,并且所述双目视觉系统(2)与所述监测视觉系统(3)的感光元件为自然光感应器或红外热成像仪。
一种多目视觉消防系统,多目视觉消防系统包括消防炮、双目视觉系统、监测视觉系统、移动底盘和控制系统;双目视觉系统包括摄像机一、摄像机二和旋转云台一,监测视觉系统包括摄像机三和旋转云台二。
本申请具有如下优点:本申请提出一种三目变视角视觉系统的消防灭火系统,灭火系统由监测相机、双目视觉系统、移动地盘、控制系统以及消防炮组成。监测相机的焦距较小,视场广泛,双目视觉系统的焦距较大,视场较小,从而监测相机为双目视觉系统提供宽视场的火场图像坐标信息,双目视觉系统为控制系统提供火场空间信息,控制系统控制消防炮转动到指定角度,进而实现火场对准与灭火。
三目变视角视觉系统的应用,尤其是在远距离火场定位时,为了保证精度,双目视觉系统的焦距会很大,其视野非常小,仅能识别到大片火场的一小部分;同时,若依赖双目视觉系统自主旋转寻找火场,由于视野受限,其效率也比较低。相对于单一的双目视觉系统,监测视觉系统可以提供更加宽广的视野,在大视野内寻找火场,并计算双目视觉系统对转火场需要的角度,解决了双目视觉系统尤其是在远距离下由于小视野造成的无法有效定位火场,灭火效率低的问题,同时监测相机实时监测灭火射流与火场状态,确保了灭火射流持续命中火场,有进一步的提高了灭火作业的效率和系统的鲁棒性,实现快速灭火保障安全可靠。
附图说明
图1是根据本发明实施例的系统整体结构示意图。
图2是根据本发明实施例中双目视觉系统的结构示意图。
图3是根据本发明实施例中监测视觉系统的结构示意图。
图4是根据本发明实施例的双目视觉系统对转火场的控制流程图。
图5是根据本发明实施例的双目视觉系统二次调整控制流程图。
图6是根据本发明实施例的监测视觉系统的监测流程图。
图7是根据本发明实施例的工作方法整体流程图。
如图所示:1、消防炮;2、双目视觉系统;3、监测视觉系统;4、移动底盘;5、摄像机一;6、摄像机二;7、旋转云台一;8、摄像机三;9、旋转云台二。
具体实施方式
下面结合实施例对本申请做进一步的详细说明。
本申请在具体实施时,克服了在消防领域使用双目视觉系统未考虑到视野受限的问题,以及提供如何使双目视觉系统快速定位到火场的方法。
结合附图1-3所示,本申请提供的一种基于多目视觉消防系统的消防灭火方法,系统包括:消防炮1、双目视觉系统2、监测视觉系统3,移动底盘4,控制系统。
其中,双目视觉系统2包括摄像机一5、摄像机二6、旋转云台一7,摄像机一5、摄像机二6平行安装在旋转云台一7之上,可同步完成任意角度的水平与俯仰旋转,旋转云台一7可反馈水平与俯仰旋转角度;双目视觉系统2作为载体安装在移动底盘4上,安装位置任意,用于获取火场的双目图像,识别火场并获取火场的三维位置。
监测视觉系统3包括摄像机三8、旋转云台二9,摄像机三8安装于旋转云台二9上,可完成任意角度的水平与俯仰旋转,旋转云台二9可反馈水平与俯仰旋转角度;监测视觉系统3作为载体安装在移动底盘4上,安装位置任意,用于获取火场的图像,识别火场。
移动底盘4内置驱动装置,可将载体移动至任意位置。
消防炮1,用于向火场发射灭火射流,同时具有水平与俯仰角度反馈功能,作为载体安装在移动底盘4上。
控制系统,与移动底盘4、消防炮1、双目视觉系统2以及监测视觉系统3的控制信号连接。
监测视觉系统3的焦距小于双目视觉系统2的焦距,监测视觉系统3的视野大于双目视觉系统2的视野。双目视觉系统与监测视觉系统的感光元件为自然光感应器或红外热成像仪。
如附图4所示,描述了监测视觉系统大视野辅助下双目视觉系统对准火场的控制流程。监测视觉系统3在大视野内搜索识别火场,其中,云台进行水平和俯仰同步旋转,旋转过程中,监测视觉系统3以最高帧率拍摄环境图片,环境图片传输至控制系统,通过火场识别算法判断是否存在火场,若存在,监测视觉系统进行慢速调整,直至火场出现在摄像机三的图像正中心。
其中,大视野指成像视野范围更大的区域,能够避免盲目搜索。
将火场图像传输至控制系统,所控制系统计算双目视觉系统2在小视野内对准火场所需的角度。大视野指基于大视野的成像视野范围更小的区域,定位更精准。
监测视觉系统3作水平与俯仰旋转运动,在运动过程中,实时采集图像并识别火 场,识别到火场后作慢速调整,直至火场处于摄像机三8的图像正中心
Figure 489918DEST_PATH_IMAGE050
控制系统记录旋转云台一7的水平角度值
Figure 695771DEST_PATH_IMAGE051
、俯仰角度值
Figure 314096DEST_PATH_IMAGE052
,旋转云台二9的水 平角度值
Figure 71837DEST_PATH_IMAGE053
、俯仰角度值
Figure 782304DEST_PATH_IMAGE054
;当双目视觉系统2光轴与监测视觉系统3的光轴平行时,双目 视觉系统2视野中心在监测视觉系统3的视野中的位置为
Figure 385324DEST_PATH_IMAGE055
由于双目视觉系统与监测视觉系统的安装位置任意,因此,提出一种快速计算双目视觉系统2视野中心在监测视觉系统3视野中点的方法,如下:
首先,双目视觉系统视场角为水平角度值βH和俯仰角度值βV,监测视觉系统的视场角为水平角度值αH和俯仰角度值αV,那么双目视觉系统在监测视觉系统中的范围为:
Figure 497636DEST_PATH_IMAGE056
其中,u和v为双目视觉系统在监测视觉系统中的水平和俯仰视场范围。
然后,由上式计算得到双目视觉系统中心位于检测视觉系统视场中的中心位置为:
Figure 426278DEST_PATH_IMAGE058
根据以上角度值与像素值计算双目视觉系统2对转火场所需的水平
Figure DEST_PATH_IMAGE059
与俯仰旋 转角度
Figure 444613DEST_PATH_IMAGE060
,在此过程中,监测视觉系统与双目视觉系统同步转动与停止,转动上述角度 后,基于监测视觉系统反馈的火场的信息对双目视觉系统进行二次校准,使得火场置于双 目视觉系统的视野中心;提出不依赖深度信息的火场快速对准角度计算模型,计算公式为:
Figure 851323DEST_PATH_IMAGE062
其中,f为摄像机三8的焦距值,c为相机主点位置,cx=u,cy=v。通过以上公式,可在目标深度信息未知情况下,仅依靠不具备定位功能的监测视觉系统完成火场出现在双目视觉系统的视野中。
如图5所示,描述了双目视觉系统转动完角度后二次对准控制流程,用于确保火场 出现在双目视觉系统2的视野中心。双目视觉系统2转动
Figure 818142DEST_PATH_IMAGE063
角度后,双目视觉系统识 别火场,若未发现火场,则由监测视觉系统识别火场,并根据火场与双目视觉系统在监测视 觉系统中的范围u和v边界的像素关系,确定双目视觉系统的移动方向;双目视觉系统进行 水平和俯仰转动直至双目视觉系统识别到火场;当火场出现在双目视觉系统2的视野中,则 以双目视野中心与火场的图像偏差为输入,建立基于图像的视觉伺服控制器,以双目视觉 系统2的转速为输出,调整双目视觉系统2的转速,直至火场出现在双目视觉系统2的视野正 中心。
设计基于相机切换的视觉伺服控制器用下式表示:
Figure 917685DEST_PATH_IMAGE064
其中,
Figure 461799DEST_PATH_IMAGE065
为旋转云台一和旋转云台二的同步旋转速度,g1和g2为逻辑切换器,
Figure 547567DEST_PATH_IMAGE066
Figure DEST_PATH_IMAGE067
为比例控制系数,
Figure 463833DEST_PATH_IMAGE068
为基于双目视觉系统与旋转云台一的复合雅克比矩阵,
Figure DEST_PATH_IMAGE069
为基于监测视觉系统与旋转云台二的复合雅克比矩阵,
Figure DEST_PATH_IMAGE071
为基于双目视觉系统 图像的火点变化速率,
Figure DEST_PATH_IMAGE073
为基于监测视觉系统图像的火点变化速率。
双目视觉系统2获取目标火场的空间三维坐标
Figure 858911DEST_PATH_IMAGE075
控制系统计算消防炮对转目标火场需要的水平角度
Figure 388856DEST_PATH_IMAGE076
与俯仰角度
Figure 12735DEST_PATH_IMAGE077
消防炮1转动
Figure 813201DEST_PATH_IMAGE076
Figure 520126DEST_PATH_IMAGE078
角度,对准目标火场,喷射灭火射流。
如图6所示,描述了监测视觉系统3监测射流与火场状态的流程,监测视觉系统3识别灭火射流与当前火场,控制系统判断灭火射流是否命中火场;若未命中火场,控制系统发出指令控制消防炮1水平旋转和俯仰旋转,直到灭火射流命中当前火场;
其中,判定是否命中的标准为:控制系统通过判断图像坐标系下的灭火射流落点是否与火场重合,若重合,则判定为射流命中火场,反之,射流未命中火场,控制系统发出指令控制消防炮1水平旋转和俯仰旋转,直到灭火射流命中当前火场。
控制系统进一步判断当前火场是否被扑灭,若未扑灭,则保持消防炮1当前状态,监测视觉系统3时刻监测灭火射流与火场状态;若已经扑灭,则重复前文的监测视觉系统3在大范围内识别火场的动作,来识别下一处火场,控制系统计算双目视觉系统2和消防炮1对准下一处火场的水平与俯仰角度值,完成对准后,监测视觉系统3监测射流与火场状态,重复此循环,直至监测视觉系统3在任意水平与俯仰角度下都识别不到火场。
如图7所示,描述了本发明的整体系统灭火工作方法流程。
尽管主要参照确定的实施形式已示出和已描述本发明,但是熟悉本专业领域的技术人员应理解,可以对其在构建方案和细节方面等进行众多改变,而不背离权利要求所限定的保护范围。因而,本发明的保护范围通过权利要求来确定,并且包括落入权利要求的词义或者等同范围之下的所有改变。

Claims (8)

1.一种基于多目视觉消防系统的消防灭火方法,所述多目视觉消防系统包括消防炮(1)、双目视觉系统(2)、监测视觉系统(3)、移动底盘(4)和控制系统;所述双目视觉系统(2)包括摄像机一(5)、摄像机二(6)和旋转云台一(7),所述监测视觉系统(3)包括摄像机三(8)和旋转云台二(9),其特征在于,
所述消防灭火方法包括如下步骤:
S1、所述监测视觉系统(3)转动识别火场,并调整至使所识别的火场处于所述监测视觉系统(3)的视野中心,所述控制系统记录所述监测视觉系统(3)的转动角度和位置信息;
S2、基于所述监测视觉系统(3)的转动角度和位置信息,通过所述控制系统调整所述双目视觉系统(2)对准当前火场,并使所述当前火场处于所述双目视觉系统(2)的视野中心,具体过程为:
S21、转动所述双目视觉系统(2),使其光轴与所述监测视觉系统(3)的光轴平行,获得所述双目视觉系统(2)的视野中心在所述监测视觉系统(3)视野中的位置信息;
S22、基于所述双目视觉系统(2)的视野中心在所述监测视觉系统(3)视野中的位置信息,以及所述双目视觉系统(2)和所述监测视觉系统(3)的视场角信息,所述控制系统得到转动所述双目视觉系统(2)使得所述火场至其视野中心所需的水平角度
Figure FDA0003963907060000011
与俯仰角度
Figure FDA0003963907060000012
获得所述双目视觉系统(2)视野中心在所述监测视觉系统(3)视野中的方法为:
记录所述双目视觉系统(2)视场角为水平角度值βH和俯仰角度值βV,所述监测视觉系统(3)的视场角为水平角度值αH和俯仰角度值αV,所述双目视觉系统(2)在所述监测视觉系统(3)中的范围表示为:
Figure FDA0003963907060000013
其中,u和v为所述双目视觉系统(2)在所述监测视觉系统(3)中的水平和俯仰视场范围,得到所述双目视觉系统(2)的中心位于所述监测视觉系统(3)视场中的中心位置为:
Figure FDA0003963907060000021
S23、通过所述控制系统调整所述双目视觉系统(2)转动水平角度
Figure FDA0003963907060000022
与俯仰角度
Figure FDA0003963907060000023
在此过程中,所述监测视觉系统(3)与所述双目视觉系统(2)同步转动与停止,转动上述角度后,基于所述监测视觉系统(3)反馈的所述火场的信息对所述双目视觉系统(2)进行二次校准,使得所述火场置于所述双目视觉系统(2)的视野中心;
S3、基于所述控制系统获得的所述火场的空间三维坐标的位置信息,所述消防炮(1)完成灭火,具体过程为:
S31、所述双目视觉系统(2)获取所述火场的空间三维坐标(fx,fy,fz)并发送至所述控制系统;
S32、所述控制系统基于所述空间三维坐标获得所述消防炮(1)对转所述火场需要的水平角度Myaw与俯仰角度Mpitch
S33、所述消防炮(1)转动Myaw、Mpitch角度,对准所述火场,喷射灭火射流;
S4、所述监测视觉系统(3)识别灭火射流与所述火场,所述控制系统判断所述火场被扑灭后,所述监测视觉系统(3)扫描识别下一处火场。
2.根据权利要求1所述的消防灭火方法,其特征在于,步骤S1还包括:
S11、所述旋转云台二(9)作水平与俯仰旋转运动,在运动过程中,所述摄像机三(8)实时采集图像并识别火场,将识别出的火场图像和火场位置信息传输至所述控制系统,同时所述控制系统记录所述旋转云台二(9)的水平角度值βy和俯仰角度值βp
S12、根据所述控制系统的反馈信息,在所识别的火场处于所述摄像机三(8)的图像正中心(cx,cy)时,所述旋转云台二(9)停止运动。
3.根据权利要求1所述的消防灭火方法,其特征在于,在步骤S22中,获得所述双目视觉系统(2)对准所述火场所需转动的水平
Figure FDA0003963907060000024
与俯仰旋转角度
Figure FDA0003963907060000025
公式为:
Figure FDA0003963907060000026
其中,(fx,fy)为所述双目视觉系统(2)视野中心在所述监测视觉系统(3)视野中的位置,αy、αp分别为所述旋转云台一的水平角度值和俯仰角度值,βy和βp分别为所述旋转云台二的水平角度值和俯仰角度值。
4.根据权利要求3所述的消防灭火方法,其特征在于,步骤S23还包括:
S231、所述双目视觉系统(2)转动
Figure FDA0003963907060000031
角度后,识别火场,若未发现火场,则由所述监测视觉系统(3)重新识别火场,并根据所述火场与所述双目视觉系统(2)在所述监测视觉系统(3)中的范围u和v边界的像素关系,确定所述双目视觉系统(2)的移动方向;以及
S232、基于所述移动方向,所述双目视觉系统(2)进行水平和俯仰转动直至识别到所述火场,当所述火场出现在双目视觉系统(2)的视野中,则以所述双目视觉系统(2)的视野中心与所述火场的图像偏差为输入,设计基于相机切换的视觉伺服控制器,以所述双目视觉系统(2)的转速为输出,调整所述双目视觉系统(2)的转速,直至所述火场出现在双目视觉系统(2)的视野中心。
5.根据权利要求4所述的消防灭火方法,其特征在于:步骤S232中,设计基于相机切换的视觉伺服控制器用下式表示:
Figure FDA0003963907060000032
其中,ωc为所述旋转云台一和所述旋转云台二的同步旋转速度,g1和g2为逻辑切换器,λ1与λ3为比例控制系数,
Figure FDA0003963907060000033
为基于所述双目视觉系统与所述旋转云台一的复合雅克比矩阵,
Figure FDA0003963907060000034
为基于所述监测视觉系统与所述旋转云台二的复合雅克比矩阵,s&(t)(2)为基于所述双目视觉系统图像的火点变化速率,s&(t)(3)为基于所述监测视觉系统图像的火点变化速率。
6.根据权利要求1所述的消防灭火方法,其特征在于,在步骤S4中,所述控制系统判断灭火射流是否命中火场时,若未命中火场,所述控制系统发出指令控制所述消防炮(1)水平旋转和俯仰旋转,直到灭火射流命中当前火场。
7.根据权利要求6所述的消防灭火方法,其特征在于,在步骤S4中,所述控制系统判断当前火场是否被扑灭,若未扑灭,则保持所述消防炮(1)当前状态,所述监测视觉系统(3)监测灭火射流与火场状态;若已经扑灭,所述监测视觉系统(3)识别下一处火场;
所述控制系统获得所述双目视觉系统(2)和所述消防炮(1)对准下一处火场的水平与俯仰角度值,完成对准后,所述监测视觉系统(3)监测射流与火场状态,重复此循环,直至所述监测视觉系统(3)在任意水平与俯仰角度下都识别不到火场。
8.根据权利要求1所述的消防灭火方法,其特征在于,所述监测视觉系统(3)的焦距小于所述双目视觉系统(2)的焦距,所述监测视觉系统(3)的视野范围大于所述双目视觉系统(2)的视野范围,并且所述双目视觉系统(2)与所述监测视觉系统(3)的感光元件为自然光感应器或红外热成像仪。
CN202211258327.XA 2022-10-14 2022-10-14 一种基于多目视觉消防系统的消防灭火方法 Active CN115337581B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211258327.XA CN115337581B (zh) 2022-10-14 2022-10-14 一种基于多目视觉消防系统的消防灭火方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211258327.XA CN115337581B (zh) 2022-10-14 2022-10-14 一种基于多目视觉消防系统的消防灭火方法

Publications (2)

Publication Number Publication Date
CN115337581A CN115337581A (zh) 2022-11-15
CN115337581B true CN115337581B (zh) 2022-12-27

Family

ID=83956963

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211258327.XA Active CN115337581B (zh) 2022-10-14 2022-10-14 一种基于多目视觉消防系统的消防灭火方法

Country Status (1)

Country Link
CN (1) CN115337581B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117771595A (zh) * 2024-02-27 2024-03-29 中国矿业大学 一种基于多模式视觉系统的举高消防灭火方法及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101574566B (zh) * 2009-06-08 2011-07-27 南京航空航天大学 基于单目视觉技术的火点与落水点相对位置调整的消防炮控制方法
CN109303995A (zh) * 2018-09-12 2019-02-05 东南大学 基于火源定位识别的消防机器人消防炮控制方法
CN109331376B (zh) * 2018-10-12 2020-06-19 中国矿业大学 城市主战消防车自动灭火系统及实现方法
CN111494853B (zh) * 2020-04-10 2021-05-11 中国矿业大学 一种多模式视觉伺服控制消防系统及其工作方法
CN113041537A (zh) * 2021-04-14 2021-06-29 中国矿业大学 一种具有变视角双目结构的消防炮系统及方法
CN113274672A (zh) * 2021-04-27 2021-08-20 中国矿业大学 一种基于机器视觉的消防炮混合控制系统及控制方法
CN113440763B (zh) * 2021-06-15 2022-09-16 中国矿业大学 一种面向森林防火的智能消防系统及其工作方法

Also Published As

Publication number Publication date
CN115337581A (zh) 2022-11-15

Similar Documents

Publication Publication Date Title
CN102298818B (zh) 双目摄像火灾探测与定位装置及其火灾定位方法
CA3137995C (en) Multi-mode visual servo control fire-fighting system and working method thereof
CN105080023B (zh) 一种自动跟踪定位射流灭火方法
CN108447075B (zh) 一种无人机监测系统及其监测方法
CN105031868B (zh) 基于火焰规模的自适应灭火方法
CN103285548B (zh) 利用单目摄像机定位地面火灾的方法及装置
CN113289290B (zh) 一种消防机器人火焰自动瞄准方法、装置及系统
CN110898353A (zh) 变电站消防机器人全景监控与联动控制方法及系统
CN104067111A (zh) 用于跟踪和监测目标对象上的差异的自动化系统和方法
CN115337581B (zh) 一种基于多目视觉消防系统的消防灭火方法
CN111360818A (zh) 一种通过视觉定位的机械臂控制系统
US20180249128A1 (en) Method for monitoring moving target, and monitoring device, apparatus, and system
CN110989599B (zh) 一种变电站消防机器人自主作业控制方法及系统
McNeil et al. Robotic fire suppression through autonomous feedback control
CN113240881B (zh) 一种基于多特征融合的火灾识别系统
CN112863113A (zh) 自动探测器报警和灭火的智能消防系统、方法及存储介质
WO2022000279A1 (zh) 一种灭火系统、服务器、消防机器人和灭火方法
KR101452342B1 (ko) 감시카메라 유닛 및 그 구동방법
CN113440763B (zh) 一种面向森林防火的智能消防系统及其工作方法
CN110975194A (zh) 一种变电站消防机器人辅助方法及系统
RU2625715C1 (ru) Пожарный извещатель для наведения пожарного робота
CN113274672A (zh) 一种基于机器视觉的消防炮混合控制系统及控制方法
WO2022217671A1 (zh) 一种具有变视角双目结构的消防炮系统及方法
CN205384519U (zh) 一种红外热成像搜索跟踪瞄准的装置
CN114602083A (zh) 一种基于激光视觉融合的自动补给对接系统及其工作方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant