CN105913604A - 基于无人机的火灾发生测定方法及其装置 - Google Patents
基于无人机的火灾发生测定方法及其装置 Download PDFInfo
- Publication number
- CN105913604A CN105913604A CN201610330274.6A CN201610330274A CN105913604A CN 105913604 A CN105913604 A CN 105913604A CN 201610330274 A CN201610330274 A CN 201610330274A CN 105913604 A CN105913604 A CN 105913604A
- Authority
- CN
- China
- Prior art keywords
- fire
- unmanned plane
- represent
- image
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 230000001413 cellular effect Effects 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims description 19
- 238000013527 convolutional neural network Methods 0.000 claims description 17
- 238000004891 communication Methods 0.000 claims description 13
- 230000007246 mechanism Effects 0.000 claims description 13
- 238000003556 assay Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 230000001537 neural effect Effects 0.000 claims description 4
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 2
- 230000006835 compression Effects 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 238000012706 support-vector machine Methods 0.000 claims description 2
- 238000001757 thermogravimetry curve Methods 0.000 claims description 2
- 230000001960 triggered effect Effects 0.000 claims description 2
- 239000000463 material Substances 0.000 abstract description 2
- 230000007547 defect Effects 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 7
- 238000012790 confirmation Methods 0.000 description 5
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical group C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000001931 thermography Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000003331 infrared imaging Methods 0.000 description 3
- 238000012856 packing Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009472 formulation Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000005381 potential energy Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
- G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Alarm Systems (AREA)
- Fire-Detection Mechanisms (AREA)
Abstract
本发明公开了一种基于无人机的火灾发生测定方法及其装置。采用主要由无人机、远程服务器和位于地面的控制系统组成的系统,无人机由火灾报警点的GPS位置信息飞行到达火灾报警区域,拍摄报警点的现场视频图像与热红外图像,通过4G移动蜂窝网络发送至远程服务器;远程服务器接收数据得到实时现场视频和热红外图像;通过肉眼识别或者将热红外图像经过分类器比较得到火灾是否发生的结果。本发明不仅能够在接到报警后及时派出无人机,节省了大量的消防的人力和物力资源;而且能快速掌握火灾发生点的现场情况,为救援工作的开展提供了可靠和有效的实时信息,弥补了现有方法确认火灾发生方法中不存在无人机航拍确认火灾发生方法的不足。
Description
技术领域
本发明涉及一种确认火灾发生的方法,特别涉及无人机研究领域的一种确认火灾发生的方法。
背景技术
火灾是指在时间或空间上失去控制的燃烧所造成的灾害。在各种灾害中,火灾是最经常、最普遍地威胁公众安全和社会发展的主要灾害之一。
据公安部消防局统计,2014年,全国共接经确认的火灾报警39.5万起,死亡1817人,受伤1493人,直接财产损失43.9亿元。然而,接到的报警数远远不止这些。如果,不经过是否发生火灾的确认,而由消防部门盲目的赶去救援,将会浪费大量的消防的人力和物力资源,甚至因为不同空间的同时报警,而使得真正需要救援的报警被耽误。因此,接到火灾报警后的现场确认工作就显得十分重要。
目前的现状是,当安防公司的火灾报警装置探测到火灾报警后,由驻派在附近待命的工作人员驱车前往火灾发生地进行现场拍照取证。若确认的确有火灾发生,则再通知消防部门赶去救援。但是这种方式因为城市交通拥堵,火灾发生地较远,或者其他突发情况等因素影响,使得火灾确认浪费了大量时间,如果确实发生了火灾,则耽误了救援工作。因此,现在急需一种能够在最短时间内确认火灾发生的方法。
无人机利用其机动性好、操作简单、成本低廉等有利条件能在短时间内到达火灾报警点用摄像头进行视频和照片的拍摄;利用4G移动蜂窝数据网络能够将数据实时的传送回控制系统;通过卷积神经网络图像分类快速鉴别确认是否有火灾发生。结合起来能够简单快速地对火灾警报进行现场确认、过滤误报和加速救援行动,对于消防工作具有非常有利的作用。
发明内容
为了解决背景技术中存在的问题,本发明的目的在于提供了一种基于无人机的确认火灾发生的方法,该方法将无人机控制技术、航拍技术和网络视频图像流传输技术和卷积神经网络图像分类巧妙地结合起来,从而完成对火灾警报的现场确认工作。
本发明所要解决的问题包括如下步骤:
一、一种基于无人机的火灾发生测定方法:
1)采用主要由无人机、远程服务器和位于地面的控制系统组成的系统,无人机上装载有红外热像仪,GPS定位模块、气压计、陀螺仪、加速度计、带有摄像头的云台机构和4G通信模块,服务器与无人机之间通过4G移动蜂窝网络进行通信;
2)无人机通过自动巡航模式或者手动操控模式,由火灾报警点的GPS位置信息飞行到达火灾报警区域,通过云台机构搭载的摄像头和红外热像仪分别拍摄报警点的现场视频与热红外图像,将现场视频与红外热像图用4G通信模块通过4G移动蜂窝网络发送至远程服务器;
3)远程服务器侦听并接收无人机传输过来的数据解码得到实时现场视频和热红外图像;
4)将现场视频中的每帧照片图像和热红外图像通过肉眼识别获得火灾是否发生的结果,或者将普通视频图像和热红外图像分别输入到已通过卷积神经网络训练的火灾图像分类器中,经过分类判断得到火灾是否发生的结果。一旦分类器判断得出报警点发生火灾,控制系统马上向消防部门报警。
所述步骤2)中将所述现场视频进行H.264编码压缩后,再根据RTP协议将视频数据打包后发送到远程服务器。每摄像头捕获一帧就进行H.264编码,编码完后需要将其中的NAL单元解析出来,并采用RTP协议对编码完成后的视频数据打包;热红外图像采取JPEG编码格式;最后打包完成的热红外图像和视频通过4G移动蜂窝网络发送至服务器。
所述步骤3)中远程服务器根据RTP协议解包对数据流进行H.264解码得到现场视频。热红外图像和视频的打包采用采用RTP协议实现;最后打包完成的热红外图像和视频通过4G移动蜂窝网络发送至服务器。这也是为了有效降网络低数据量,使得视频和图像数据传输流畅,实时显示。
所述步骤2)中,无人机将采用以下方式进行航拍视频:以被触发的火灾报警器为原点,其中原点位置由GPS获得,在报警点所在的平面即报警点所在的楼层,先以20米至30米为半径对报警建筑物墙体进行巡航拍摄,航拍角度为90°;再将无人机飞至建筑物屋顶上方,飞行高度约为建筑物高度的三倍,采取的航拍角度为30°,以此来获取屋顶及其建筑物周边的视频和热红外图像。
在所述步骤4)中,将普通视频图像和热红外图像分别输入到已通过卷积神经网络训练的火灾图像分类器中,经过分类比对得到火灾是否发生的结果具体为:对带有着火和非着火的两类建筑物样本图像输入到分类器中通过卷积神经网络进行预训练得到火灾图像分类器,取卷积神经网络的全连接层中训练特征对被测火灾图像进行分类得到着火或者非着火的结果。
所述的卷积神经网络采用端对端的形式同时训练特征与分类,训练的特征为卷积神经网络结构末端的全连接层,提取卷积神经网络结构末端的全连接层输出作为着火图像的深度特征,得到的深度特征输入到支持向量机分类器中进行训练,得到火灾图像分类器。
如图2所示,所述训练过程中对所有输入的样本图像具体为:
1)先进行尺度归一化,归一化图像到32×32分辨率。
2)卷积层计算:
其中卷积层的参数表达形式:4×4×20+1(步长),表示卷积核的大小为4×4,数量为20,步长为1,采用以下公式进行卷积层计算:
其中,分别表示当前卷积层中第j个特征图、前一层的第i个特征图;表示当前层的第j个特征图与前一层的第i个特征图之间的卷积核;Mj表示需要卷积的前一层的特征图的集合,表示当前卷积层中第j个卷积核对应的偏置;f为激活函数,卷积层中的权值与阈值通过随机梯度下降法得到;i和j均表示特征图的序数,l表示步长。
3)池化层计算:
池化层采用最大池化方式,2×2+2(步长)表示池化核大小为2×2,步长为2;最大池化的计算采用以下公式:
式中,池化核大小为s×s,s表示池化核的边长,表示当前池化特征图中第(c,d)坐标位置的值,表示前一层特征图中池化核中的值集合;表示前一层特征图中坐标位置为c·s+m,d·s+n的值,m,n表示池化核中的坐标。
4)再次进行卷积层计算:
其中,卷积层的参数表达形式:3×3×40+1(步长),表示卷积核的大小为3×3,数量为40,步长为1,此步骤卷积层的具体计算与步骤2)相同。
5)采用与步骤3)相同过程再次进行池化层计算:
6)全连接层计算:
网络包含一个全连接层,共有两个节点单元,全连接层的计算公式为:
式中,f(·)表示激活函数,采用的是Rectified linear unit激活函数,Rq表示全连接层中第q个节点单元,up表示池化层中第p个节点单元,vpq表示两个节点的连接权值,N表示池化层的节点单元个,p,q均为池化层的节点单元的序数;
7)softmax层的计算公式如下:
式中,Wt,w表示全连接层与softmax层之间的连接权值,Bt为偏置,Xt表示全连接层的第t个节点单元值,rt表示第t个类别上的概率值,rt'表示第t个类别的概率密度;a表示类别的总个数,t为类别的序数,t取1或2,a=2,w为第t类别下连接权值的序数;r1表示输入的场景图像为着火场景的概率,r2表示输入的场景图像为非着火场景的概率;
8)卷积神经网络的损失函数公式如下:
式中,1{}是一个指示性函数,θ表示网络参数;为第P个样本在类别Q上的概率值,P表示一次迭代batch中图像的数目,Q表示图像类别的数目,C,D均为样本的序数。
当火势较小时或者着火点在大楼内部深处的这种情况时,但从建筑物外部拍摄视频的方式不足以完全确认火灾的发生,所以采用摄像头拍摄视频和红外热像仪拍摄热红外图像相结合的方式。
普通图像分类器和红外图像分类器最后进行求或运算,即两种分类器只要有一种判断出火灾发生即确认火灾发生,这也是从最大程度上保证报警发生地的生命财产安全。
在控制系统确认火灾发生后,及时报警通知消防部门赶往火灾现场进行救援。在等待救援的过程中,无人机将继续在报警点周围巡航,执行航拍工作,实时监控火场,为消防部门提供实时的火势发展信息,方便消防部门及时制定有效可行的救援方案。
二、一种基于无人机的火灾发生测定装置:
包括无人机及其无人机配套的遥控器;
包括远程服务器,远程服务器与无人机之间通过4G移动蜂窝网络进行通信;
包括位于地面的控制系统,控制系统与服务器之间通过互联网进行通信。
优选地,控制系统可以架设在服务器本地端口,也可以架设在远端;如果架设在远端,控制系统作为客户端向服务器请求视频、热红外图像数据。控制系统可以根据实时的监控视频,在定时拍摄热红外图像的基础上,工作人员可以根据现场的具体情况在认为有必要拍摄热红外图像的地方进行加拍,是的火灾确定工作更加迅速与准确。
所述的无人机上装载有:
带有摄像头的云台机构;
用于拍摄采集火灾报警点红外热图像的红外热像仪,红外热像仪装在云台机构上;
用于采集定位无人机位置的GPS定位模块;
用于检测无人机飞行高度的气压计;
用于检测无人机飞行角速度的陀螺仪;
用于检测无人机飞行角度的加速度计;
以及与远程服务器通信的4G通信模块。
所述的无人机上还装载有主控MCU,主控MCU分别与带有摄像头的云台机构、红外热像仪、4G通信模块以及无人机机载的飞控连接。
与现有技术相比,本发明的有益效果在于:
现有技术的确认火灾发生的方法中,必须依靠工作人员亲临报警现场,路途上浪费时间,各种不确定因素影响或耽误救援工作。本发明方法利用无人机的航拍和卷积神经网络图像分类技术,提出了一种能够确认火灾发生方法的全新方向,是对现在正在使用方法的全面升级。
本发明能够在接到报警后及时派出无人机,完全避免了地面交通拥堵,报警点较远,和其他突发因素的干扰。通过机载云台摄像机和红外热像仪对报警点进行航拍,将实时现场情况传给服务器和控制系统,通过火灾图像分类器快速确定火灾的发生。同时,实时的监控火场的火势发展情况,可使消防部门快速及时的根据火灾现场具体情况制定救援计划。
附图说明
图1为本发明的方法流程示意图。
图2为本发明的预训练卷积神经网络结构图。
图3为本发明的无人机各部件的连接方式示意图。
具体实施方式
以下将参照附图,对本发明的优选实例进行详细的描述。应当理解,优选实施例仅为了说明本发明,而不是为了限制本发明的保护范围。
如图1所示,本发明无人机在接到火灾报警就立即起飞到火灾报警点;达到目的地后以报警点为原点,以报警楼层为所在平面,以20米的半径进行360°巡航状态拍摄视频和热红外图像,拍摄完毕后在飞行高度约为建筑物三倍的飞行高度,航拍角度为30°,朝向建筑物以俯视向下30°角度获取屋顶及其建筑物周边的图像;在拍摄的同时实时的将视频与图像传送至服务器;最后,控制系统将从服务器里获取的实时现场视频图像和热红外图像经过火灾分类器进行有无火灾二分类确定火灾是否发生。
如图3所示,本发明的无人机搭载有无人机云台机构、锂电池、PMU电源管理单元、气压计、陀螺仪和加速度计、GPS模块、摄像头和热红外成像仪等装备,并带有遥控器。服务器接收无人机用摄像头和热红外成像仪拍摄的视频和图像的同时接收无人机的飞行状态数据,并发送到控制系统,控制系统的工作人员根据当前的飞行状态,操控遥控器将对无人机的控制信号发送给服务器,再由服务器发送给无人机从而实现对无人机的手动控制。服务器与无人机之间的各种数据的通信全部通过4G通信模块进行传输。GPS定位模块用于接收GPS卫星传送的无人机实时位置数据;气压计用于测量无人机的实时高度数据;陀螺仪和加速度计测得的数据用于无人机的姿态解析,实时计算无人机的姿态角;PMU电源管理单元用于测量电池电量和状态的实时数据;云台机构用于摄像头和热成像仪的拍摄角度调整。
本发明的控制机构由两方面构成,分别由两块MCU负责,一块为无人机自带机载的飞行控制单元,另一块为用于负责无人机应用功能实现的主控MCU。
飞行控制单元的MCU负责飞行控制,PMU、陀螺仪和加速度计、气压计和GPS模块这些传感器的数据都由这块处理器进行处理。这块处理器负责,且仅负责飞行控制部分的处理,具体表现为无人机姿态的解析和飞行速度和飞行位置的控制,同时向主控MCU发送当前的无人机飞行状态数据并接收来自它的控制信号。
主控MCU负责完成航拍任务和与服务器的数据通信任务,具体表现为通过调整云台机构的旋转角度进行拍摄目标的选择;对摄像头和热成像仪设备的拍摄控制;对拍摄到的视频和图像进行编码打包(视频编码使用H.264,图像编码使用JPEG,网络打包发送使用RTP协议);整合整个无人机装置的传输信息,通过4G模块发送数据,同时接收来自服务器的数据并解析。
无人机云台机构包括无人机多轴云台、摄像机、热成像仪。摄像机和热成像仪安装在无人机多轴云台上,能够随无人机多轴云台的转动而一起转动,从而能够更好的完成拍摄工作,无人机多轴云台连接到无人机的应用功能实现MCU。
本发明在视频和热红外图像获取后继续对周边环境进行勘察,方便救援。根据报警点现场周边的环境,当周边种植有大量树木,或者相邻建筑较近,已经有遮挡物或障碍物时,可以采取飞手操控无人机执行航拍方案,当周边环境空旷时可以采用自动巡航实行航拍方案。在航拍过程中,飞手通过控制系统接收到无人机的周围状态、高度、姿态角和现场实时视频与图像来不断调整无人机的航拍角度、高度从而保证航拍工作的顺利进行;若为无人机自动巡航方案是,飞手将图像采集点的坐标位置、顺序、航拍高度、航拍角度由服务器传输给无人机,通过无人机进行自动巡航完成各个采集点下的视频和热红外图像拍摄工作。
本发明的具体实施过程如下:
1)选取某消防队的演习场地作为本实施例的实施对象,该演习场地为以大型废旧仓库,该仓库长150米,宽30米,高10米,并在仓库某一随机位置用一火源模拟器,模拟着火点,同时着火点附近安装有火灾警报装置。
2)打开火源模拟器,模拟火灾发生情况,同时火灾警报装置探测到火灾发生,控制系统接收到火灾确认请求,派遣无人机前往。飞手操控无人机飞行,根据GPS定位和周围环境实时情况,选择最佳航行方案赶往火灾警报发生地。
3)到达现场后对仓库周边进行高空观察情况确定航拍方案,在视频中明显发现在仓库东北角有类似火灾发生的浓烟飘出。最终确定以东北角所在区域的墙体,进行270°的巡航拍摄,飞行高度为2米(火灾报警器的高度),飞行半径为20米。无人机飞行速度设置为15°/s。无人机在这段时间内持续拍摄视频,同时并以每秒1幅的速度拍摄热红外图像,共计18幅图像和18秒的视频。完成后,无人机飞到仓库上方30米处,以航拍角度为30°,朝向建筑物以俯视向下30°角度获取屋顶及其建筑物周边的图像和视频。由于仓库周边树木、标志牌和障碍物比较多,所以采用飞手手动操控无人机执行航拍的方案。
无人机在进行航拍任务的同时,进行编码工作。将拍摄到的视频进行H.264编码,拍摄到的图片进行JPEG编码。接着将完成编码的视频分析它的NAL单元,根据RTP协议组包。将视频、热红外图像和飞控状态信息一同打包后通过4G通信模块走4G移动蜂窝网络发送至服务器。
本实施过程中,控制系统直接架设在服务器本地端口,控制系统直接读取服务器中的视频、图像和飞控状态数据。飞手根据这些信息用遥控器操控无人机飞行,调整云台的拍摄角度。
4)本实施过程中的两种火灾场景图像分类器均采用以下方式获得:选取样本图像的数量为10万张,共有2种不同的场景即着火与未着火,每种场景图像数为5万张。卷积神经网络的训练的方式为随机梯度下降方法,权值衰减设置为5e-4,势能为0.9,初始的学习率设置为0.01,固定学习率,当模型在测试集上的分类精度不再上升时,减小学习率,每次减小方式为原来的学习率乘以0.1。
分类器的最终分类性能如下表:
自然光 | 分类精度 |
着火图像 | 98% |
非着火图像 | 80% |
总体 | 89% |
红外 | 分类精度 |
着火图像 | 95% |
非着火图像 | 80% |
总体 | 87.5% |
7)控制系统中的火灾报警现场的视频图像和热红外图像,分别输入由卷积神经网络训练的火灾场景普通图像分类器和火灾场景红外图像分类器中,两类图像分类器均判断为发生火灾,所以经过或运算直接可以判断出报警点是真的发生了火灾,控制系统立即通知消防部门进行救援行动。
8)无人机完成上述工作后继续停留在报警点现场,通过航拍视频和热红外图像实时监控现场火势的发展情况,并为消防部门提供救援信息,方便制定合理有效的消防救援计划。
由此可见,本发明通过摄像头和热红外成像仪对着火点仓库进行了航拍、无人机与服务器之间的通讯技术,以及基于卷积神经网络的图像分类技术,实现了对火灾报警点的火灾发生确认。同时,消防部门能比较准确的、迅速的掌握火灾现场内部的大致情况,为实时救援提供了相当宝贵的实时信息。
本发明确定火灾发生的方法不仅大大提高了确认的效率和准确性,同时更为救援计划的制定和实施提供了非常可靠的技术支持,同时也将无人机的应用领域扩展至消防领域。
上述具体实施方式用来解释说明本发明,而不是对本发明进行限制,在本发明的精神和权力要求的保护范围内,对本发明做出的任何修改和改变,都落入本发明的保护范围。
Claims (10)
1.一种基于无人机的火灾发生测定方法,其特征在于包括如下步骤:
1)采用主要由无人机、远程服务器和位于地面的控制系统组成的系统,无人机上装载有红外热像仪,GPS定位模块、气压计、陀螺仪、加速度计、带有摄像头的云台机构和4G通信模块,服务器与无人机之间通过4G移动蜂窝网络进行通信;
2)无人机通过自动巡航模式或者手动操控模式,由火灾报警点的GPS位置信息飞行到达火灾报警区域,通过云台机构搭载的摄像头和红外热像仪分别拍摄报警点的现场视频与热红外图像,将现场视频与红外热像图用4G通信模块通过4G移动蜂窝网络发送至远程服务器;
3)远程服务器侦听并接收无人机传输过来的数据解码得到实时现场视频和热红外图像;
4)将现场视频中的每帧照片图像和热红外图像通过肉眼识别获得火灾是否发生的结果,或者将普通视频图像和热红外图像分别输入到已通过卷积神经网络训练的火灾图像分类器中,经过分类判断得到火灾是否发生的结果。
2.根据权利要求1所述的一种基于无人机的火灾发生测定方法,其特征在于:所述步骤2)中将所述现场视频进行H.264编码压缩后,再根据RTP协议将视频数据打包后发送到远程服务器。
3.根据权利要求1所述的一种基于无人机的火灾发生测定方法,其特征在于:所述步骤3)中远程服务器根据RTP协议解包对数据流进行H.264解码得到现场视频。
4.根据权利要求1所述的一种基于无人机的火灾发生测定方法,其特征在于:所述的步骤2)中,无人机将采用以下方式进行航拍视频:
以被触发的火灾报警器为原点,在报警点所在的平面即报警点所在的楼层,先以20米至30米为半径对报警建筑物墙体进行巡航拍摄,航拍角度为90°;再将无人机飞至建筑物屋顶上方,飞行高度约为建筑物高度的三倍,采取的航拍角度为30°。
5.根据权利要求1所述的一种基于无人机的火灾发生测定方法,其特征在于:在所述的步骤4)中,将普通视频图像和热红外图像分别输入到已通过卷积神经网络训练的火灾图像分类器中,经过分类比对得到火灾是否发生的结果具体为:对带有着火和非着火的两类建筑物样本图像输入到分类器中通过卷积神经网络进行预训练得到火灾图像分类器,取卷积神经网络的全连接层中训练特征对被测火灾图像进行分类得到着火或者非着火的结果。
6.根据权利要求5所述的一种基于无人机的火灾发生测定方法,其特征在于:所述的卷积神经网络采用端对端的形式同时训练特征与分类,训练的特征为卷积神经网络结构末端的全连接层,提取卷积神经网络结构末端的全连接层输出作为着火图像的深度特征,得到的深度特征输入到支持向量机分类器中进行训练,得到火灾图像分类器。
7.根据权利要求5所述的一种基于无人机的火灾发生测定方法,其特征在于:所述训练过程中对所有输入的样本图像具体为:
1)先进行尺度归一化,归一化图像到32×32分辨率;
2)卷积层计算:
其中卷积层的参数表达形式:4×4×20+1(步长),表示卷积核的大小为4×4,数量为20,步长为1,采用以下公式进行卷积层计算:
其中,分别表示当前卷积层中第j个特征图、前一层的第i个特征图;表示当前层的第j个特征图与前一层的第i个特征图之间的卷积核;Mj表示需要卷积的前一层的特征图的集合,表示当前卷积层中第j个卷积核对应的偏置;f为激活函数,卷积层中的权值与阈值通过随机梯度下降法得到;i和j均表示特征图的序数,l表示步长;
3)池化层计算:
池化层采用最大池化方式,2×2+2(步长)表示池化核大小为2×2,步长为2;最大池化的计算采用以下公式:
式中,池化核大小为s×s,s表示池化核的边长,表示当前池化特征图中第(c,d)坐标位置的值,c、d分别表示池化特征图的横纵坐标,表示前一层特征图中池化核中的值集合;表示前一层特征图中坐标位置为c·s+m,d·s+n的值,m,n表示池化核中的坐标;
4)再次进行卷积层计算:
其中,卷积层的参数表达形式:3×3×40+1(步长),表示卷积核的大小为3×3,数量为40,步长为1,此步骤卷积层的具体计算与步骤2)相同;
5)采用与步骤3)相同过程再次进行池化层计算:
6)全连接层计算:
网络包含一个全连接层,共有两个节点单元,全连接层的计算公式为:
式中,f(·)表示激活函数,采用的是Rectified linear unit激活函数,Rq表示全连接层中第q个节点单元,up表示池化层中第p个节点单元,vpq表示两个节点的连接权值,N表示池化层的节点单元个数,p,q均为池化层的节点单元的序数;
7)softmax层的计算公式如下:
式中,Wt,w表示全连接层与softmax层之间的连接权值,Bt为偏置,Xt表示全连接层的第t个节点单元值,rt表示第t个类别上的概率值,rt'表示第t个类别的概率密度;a表示类别的总个数,t为类别的序数,t取1或2,a=2,w为第t类别下连接权值的序数;r1表示输入的场景图像为着火场景的概率,r2表示输入的场景图像为非着火场景的概率;
8)卷积神经网络的损失函数公式如下:
式中,1{}是一个指示性函数,θ表示网络参数;为第P个样本在类别Q上的概率值,P表示一次迭代batch中图像的数目,Q表示图像类别的数目,C,D均为样本的序数。
8.用于实施权利要求1~7任一所述方法的一种基于无人机的火灾发生测定装置,其特征在于:
包括无人机及其无人机配套的遥控器;
包括远程服务器,远程服务器与无人机之间通过4G移动蜂窝网络进行通信;
包括位于地面的控制系统,控制系统与服务器之间通过互联网或本地端口进行通信。
9.根据权利要求8所述的一种基于无人机的火灾发生测定装置,其特征在于:所述的无人机上装载有:
带有摄像头的云台机构;
用于拍摄采集火灾报警点红外热图像的红外热像仪;
用于采集定位无人机位置的GPS定位模块;
用于检测无人机飞行高度的气压计;
用于检测无人机飞行角速度的陀螺仪;
用于检测无人机飞行角度的加速度计;
以及与远程服务器通信的4G通信模块。
10.根据权利要求8所述的一种基于无人机的火灾发生测定装置,其特征在于:所述的无人机上还装载有主控MCU,主控MCU分别与带有摄像头的云台机构、红外热像仪、4G通信模块以及无人机机载的飞控连接。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610330274.6A CN105913604B (zh) | 2016-05-18 | 2016-05-18 | 基于无人机的火灾发生测定方法及其装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610330274.6A CN105913604B (zh) | 2016-05-18 | 2016-05-18 | 基于无人机的火灾发生测定方法及其装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105913604A true CN105913604A (zh) | 2016-08-31 |
CN105913604B CN105913604B (zh) | 2018-03-20 |
Family
ID=56748163
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610330274.6A Active CN105913604B (zh) | 2016-05-18 | 2016-05-18 | 基于无人机的火灾发生测定方法及其装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105913604B (zh) |
Cited By (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106682592A (zh) * | 2016-12-08 | 2017-05-17 | 北京泛化智能科技有限公司 | 一种基于神经网络方法的图像自动识别系统及方法 |
CN106713873A (zh) * | 2017-02-10 | 2017-05-24 | 广东容祺智能科技有限公司 | 一种用于无人机的应急指挥4g模块 |
CN106934404A (zh) * | 2017-03-10 | 2017-07-07 | 深圳市瀚晖威视科技有限公司 | 一种基于cnn卷积神经网络的图像火焰识别系统 |
CN107050725A (zh) * | 2017-04-28 | 2017-08-18 | 成都谍翼科技有限公司 | 无人机消防方法及装置 |
CN107085436A (zh) * | 2017-06-14 | 2017-08-22 | 亨利智创(北京)科技有限公司 | 一种蜂巢救援型无人机云计算平台 |
CN107220669A (zh) * | 2017-05-27 | 2017-09-29 | 西南交通大学 | 一种调度员的行为监控能力的测试方法和系统 |
CN107545281A (zh) * | 2017-09-29 | 2018-01-05 | 浙江工商大学 | 一种基于深度学习的单一有害气体红外图像分类识别方法 |
CN107993394A (zh) * | 2017-11-01 | 2018-05-04 | 北京航天福道高技术股份有限公司 | 一种基于车载应急的森林防火监控系统 |
CN108205861A (zh) * | 2016-12-16 | 2018-06-26 | 中电科(德阳广汉)特种飞机系统工程有限公司 | 一种森林防火控制系统及方法 |
CN108256447A (zh) * | 2017-12-29 | 2018-07-06 | 广州海昇计算机科技有限公司 | 一种基于深度神经网络的无人机航拍视频分析方法 |
CN108538038A (zh) * | 2018-05-31 | 2018-09-14 | 京东方科技集团股份有限公司 | 火灾告警方法和装置 |
CN109118702A (zh) * | 2018-09-29 | 2019-01-01 | 歌尔股份有限公司 | 火灾检测方法、装置和设备 |
CN109190943A (zh) * | 2018-08-20 | 2019-01-11 | 公安部沈阳消防研究所 | 基于机器学习的动态火灾风险评估方法、装置及服务器 |
CN109241817A (zh) * | 2018-07-02 | 2019-01-18 | 广东工业大学 | 一种无人机拍摄的农作物图像识别方法 |
CN109255519A (zh) * | 2018-08-02 | 2019-01-22 | 佛山世寰智能科技有限公司 | 一种基于无人机的公安智能指挥调度方法及系统 |
CN109331389A (zh) * | 2018-11-12 | 2019-02-15 | 重庆知遨科技有限公司 | 一种基于多传感器融合的消防机器人动作实时监测方法 |
CN109447030A (zh) * | 2018-11-12 | 2019-03-08 | 重庆知遨科技有限公司 | 一种用于火灾场景的消防机器人动作实时指导算法 |
CN109767583A (zh) * | 2019-03-12 | 2019-05-17 | 福建工程学院 | 一种适用于无人商店平台的智能顾客逃生引导方法 |
CN109781268A (zh) * | 2019-03-16 | 2019-05-21 | 福州大学 | 一种基于低成本红外热视技术的开关柜内重点部位温度监测系统 |
CN109993949A (zh) * | 2019-04-14 | 2019-07-09 | 杭州拓深科技有限公司 | 一种基于多传感器融合的消防安全检测方法 |
CN110084992A (zh) * | 2019-05-16 | 2019-08-02 | 武汉科技大学 | 基于无人机的古建筑群火灾报警方法、装置及存储介质 |
CN110119682A (zh) * | 2019-04-04 | 2019-08-13 | 北京理工雷科电子信息技术有限公司 | 一种红外遥感图像火点识别方法 |
CN110379117A (zh) * | 2019-06-18 | 2019-10-25 | 杨浩然 | 一种基于红外温度成像仪的无人机火灾侦查系统 |
CN111257507A (zh) * | 2020-01-16 | 2020-06-09 | 清华大学合肥公共安全研究院 | 一种基于无人机的气体浓度检测及事故预警系统 |
CN111860646A (zh) * | 2020-07-20 | 2020-10-30 | 北京华正明天信息技术股份有限公司 | 基于神经网络的森林火灾检测方法 |
CN112488213A (zh) * | 2020-12-03 | 2021-03-12 | 杭州电子科技大学 | 一种基于多尺度特征学习网络的火灾图片分类方法 |
CN112735070A (zh) * | 2020-12-29 | 2021-04-30 | 姜庆娟 | 一种基于互联网的林业监控方法 |
US10996684B2 (en) * | 2016-09-23 | 2021-05-04 | Beijing Jingdong Shangke Information Technology Co, Ltd. | Method, device and system for controlling UAV |
CN113194140A (zh) * | 2021-04-29 | 2021-07-30 | 中信重工开诚智能装备有限公司 | 一种基于消防机器人的一体化远程监控系统 |
CN113345569A (zh) * | 2021-06-10 | 2021-09-03 | 汕头大学 | 一种基于无人机的医疗救援服务方法 |
CN113409484A (zh) * | 2021-06-24 | 2021-09-17 | 广东电网有限责任公司 | 一种智能勘灾系统 |
CN113450548A (zh) * | 2021-09-01 | 2021-09-28 | 成都千嘉科技有限公司 | 一种高层住宅楼燃气泄漏高效检测方法 |
CN114530025A (zh) * | 2021-12-31 | 2022-05-24 | 武汉烽理光电技术有限公司 | 一种基于阵列光栅的隧道火灾报警方法、装置及电子设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020026431A1 (en) * | 1995-11-03 | 2002-02-28 | Pedersen Robert D. | Fire detection systems and methods |
CN104143248A (zh) * | 2014-08-01 | 2014-11-12 | 江苏恒创软件有限公司 | 基于无人机的森林火灾探测及防控方法 |
CN204856794U (zh) * | 2015-07-30 | 2015-12-09 | 滁州学院 | 基于4g的消防无人机载火灾情报处理装置 |
CN205068679U (zh) * | 2015-10-15 | 2016-03-02 | 河北中科遥感信息技术有限公司 | 一种林区火灾预防专用无人机 |
-
2016
- 2016-05-18 CN CN201610330274.6A patent/CN105913604B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020026431A1 (en) * | 1995-11-03 | 2002-02-28 | Pedersen Robert D. | Fire detection systems and methods |
CN104143248A (zh) * | 2014-08-01 | 2014-11-12 | 江苏恒创软件有限公司 | 基于无人机的森林火灾探测及防控方法 |
CN204856794U (zh) * | 2015-07-30 | 2015-12-09 | 滁州学院 | 基于4g的消防无人机载火灾情报处理装置 |
CN205068679U (zh) * | 2015-10-15 | 2016-03-02 | 河北中科遥感信息技术有限公司 | 一种林区火灾预防专用无人机 |
Non-Patent Citations (1)
Title |
---|
傅天驹等: "复杂背景下基于深度卷积神经网络的森林火灾识别", 《计算机与现代化》 * |
Cited By (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10996684B2 (en) * | 2016-09-23 | 2021-05-04 | Beijing Jingdong Shangke Information Technology Co, Ltd. | Method, device and system for controlling UAV |
CN106682592A (zh) * | 2016-12-08 | 2017-05-17 | 北京泛化智能科技有限公司 | 一种基于神经网络方法的图像自动识别系统及方法 |
CN106682592B (zh) * | 2016-12-08 | 2023-10-27 | 北京泛化智能科技有限公司 | 一种基于神经网络方法的图像自动识别系统及方法 |
CN108205861A (zh) * | 2016-12-16 | 2018-06-26 | 中电科(德阳广汉)特种飞机系统工程有限公司 | 一种森林防火控制系统及方法 |
CN106713873A (zh) * | 2017-02-10 | 2017-05-24 | 广东容祺智能科技有限公司 | 一种用于无人机的应急指挥4g模块 |
CN106934404A (zh) * | 2017-03-10 | 2017-07-07 | 深圳市瀚晖威视科技有限公司 | 一种基于cnn卷积神经网络的图像火焰识别系统 |
CN107050725A (zh) * | 2017-04-28 | 2017-08-18 | 成都谍翼科技有限公司 | 无人机消防方法及装置 |
CN107220669A (zh) * | 2017-05-27 | 2017-09-29 | 西南交通大学 | 一种调度员的行为监控能力的测试方法和系统 |
CN107085436A (zh) * | 2017-06-14 | 2017-08-22 | 亨利智创(北京)科技有限公司 | 一种蜂巢救援型无人机云计算平台 |
CN107545281A (zh) * | 2017-09-29 | 2018-01-05 | 浙江工商大学 | 一种基于深度学习的单一有害气体红外图像分类识别方法 |
CN107993394A (zh) * | 2017-11-01 | 2018-05-04 | 北京航天福道高技术股份有限公司 | 一种基于车载应急的森林防火监控系统 |
CN108256447A (zh) * | 2017-12-29 | 2018-07-06 | 广州海昇计算机科技有限公司 | 一种基于深度神经网络的无人机航拍视频分析方法 |
CN108538038A (zh) * | 2018-05-31 | 2018-09-14 | 京东方科技集团股份有限公司 | 火灾告警方法和装置 |
CN109241817B (zh) * | 2018-07-02 | 2022-02-22 | 广东工业大学 | 一种无人机拍摄的农作物图像识别方法 |
CN109241817A (zh) * | 2018-07-02 | 2019-01-18 | 广东工业大学 | 一种无人机拍摄的农作物图像识别方法 |
CN109255519A (zh) * | 2018-08-02 | 2019-01-22 | 佛山世寰智能科技有限公司 | 一种基于无人机的公安智能指挥调度方法及系统 |
CN109190943A (zh) * | 2018-08-20 | 2019-01-11 | 公安部沈阳消防研究所 | 基于机器学习的动态火灾风险评估方法、装置及服务器 |
CN109118702A (zh) * | 2018-09-29 | 2019-01-01 | 歌尔股份有限公司 | 火灾检测方法、装置和设备 |
CN109447030A (zh) * | 2018-11-12 | 2019-03-08 | 重庆知遨科技有限公司 | 一种用于火灾场景的消防机器人动作实时指导算法 |
CN109331389A (zh) * | 2018-11-12 | 2019-02-15 | 重庆知遨科技有限公司 | 一种基于多传感器融合的消防机器人动作实时监测方法 |
CN109767583A (zh) * | 2019-03-12 | 2019-05-17 | 福建工程学院 | 一种适用于无人商店平台的智能顾客逃生引导方法 |
CN109781268A (zh) * | 2019-03-16 | 2019-05-21 | 福州大学 | 一种基于低成本红外热视技术的开关柜内重点部位温度监测系统 |
CN109781268B (zh) * | 2019-03-16 | 2021-06-01 | 福州大学 | 一种基于低成本红外热视技术的开关柜内重点部位温度监测系统 |
CN110119682A (zh) * | 2019-04-04 | 2019-08-13 | 北京理工雷科电子信息技术有限公司 | 一种红外遥感图像火点识别方法 |
CN109993949A (zh) * | 2019-04-14 | 2019-07-09 | 杭州拓深科技有限公司 | 一种基于多传感器融合的消防安全检测方法 |
CN109993949B (zh) * | 2019-04-14 | 2021-06-29 | 杭州拓深科技有限公司 | 一种基于多传感器融合的消防安全检测方法 |
CN110084992A (zh) * | 2019-05-16 | 2019-08-02 | 武汉科技大学 | 基于无人机的古建筑群火灾报警方法、装置及存储介质 |
CN110379117A (zh) * | 2019-06-18 | 2019-10-25 | 杨浩然 | 一种基于红外温度成像仪的无人机火灾侦查系统 |
CN111257507A (zh) * | 2020-01-16 | 2020-06-09 | 清华大学合肥公共安全研究院 | 一种基于无人机的气体浓度检测及事故预警系统 |
CN111860646A (zh) * | 2020-07-20 | 2020-10-30 | 北京华正明天信息技术股份有限公司 | 基于神经网络的森林火灾检测方法 |
CN111860646B (zh) * | 2020-07-20 | 2024-06-18 | 北京华正明天信息技术股份有限公司 | 基于神经网络的森林火灾检测方法 |
CN112488213A (zh) * | 2020-12-03 | 2021-03-12 | 杭州电子科技大学 | 一种基于多尺度特征学习网络的火灾图片分类方法 |
CN112735070B (zh) * | 2020-12-29 | 2022-06-24 | 湖南全亦科技有限公司 | 一种基于互联网的林业监控方法 |
CN112735070A (zh) * | 2020-12-29 | 2021-04-30 | 姜庆娟 | 一种基于互联网的林业监控方法 |
CN113194140A (zh) * | 2021-04-29 | 2021-07-30 | 中信重工开诚智能装备有限公司 | 一种基于消防机器人的一体化远程监控系统 |
CN113345569A (zh) * | 2021-06-10 | 2021-09-03 | 汕头大学 | 一种基于无人机的医疗救援服务方法 |
CN113409484A (zh) * | 2021-06-24 | 2021-09-17 | 广东电网有限责任公司 | 一种智能勘灾系统 |
CN113450548A (zh) * | 2021-09-01 | 2021-09-28 | 成都千嘉科技有限公司 | 一种高层住宅楼燃气泄漏高效检测方法 |
CN113450548B (zh) * | 2021-09-01 | 2022-01-04 | 成都千嘉科技有限公司 | 一种高层住宅楼燃气泄漏高效检测方法 |
CN114530025A (zh) * | 2021-12-31 | 2022-05-24 | 武汉烽理光电技术有限公司 | 一种基于阵列光栅的隧道火灾报警方法、装置及电子设备 |
CN114530025B (zh) * | 2021-12-31 | 2024-03-08 | 武汉烽理光电技术有限公司 | 一种基于阵列光栅的隧道火灾报警方法、装置及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN105913604B (zh) | 2018-03-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105913604B (zh) | 基于无人机的火灾发生测定方法及其装置 | |
CN105929845B (zh) | 基于无人机网络的河道巡航系统与巡航方法 | |
CN106054928B (zh) | 一种基于无人机网络的全地域火灾发生测定方法 | |
KR102203135B1 (ko) | 드론을 이용한 인공지능 기반 재난 피해정보 탐지 방법 및 시스템 | |
CN108922188A (zh) | 雷达跟踪定位的四维实景交通路况感知预警监控管理系统 | |
CN115348247A (zh) | 基于天空地一体化技术的森林火灾检测预警及决策系统 | |
CN108615321A (zh) | 基于雷达侦测及视频图像行为分析的安防预警系统及方法 | |
CN207367052U (zh) | 一种生命探测车、可穿戴设备和虚拟现实探测系统 | |
KR101861045B1 (ko) | 맨홀 및 하천 시설물 점검용 드론 | |
CN102654940A (zh) | 基于无人驾驶飞机的交通信息采集系统及其处理方法 | |
CN105741477B (zh) | 带有智能消防语音助手的飞行器 | |
CN112101088A (zh) | 一种无人机电力自动巡检方法、装置及系统 | |
CN107240216A (zh) | 基于3dgis+bim技术和人工智能运维应急报警与快速响应方法 | |
JPWO2019235415A1 (ja) | 災害状況判定システムおよび災害判定飛行システム | |
WO2018032295A1 (zh) | 事故现场还原方法、装置及运动监控设备 | |
CN105303748A (zh) | 基于空中航拍的火情报警系统 | |
CN115220479B (zh) | 动静协同的输电线路精细化巡检方法与系统 | |
CN112309068B (zh) | 一种基于深度学习的森林火灾预警方法 | |
CN113688758B (zh) | 基于边缘计算的输气管道高后果区智能识别系统 | |
CN110782095A (zh) | 一种消防路线规划方法、装置、电子设备及存储介质 | |
KR102166432B1 (ko) | 스마트 드론을 사용한 재난 상황 대응 방법 | |
CN109471911A (zh) | 一种基于地球同步轨道卫星的电网山火监测预警方法 | |
CN112509322A (zh) | 一种基于无人机的高速交通事故监管方法、系统及可读存储介质 | |
CN112214025A (zh) | 智能侦察灭火系统及其灭火控制方法 | |
CN106875096B (zh) | 一种地震房屋损失评估系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |