CN109191761A - 一种基于火焰多特征融合的火灾识别方法 - Google Patents
一种基于火焰多特征融合的火灾识别方法 Download PDFInfo
- Publication number
- CN109191761A CN109191761A CN201811034833.4A CN201811034833A CN109191761A CN 109191761 A CN109191761 A CN 109191761A CN 201811034833 A CN201811034833 A CN 201811034833A CN 109191761 A CN109191761 A CN 109191761A
- Authority
- CN
- China
- Prior art keywords
- flame
- fire
- image
- detection
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000004927 fusion Effects 0.000 title claims abstract description 26
- 238000001514 detection method Methods 0.000 claims abstract description 75
- 238000012544 monitoring process Methods 0.000 claims abstract description 24
- 230000033001 locomotion Effects 0.000 claims abstract description 20
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 238000012706 support-vector machine Methods 0.000 claims abstract description 5
- 238000012545 processing Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 7
- 239000000779 smoke Substances 0.000 claims description 5
- 235000019504 cigarettes Nutrition 0.000 claims description 2
- 239000003595 mist Substances 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims 1
- 238000004422 calculation algorithm Methods 0.000 abstract description 20
- 230000008859 change Effects 0.000 abstract description 9
- 238000004364 calculation method Methods 0.000 abstract description 5
- 238000012216 screening Methods 0.000 abstract description 5
- 238000011161 development Methods 0.000 abstract description 3
- 230000007613 environmental effect Effects 0.000 abstract description 2
- 238000012360 testing method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 238000013500 data storage Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 238000012423 maintenance Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 4
- 238000010025 steaming Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000000386 athletic effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 238000013442 quality metrics Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
- G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Alarm Systems (AREA)
- Fire-Detection Mechanisms (AREA)
Abstract
本发明提出了一种基于火焰多特征融合的火灾识别方法,根据这个算法开发了一种火焰多特征融合的火灾识别系统。其原理在于通过该系统调用摄像头视频监控画面,使用系统的后台检测算法对画面进行处理,该方法首先进行运动检测筛选运动火灾像素与RGB颜色模型筛选火焰颜色像素结合作为图像预处理模块,采用的基于帧间差分法检测运算速度快并且不包含复杂运算,对于环境要求不高,不需要考虑黑天等因素的变化,采用的RGB/HIS颜色模型较为稳定;然后根据火焰烟雾、面积变化以及形状变化性质利用火焰像素点数量、凸包以及尖角对火焰进行特征判断;最终结合成熟的支持向量机进行验证;满足以上条件进行报警。本方法能够应用于社会安全等摄像头实时监控系统。
Description
技术领域
近些年由于城市的快速发展,视频监控普及率大大提高,作为跨学科的新兴研究领域,基于视频处理的火灾检测也是当前国内外科研机构的研究热门之一,众多科研学者利用数字视频监控完成火灾检测智能化。如今火灾检测无论在森林防火、还是民用公共安全领域都具备不错的前景。
背景技术
随着中国城镇化的快速普及,城市常驻人口越来越多,人口密度越来越大。一旦发生火灾将严重的威胁人们的生命安全,并且造成重大的经济损失。因此保障人们的生命和财产安全变的越来越重要。
为了预防火灾发生以及火灾的快速成长,需要建立一个能够监测早期火灾的监测系统。建立基于摄像头的自动火灾监测算法能够实现7*24无间断自动监测,极大的节省人力成本,并且城市视频监控系统的快速普及,如超市、商场、车站、银行、道路交通、长途客车、市内公交车等安装的有监控系统的场所,为基于摄像头的火灾检测提供了最根本的保障,大大降低了成本,增加了经济方面可行性。
基于视频监控的火灾检测系统通过视频处理可以对指定区域进行实时监测,当基于视频火灾检测发现火灾发出警报时会向管理者发出捕捉的报警图像,管理员可以根据返回的报警图像进行最终确认。例如当在高速公路上发生事故导致火灾时,根据报警检测传回的画面,就可以直接进行救援,节约抢救的宝贵时间,最大程度减少损伤。这对保障人们的生命财产安全无疑是重要的。同时这对于保障公共财产安全来说也是十分重要。
我们可以对火焰的众多特征进行应用。在静态特征方面,颜色特征是火焰最明显的性质之一,火焰通常呈现红色,一般来说,使用颜色特征是检测火焰最有效的方法之一。在动态性质上,火焰有着更加丰富的特征。首先,火焰是连续变化的,没有固定的形状。第二,火焰的边界存在无序性。第三,火焰也会伴随着一定的成长特性,还有可能伴随着烟雾。通过对火焰特征的分析,我们针对火焰的不同特征设计出对应的火灾检测的算法模块。
发明内容
针对上述问题,本发明提出了一种基于火焰多特征融合的火灾识别方法,根据这个算法开发了一套基于火焰多特征融合的火灾识别系统。其原理在于通过该系统调用摄像头视频监控画面,使用系统的后台检测算法对画面进行处理,该方法首先进行运动检测筛选非运动火灾像素与RGB颜色模型筛选非火焰颜色像素结合作为图像预处理模块,采用的基于帧间差分法检测运算速度快并且不包含复杂运算,对于环境要求不高,不需要考虑黑天等因素的变化;采用的RGB/HIS颜色模型较为稳定。然后根据火焰烟雾、面积变化以及形状变化性质利用火焰像素点数量、凸包以及尖角对火焰进行特征判断。最终结合成熟的支持向量机进行验证。满足以上条件进行报警。识别监控画面中的警报信息,如发现火焰,以及出现烟雾存在可疑区域、遇到相应一定的危险时,后台程序对监控画面进行识别。当检测结果中存在火焰报警信息时,将产生报警信息记录到服务器的数据库中,并通过web客户端读取数据库中的报警信息显示给管理员,等待管理员处理。本系统由数据层、服务层、功能模块层、交互层四个部分为组成。
1数据存储层
数据存储层包括数据采集设备以及数据存储设备。数据采集设备便是视频监控的摄像头装置,覆盖日常公共平台的各个角落。数据存储设备是硬盘存储设备以及数据库服务器,负责存储摄像头信息,火灾报警信息以及参数配置信息。视频监控的摄像头由两级流媒体服务器采集:一级是流媒体服务器,它负责采集各个二级流媒体平台服务器的视频流;二级是流媒体平台服务器,负责采集它管理的所有日常生活平台上的视频流。本系统检测程序通过调用摄像头获取监控视频,并对视频进行处理,转换成符合规则的临时图像进行本地存储。
2服务层
服务层是该系统的“灵魂”,也是该系统的核心部分,提供了一种快速精确识别火灾的算法。以监控视频为数据源,首先进行视频图像处理,将视频转换成符合检测要求的连续帧图片;第二,将连续图像进行火焰图像预处理的运动检测,计算出运动区域,并且将对应的运动区域传递给火焰的颜色检测,完成图像预处理初步筛选工作;第三,提取图片中火焰的高级特征,利用凸包、尖角、像素数量以及烟雾四维特征向量完成对火焰图像的最终识别。在检测结果中,若发现火焰,以及出现烟雾存在可疑区域、遇到相应一定的危险时,服务层将生成火灾警报信息,将警报信息存储的服务器的同时,将警报信息上传到web端并通知管理人员进行处理。
服务层算法的目的可以通过以下步骤实现:步骤1,获取临时图像文件信息;步骤2,对所需参数进行初始化并赋给相应的值;步骤3,将获取的图像数据进行预处理阶段中的火焰运动检测,截取有效的运动区域;步骤4,将有效的运动区域进行火焰颜色检测,完成预处理阶段;步骤5,对预处理后的目标图像进行优化;步骤6,通过对预处理图像进行火焰凸包检测获取凸包特征值;步骤7,通过对预处理图像进行火焰尖角检测获取尖角特征值;步骤8,通过对预处理图像进行火焰烟雾检测获取烟雾特征值;步骤9,通过对预处理图像进行火焰像素数量检测获取像素数量特征值;步骤10,提取火焰的高级特征凸包,尖角,烟雾,像素数量四个特征值,将特征向量进行融合,实现最终对候选火焰图像的决策。
3功能模块层
本部分将对系统的主要功能模块进行功能设计、界面设计和存储设计。系统主要包含以下几个模块:客户端登录模块,视频图像处理模块,火灾检测预处理模块,火焰多特征验证模块,识别算法参数设置模块,报警及处置模块。
火灾算法检测程序界面由四部分构成:菜单、摄像头列表树、监控摄像头显示、参数设置。程序自动按平台调用摄像头画面进行监控,固定时间自动切换下一组摄像头。参数设置模块可以实现图像缩放比例、阈值和背景区域等参数设置。并将设置信息存储于数据库队形的参数配置信息表中。
3.1客户端登录
该部分实现算法检测程序客户端登录及初始化配置参数设置。需要初始化的配置参数有数据库登陆信息、流媒体服务器登陆信息等。
该模块的功能包含验证用户登陆信息、存储数据库和流媒体服务器登陆信息、权限管理、用户登陆日志及查询等。
3.1.1登录信息验证
火焰多特征融合的火灾识别系统控制程序的用户名、密码、用户类型(管理员或普通用户)将存储在部署控制程序的平台上。
3.1.2权限设置
该系统的用户权限分管理员、普通用户两类。其中管理员可以设置配置信息、设置参数、新增普通用户;普通用户:只具有本地查询权限。
3.1.3配置信息
配置信息内容包括以下内容:
(1)数据库配置信息。连接数据库的信息(用户名,密码等)需要存放到配置文件中。
(2)流媒体配置信息。所需连接的流媒体服务器配置信息,内IP、端口、用户、密码。
(3)用户登录信息存储。作为用户登录日志方式存储,内容包括IP、用户名、进入时间、退出时间,时间存储到时分秒。
在启动火焰多特征融合的火灾识别程序时,首先出现的是登陆界面。在登录界面通过输入用户名和密码并验证成功后可以登录到主程序。
3.2视频图像预处理
3.2.1检测程序界面
系统主控制界面由需进行识别的平台及其摄像头列表信息、实时视频显示窗口以及摄像头调整组件组成。识别程序采用分片执行机制(时间片的大小根据需要处理的摄像头个数计算),将每个平台作为一组分析对象,每个平台以4个摄像头的所有画面并行处理,若存在大于四个的摄像头的平台进行第二次轮循机制。
3.2.2视频图像的处理过程
程序控制主界面显示目前正在处理的各个摄像头的实时监控画面各平台选择的摄像头画面,当点击开始检测按钮时,由程序自动对选定的摄像头画面进行截屏(自动截屏的频率为 1秒/次),截屏的图片存储在“安装目录\YYYY\MM\DD”目录下(“YYYY”为所在的年份文件夹,“MM”为所在的月份文件夹,“DD”为检测所在的当前具体日期文件夹。)。同时对截屏图像进行优化,对图像进行降噪处理。然后,读取数据库摄像头信息表对图像进行重命名。截屏图像命名规则为“摄像头ID_截屏时间.jpg”,当检测完成时自动清除未发现火灾的图像,恢复电脑的存储空间。
3.3火灾检测预处理
3.3.1运动检测
首先,获取经过视频图像处理的连续帧图像。根据火灾的动态性质,火焰的形状是无规则并且一直都在改变的,并且火焰通常会存在着一定的成长特性。所以利用火灾这一显著的特征进行运动检测,我们使用改进的帧间差分法算法进行处理,该方法较为稳定,不受白天黑夜的影响;。首先,对图像进行灰度处理,将RGB三通道转换为单通道,节省计算时间;然后,若图像为初始帧则进行初始化操作,其余帧图像则与上一帧图像做帧差,如果不满足则移除并且下一帧图像继续进行检测,基于帧间差分法检测公式如下所示:
式中Fn代表前一帧图像,Fn+1代表当前帧图像,xn代表前一帧图像每个像素点的位置,kn代表前一帧图像xn位置处的像素值,xn+1代表当前帧图像每个像素点的位置,kn+1代表xn+1位置的像素值,kn和kn+1像素值得范围是0-255。对两张连续图像差的结果进行阈值分割处理并将图像二值化,设置经验阈值去掉一些噪声(0代表非火灾像素,255代表候选火灾像素点),增强图像感兴趣部分。同时对阈值化图像进行遍历,如果存在大于λ则代表当前帧图像存在火灾的候选像素。同时如果遍历未发现大于λ的像素值,则说明图像未发现火灾像素,从而完成第一步的筛选。
3.3.2颜色检测
火焰静态最明显的特征就是颜色,颜色检测算法使用的RGB和HIS颜色检测模型算法。 RGB模型更适合图像颜色生成,而HSI模型适合图像描述。根据HSI模型中的饱和度S分量和RGB模型中R分量存在的关系,对决策函数进行更新,使颜色检测更加精准。RGB模型和HSI模型决策函数为:
condition1:R>τ
condition2:R>G>B
condition3:S>0.2
condition4:motion pixel
式中条件1中R为RGB图像中R通道的像素值,τ为火焰像素在R通道存在的固定阈值,一般我们设置为115。条件2表示在RGB图像中R通道像素值大于G通道像素值,G通道像素值大于B通道像素值。条件3表示,将RGB模型转换成HSI模型后,对应的饱和度值大于0.2。针对于普通摄像头捕捉的火焰颜色画面不丰富问题,本系统在前三步放宽了对颜色的要求,能够保证在火灾预处理阶段不会错误的筛选掉火灾图像,所以普通摄像头捕捉的画面也能够有效的进入验证环节。条件4表示将上一步处理的结果作为颜色检测输入图像。由于火焰的动态特性,因此第一步只会把非火灾像素去除,而不会去掉火灾像素,留下的是候选火灾像素,所以我们可以在此基础上进行火灾的颜色检测。并且在此基础上进行检测会减少大量的重复计算。
在对火焰图像进行运动检测之后,可以通过运动检测得到存在运动像素图像,因此通过第一步可以去除非运动目标,但还存在运动的非火焰像素。经过颜色检测后,经过处理可以移除了运动的非火焰像素。
3.4火焰多特征验证
通过初步筛选后,预处理阶段已经移除了非运动物体和非火色物体,但依然会存在大量的满足火色移动物体而非火灾的像素,例如红色移动的车辆或者穿着红色衣服运动的人等,因此本算法在预处理的基础上提取火焰的高级特征,使用了火焰的形状变化、面积变化以及烟雾等特征结合支持向量机进行验证。
3.4.1基于凸包的边界无序性检测
针对空气流以及燃烧物属性会导致火焰形状的持续改变这一特点,我们可以利用这一特性来区别火色移动物体和真实火焰。我们使用凸包计算火灾区域边界的无序性,凸包的计算公式如下:
式中Rp表示火灾边界的周长,Rch表示凸包的长度。根据试验获得阈值α。若火灾的边界周长与凸包长度比值大于阈值α,说明待定区域存在无序性质,满足火灾区域,条件结果设置为真,否则条件结果设为假。
3.4.2基于连续帧的火焰像素数量检测
根据火焰的成长性以及无序性,含有火焰的每帧图像中火焰像素的数量是一直在发生变化的,统计每帧图像的候选火焰像素值,然后与下一帧图像进行比较。检测公式如下:
式中Sn+1表示当前帧检测到的火焰像素数量总和,Sn表示上一帧检测到的火焰像素数量总和,根据实验数据获得像素阈值γ。若连续两帧图像像素数量绝对值差小于阈值γ,说明不满足火焰性质,条件结果设置为假,否则条件结果为真。
3.4.3基于尖角的火焰顶点检测
由于火焰特有的尖角特征,我们可以将火焰的尖角数目变化作为检测火焰的关键步骤。对火焰尖角的数量进行统计,能够提升火焰检测的准确率和干扰性。因此我们可以利用火焰的尖角特性进行判断。
3.4.4火焰烟雾检测
首先,上面已经提出将RGB彩色模型转换成HSI空间,能够更好的描述烟雾。然后,根据烟雾与背景的不同,结合HSI空间色调和亮度双特征,对烟雾火焰的分割。最后,根据烟雾连通性,对其进行目标检测,完成对火焰烟雾的背景分割。
3.4.5基于支持向量机对候选火灾图像最终验证
首先,提取获得的火焰四个特征值,将四个特征值作为支持向量机模型的输入数据。所使用的特征是上一步判断的四个火焰特征:火焰的形状变化,火焰像素数量、尖角以及火焰产生的烟雾。然后,使用训练好的模型进行验证。最后,若检测程序发现异常,将异常结果图片存储到“安装目录\alarm”,产生报警数据,写入数据库,否则删除当前图像并读取下一帧疑似火灾图像进行验证。异常图片命名规则,“摄像头ID_异常类型_发现时间.jpg”。形成图片需同步至信息中心服务器。
3.5识别算法参数设置
该模块实现识别算法参数的设置,并将设置信息存储于数据库。火焰多特征融合的火灾识别算法对获取的画面进行缩放,在不损失处理精度的前提下加速处理速度。对运动检测的帧间差分算法、颜色检测的RGB和HIS颜色模型、火焰的凸包检测、火焰的尖角检测、火焰像素点检测等阈值进行设置参数。设置的参数可以通过点击保存按钮存储到数据库对应的设置信息表中。
另外,界面需要针对不同权限的用户进行具体设计。普通用户无法进行设置参数,“识别算法参数设置”对普通用户设为无法点击。
3.6报警信息显示和处置
在对检测结果展示方面,设计出火灾检测系统页面功能模块。然后根据具体的模块功能设计相应的算法,多种算法比较,选取最优算法;按照用户的需求以及相应的功能进行界面设计;最后整合系统并进行系统测试,根据测试结果对系统进行优化和改进。Web页面采用的技术为Angularjs,服务器端采用目前最主流的SpringMVC、Spring、Mybatis相结合的SSM 框架技术。
3.7帮助
点击可以查看相对应的辅助信息,GPS信息以及警告日志。
4交互层
交互层主要包括显示未处理警告信息模块、警告信息处理以及存储模块、历史警报信息查询模块以及摄像头信息维护模块。未处理警告信息模块主要负责从数据库中读取未处理的火灾警告信息,将相应的信息展示到用户页面;报警信息处理模块通过点击相应的火灾报警信息进入相应的检测结果,可以查看报警位置的监控录像,并对该报警信息进行行为标记,添加相关的报警处理信息;历史警报信息模块,通过该界面可以进行查询汇总,对存在安全隐患的地方进行增强,同时可以按照摄像头名称、区域、报警类型进行精确查找;摄像头基础信息维护模块,当对设备进行更新或者添加时,可以对系统进行增加功能,保持系统的实用性。
附图说明
图1为本发明基于火焰多特征融合的火灾识别系统整体架构示意图;
图2为本发明一种基于火焰多特征融合的火灾识别方法总体流程图;
图3为本发明基于火焰多特征融合的火灾识别系统功能模块图;
图4为本发明客户端登录界面;
图5为本发明算法参数配置信息页面;
图6为本发明一种基于火焰多特征融合的火灾识别方法主界面;
图7为本发明Web系统主界面;
图8为本发明Web系统查询报警信息界面;
图9为本发明Web系统警告信息处理及存储界面;
图10为本发明Web系统历史警告信息查询界面;
图11为本发明Web系统摄像头维护界面;
图12为本发明基于火焰多特征融合的火灾识别系统部署图;
图13为本发明一种基于火焰多特征融合的火灾识别方法部分结果总图;
具体实施方式
下面将结合本发明实施例中的附图,对本发明中系统的设计进行完整地描述:
如图1所示,本发明基于火焰多特征融合的火灾识别系统整体架构示意图,本系统由数据存储层、服务层、功能模块层、交互层四个部分为组成。
如图2所示,本发明一种基于火焰多特征融合的火灾识别方法总体流程图,包括:视频信息获取;视频图像处理;连续图像信息的获取;火灾检测预处理;运动检测;颜色检测;提取火焰高级特征;支持向量机进行验证;报警信息存入数据库。
如图3所示,本发明基于火焰多特征融合的火灾识别系统功能模块图,包括数据存储模块,其中负责关于数据信息和相关配置信息的存储;服务器处理模块,负责算法的相关处理; Web交互模块,负责与用户的交互,包括显示未处理的警告信息、警告信息处理以及存储等。
如图4所示,为本发明客户端登录界面,在启动火焰多特征融合的火灾识别程序时,首先出现的是登陆界面。在登录界面通过输入用户名、密码以及对应的IP和端口,并验证成功后可以登录到主程序。
如图5所示,为本发明算法参数配置信息页面,包括运动检测阈值、颜色检测阈值、凸包检测阈值以及成长检测阈值,其中只有登录类型时管理员的时候才可以进行设置参数的配置信息。
如图6所示,为本发明一种基于火焰多特征融合的火灾识别方法的主界面,视频监控程序运行在各个中心平台上。每个平台上可以监控不同平台上的摄像头,因此每个平台上的主界面的摄像头列表也不同。摄像头监控画面显示在程序中间区域,采用轮循播放机制。主程序控制界面需要针对不同权限的用户进行具体设计。普通用户无法进行视频监控参数和参数信息配置的更改。点击开始检测按钮,开始执行火焰识别算法检测程序。
如图7所示,为本发明Web系统主界面,左侧由警告信息模块、历史报警信息模块以及摄像头信息维护模块组成的Web端服务模块,右侧为初始化的警告信息管理界面。
如图8所示,为本发明Web警告信息模块界面,上方可以选择平台名称、摄像头ID、发生地点以及火灾级别进行多功能查询。点击查询后会显示对应的符合条件的信息,展示的信息包括平台名称、摄像头ID、火灾发生地点、火灾级别、产生的时间、是否处理以及进行的操作,当点击操作中的“查看并处理”按钮时,进入Web系统警告信息处理及存储界面,点击“删除”则删除本条记录。
如图9所示,为本发明Web系统警告信息处理及存储界面,将摄像头的监控视频显示在设置界面左侧,左侧下面是关于检测到报警的详细信息;右侧为处理操作、操作员记录以及备注。当填写完成对应的信息后,系统会将警报信息状态添加至数据库中。
如图10所示,为本发明Web系统历史警告信息查询界面,在输入框中输入需要查询的时间段,点击查询就可以查看历史信息以及报警信息是否已经处理。
如图11所示,为本发明Web系统摄像头维护界面,通过点击左侧摄像头信息维护模块就可以对摄像头进行添加,点击提交后,会将数据存储到数据库中的摄像头基本信息表。
如图12所示,为本发明基于火焰多特征融合的火灾识别系统部署图。数据库服务器存有摄像头信息以及参数配置的数据库表,视频监控中心将图像信息存入数据库服务器相应的表中,通过信息传输系统将数据传递给软件系统平台以供处理。软件系统通过数据调用流媒体平台服务器,对数据进行检测。数据检测就是对获取的视频监控图像信息进行判断,并且将检测到的火灾结果存入数据库,并发出警报。摄像头监控平台实现基于火焰多特征融合的火灾检测系统。流媒体平台服务器上的摄像头监测一直运行,将监测视频存储到本地。
图13所示,为本发明一种基于火焰多特征融合的火灾识别方法部分结果总图,我们列举了含各种场所下不同类型的火灾,火灾发生的场景包括高速公路,田野,室内和森林等各种场景;火灾的性质包括高速公路爆炸性质的火灾,防护区发生的小团火灾,田野间发生的火灾,森林中的火灾,模拟在室内环境下发生的火灾,建筑物旁边并且距离摄像头监控区域较远发生的火灾,模拟有火色物体移动的火灾等,结果证明本发明具有很高的精确度,并能应用于摄像头实时监控。
Claims (8)
1.一种火焰多特征融合的火灾识别方法,首先将摄像头的视频信息转换成图像信息,在图像预处理阶段使用基于帧间差分法进行运动检测和基于RGB和HSI模型对图像进行颜色检测筛选出火灾候选像素。然后根据火焰的尖角、烟雾、面积以及形状的无序性特征。结合支持向量机进行训练,最终完成对火灾候选图像的验证,实现对火灾的自动监控。相对于传统的单一处理方法能够提高准确性以及减少误报率,并能应用于社会安全,森林火灾报警,商业应用等摄像头实时监控系统。当检测发现报警信息时,将报警信息存储到数据库中,并且通过web端读取数据库报警信息更好的显示给用户,等待用户处理。火灾识别系统包括:
步骤1,每个平台的摄像头为一组,分别对各自的领域范围进行监控;
步骤2,流媒体服务器获取对应的平台信息及摄像头监控视频信息;
步骤3,中心服务器获取流媒体服务器的信息,进行视频图像处理;
步骤4,中心服务器的火灾识别算法主程序会自动检测待处理图像;
步骤5,若在图像中检测报警信息,则将报警信息存储到数据库服务器中的火灾报警信息表中;
步骤6,若在图像数据中检测到报警信息,发出警报提醒工作人员进行处理;
步骤7,管理员通过登录火焰多特征融合的火灾识别管理系统进行查看并处理报警信息。
2.如权利要求1对区域进行分组方便系统化管理,同时以小组为单位获取监控视频。
3.如权利要求1每个平台的摄像头通过网络形式向流媒体服务器传输监控的视频信息。
4.如权利要求1视频图像处理:将视频信息转换成图像信息,根据固定的规则对图像进行重命名,同时对图像进行降噪等处理,成为待检测的临时图像存入指定文件夹下。
5.如权利要求1自动检测:步骤1,在指定文件夹中读取临时图像;步骤2,对检测主程序进行初始化操作,完成参数配置信息;步骤3,将获取的图像数据进行预处理阶段中的火焰运动检测,截取有效的运动区域;步骤4,将有效的运动区域进行火焰颜色检测,完成预处理阶段,本阶段做到将基于帧间差分法的运动检测与基于RGB/HSI模型进行的颜色检测相结合,仅将运动的像素进行颜色检测,提升准确度并且减少重复计算;步骤5,对预处理后的目标图像进行优化;步骤6,通过对预处理图像进行火焰凸包检测获取凸包特征值;步骤7,通过对预处理图像进行火焰尖角检测获取尖角特征值;步骤8,通过对预处理图像进行火焰烟雾检测获取烟雾特征值;步骤9,通过对预处理图像进行火焰像素数量检测获取像素数量特征值;步骤10,提取火焰凸包,尖角,烟雾,像素数量四个特征值,将特征向量进行融合,使用成熟的支持向量机实现最终对候选火焰图像的决策。
6.如权利要求1将中心服务器火灾识别算法主程序检测到的报警信息存入到数据库服务器中火灾报警信息表中,供web端读取信息,同时做好数据备份。
7.如权利要求1若在图像数据中检测到存在火焰或烟雾情况,在客户端进行预警提示,使工作人员能够快速对监控画面进行确认,避免或者减少灾害的发生。
8.如权利要求1火焰多特征融合的火灾识别管理系统:火灾报警信息管理系统,web端通过读取数据库服务器获取火灾报警信息,可以实现未处理警报信息的显示、警告信息的处理及存储、历史警告信息的查询等功能。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811034833.4A CN109191761A (zh) | 2018-09-06 | 2018-09-06 | 一种基于火焰多特征融合的火灾识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811034833.4A CN109191761A (zh) | 2018-09-06 | 2018-09-06 | 一种基于火焰多特征融合的火灾识别方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109191761A true CN109191761A (zh) | 2019-01-11 |
Family
ID=64914875
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811034833.4A Pending CN109191761A (zh) | 2018-09-06 | 2018-09-06 | 一种基于火焰多特征融合的火灾识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109191761A (zh) |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110211323A (zh) * | 2019-05-29 | 2019-09-06 | 广州澳盾智能科技有限公司 | 基于级联分类的森林火灾识别方法 |
CN110866941A (zh) * | 2019-11-11 | 2020-03-06 | 格蠹信息科技(上海)有限公司 | 一种基于可见光的火焰识别系统 |
CN111079614A (zh) * | 2019-12-10 | 2020-04-28 | 数知(北京)物联科技有限公司 | 火灾识别方法、装置、存储介质、电子设备 |
CN111274896A (zh) * | 2020-01-15 | 2020-06-12 | 深圳市守行智能科技有限公司 | 一种烟火识别算法 |
CN111639620A (zh) * | 2020-06-08 | 2020-09-08 | 深圳航天智慧城市系统技术研究院有限公司 | 一种基于可见光图像识别的火灾分析方法及系统 |
CN111710125A (zh) * | 2020-05-26 | 2020-09-25 | 上饶市中科院云计算中心大数据研究院 | 一种智慧景区防火预警方法与系统 |
CN111797726A (zh) * | 2020-06-18 | 2020-10-20 | 浙江大华技术股份有限公司 | 一种火焰检测方法、装置、电子设备及存储介质 |
CN111882810A (zh) * | 2020-07-31 | 2020-11-03 | 广州市微智联科技有限公司 | 一种火灾识别与预警方法及其系统 |
CN111988569A (zh) * | 2020-08-24 | 2020-11-24 | 国网北京市电力公司 | 一种变电站工业视频监控画面着火现象监控方法及系统 |
CN112216054A (zh) * | 2020-08-28 | 2021-01-12 | 星络智能科技有限公司 | 火灾事件联动方法、计算机设备及可读存储介质 |
CN112347937A (zh) * | 2020-11-06 | 2021-02-09 | 南京朗联消防科技有限公司 | 一种基于视觉感知的室内火灾监测系统及方法 |
CN112396796A (zh) * | 2020-10-19 | 2021-02-23 | 浙江理工大学 | 一种基于计算机视觉的火灾自动识别预警监控系统 |
CN112949536A (zh) * | 2021-03-16 | 2021-06-11 | 中信重工开诚智能装备有限公司 | 一种基于云平台的火灾报警方法 |
CN113065596A (zh) * | 2021-04-02 | 2021-07-02 | 鑫安利中(北京)科技有限公司 | 一种基于视频分析和人工智能的工业安全实时监测系统 |
CN113065421A (zh) * | 2021-03-19 | 2021-07-02 | 国网河南省电力公司电力科学研究院 | 一种充油设备多源光学火灾探测方法及系统 |
CN113190031A (zh) * | 2021-04-30 | 2021-07-30 | 成都思晗科技股份有限公司 | 基于无人机的森林火灾自动拍照跟踪方法、装置及系统 |
CN114092573A (zh) * | 2021-11-22 | 2022-02-25 | 中国电子科技集团公司第四十一研究所 | 一种烟包缺支检测过程中的水松纸自动识别方法 |
CN116092261A (zh) * | 2023-01-13 | 2023-05-09 | 安徽辉联信息科技有限公司 | 一种区域智能化安防监控快速识别分析系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2269454B (en) * | 1992-08-07 | 1996-06-05 | Graviner Ltd Kidde | Flame detection method and apparatus |
JPH09218089A (ja) * | 1996-02-13 | 1997-08-19 | Tokyo Bosai Setsubi Kk | Ccdtvカメラによる火災の検出システム |
CN102163361A (zh) * | 2011-05-16 | 2011-08-24 | 公安部沈阳消防研究所 | 一种基于前景累积图像的图像型火灾探测方法 |
CN102236947A (zh) * | 2010-04-29 | 2011-11-09 | 中国建筑科学研究院 | 基于视频摄像机的火焰监测方法与系统 |
CN106303444A (zh) * | 2016-08-28 | 2017-01-04 | 桂林市晶准测控技术有限公司 | 一种森林防火监测系统 |
CN106572329A (zh) * | 2016-10-14 | 2017-04-19 | 中国石油大学(华东) | 视频监控图像精确识别系统 |
-
2018
- 2018-09-06 CN CN201811034833.4A patent/CN109191761A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2269454B (en) * | 1992-08-07 | 1996-06-05 | Graviner Ltd Kidde | Flame detection method and apparatus |
JPH09218089A (ja) * | 1996-02-13 | 1997-08-19 | Tokyo Bosai Setsubi Kk | Ccdtvカメラによる火災の検出システム |
CN102236947A (zh) * | 2010-04-29 | 2011-11-09 | 中国建筑科学研究院 | 基于视频摄像机的火焰监测方法与系统 |
CN102163361A (zh) * | 2011-05-16 | 2011-08-24 | 公安部沈阳消防研究所 | 一种基于前景累积图像的图像型火灾探测方法 |
CN106303444A (zh) * | 2016-08-28 | 2017-01-04 | 桂林市晶准测控技术有限公司 | 一种森林防火监测系统 |
CN106572329A (zh) * | 2016-10-14 | 2017-04-19 | 中国石油大学(华东) | 视频监控图像精确识别系统 |
Non-Patent Citations (1)
Title |
---|
胡传秀: "基于融合特征的火焰和烟雾识别方法研究", 《信息科技辑》 * |
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110211323A (zh) * | 2019-05-29 | 2019-09-06 | 广州澳盾智能科技有限公司 | 基于级联分类的森林火灾识别方法 |
CN110866941A (zh) * | 2019-11-11 | 2020-03-06 | 格蠹信息科技(上海)有限公司 | 一种基于可见光的火焰识别系统 |
CN110866941B (zh) * | 2019-11-11 | 2022-10-25 | 格蠹信息科技(上海)有限公司 | 一种基于可见光的火焰识别系统 |
CN111079614A (zh) * | 2019-12-10 | 2020-04-28 | 数知(北京)物联科技有限公司 | 火灾识别方法、装置、存储介质、电子设备 |
CN111274896A (zh) * | 2020-01-15 | 2020-06-12 | 深圳市守行智能科技有限公司 | 一种烟火识别算法 |
CN111274896B (zh) * | 2020-01-15 | 2023-09-26 | 深圳市守行智能科技有限公司 | 一种烟火识别算法 |
CN111710125A (zh) * | 2020-05-26 | 2020-09-25 | 上饶市中科院云计算中心大数据研究院 | 一种智慧景区防火预警方法与系统 |
CN111639620A (zh) * | 2020-06-08 | 2020-09-08 | 深圳航天智慧城市系统技术研究院有限公司 | 一种基于可见光图像识别的火灾分析方法及系统 |
CN111639620B (zh) * | 2020-06-08 | 2023-11-10 | 深圳航天智慧城市系统技术研究院有限公司 | 一种基于可见光图像识别的火灾分析方法及系统 |
CN111797726A (zh) * | 2020-06-18 | 2020-10-20 | 浙江大华技术股份有限公司 | 一种火焰检测方法、装置、电子设备及存储介质 |
CN111882810A (zh) * | 2020-07-31 | 2020-11-03 | 广州市微智联科技有限公司 | 一种火灾识别与预警方法及其系统 |
CN111882810B (zh) * | 2020-07-31 | 2022-07-01 | 广州市微智联科技有限公司 | 一种火灾识别与预警方法及其系统 |
CN111988569A (zh) * | 2020-08-24 | 2020-11-24 | 国网北京市电力公司 | 一种变电站工业视频监控画面着火现象监控方法及系统 |
CN112216054A (zh) * | 2020-08-28 | 2021-01-12 | 星络智能科技有限公司 | 火灾事件联动方法、计算机设备及可读存储介质 |
CN112396796A (zh) * | 2020-10-19 | 2021-02-23 | 浙江理工大学 | 一种基于计算机视觉的火灾自动识别预警监控系统 |
CN112347937A (zh) * | 2020-11-06 | 2021-02-09 | 南京朗联消防科技有限公司 | 一种基于视觉感知的室内火灾监测系统及方法 |
CN112347937B (zh) * | 2020-11-06 | 2023-11-10 | 南京朗联消防科技有限公司 | 一种基于视觉感知的室内火灾监测系统及方法 |
CN112949536A (zh) * | 2021-03-16 | 2021-06-11 | 中信重工开诚智能装备有限公司 | 一种基于云平台的火灾报警方法 |
CN112949536B (zh) * | 2021-03-16 | 2022-09-16 | 中信重工开诚智能装备有限公司 | 一种基于云平台的火灾报警方法 |
CN113065421A (zh) * | 2021-03-19 | 2021-07-02 | 国网河南省电力公司电力科学研究院 | 一种充油设备多源光学火灾探测方法及系统 |
CN113065596A (zh) * | 2021-04-02 | 2021-07-02 | 鑫安利中(北京)科技有限公司 | 一种基于视频分析和人工智能的工业安全实时监测系统 |
CN113190031A (zh) * | 2021-04-30 | 2021-07-30 | 成都思晗科技股份有限公司 | 基于无人机的森林火灾自动拍照跟踪方法、装置及系统 |
CN114092573A (zh) * | 2021-11-22 | 2022-02-25 | 中国电子科技集团公司第四十一研究所 | 一种烟包缺支检测过程中的水松纸自动识别方法 |
CN114092573B (zh) * | 2021-11-22 | 2024-06-04 | 中国电子科技集团公司第四十一研究所 | 一种烟包缺支检测过程中的水松纸自动识别方法 |
CN116092261A (zh) * | 2023-01-13 | 2023-05-09 | 安徽辉联信息科技有限公司 | 一种区域智能化安防监控快速识别分析系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109191761A (zh) | 一种基于火焰多特征融合的火灾识别方法 | |
CN110428522B (zh) | 一种智慧新城的智能安防系统 | |
CN103108159B (zh) | 一种电力智能视频分析监控系统和方法 | |
US7683929B2 (en) | System and method for video content analysis-based detection, surveillance and alarm management | |
EP1364351B1 (fr) | Procede et dispositif de detection de feux base sur l'analyse d'images | |
US8068986B1 (en) | Methods and apparatus related to sensor signal sniffing and/or analysis | |
US6774905B2 (en) | Image data processing | |
CN108073577A (zh) | 一种基于人脸识别的报警方法和系统 | |
US20040240542A1 (en) | Method and apparatus for video frame sequence-based object tracking | |
CN110110575A (zh) | 一种人员脱岗检测方法及装置 | |
CN106572329A (zh) | 视频监控图像精确识别系统 | |
CN107222660B (zh) | 一种分布式网络视觉监控系统 | |
CN107682670A (zh) | 一种应急防控系统 | |
CN108122246A (zh) | 视频监控智能识别系统 | |
KR20200052418A (ko) | 딥러닝 기반의 자동 폭력 감지 시스템 | |
US20170034483A1 (en) | Smart shift selection in a cloud video service | |
GB2560832A (en) | An integrated intelligent server based system and method/systems adapted to facilitate fail-safe integration and/or optimised utilisation | |
WO2015099675A1 (en) | Smart view selection in a cloud video service | |
Gupta et al. | CrowdVAS-Net: A deep-CNN based framework to detect abnormal crowd-motion behavior in videos for predicting crowd disaster | |
JPWO2015087730A1 (ja) | 監視システム | |
US20180253814A1 (en) | System and method for incident validation and ranking using human and non-human data sources | |
CN115002414A (zh) | 监测方法、装置及服务器和计算机可读存储介质 | |
CN109815839B (zh) | 微服务架构下的徘徊人员识别方法及相关产品 | |
WO2024124970A1 (zh) | 一种用于复杂环境行为识别的监控装置及监控方法 | |
CN109582824A (zh) | 一种基于视频结构化的区域安全管理系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190111 |
|
WD01 | Invention patent application deemed withdrawn after publication |