CN1943824B - 基于全方位视觉传感器的自动消防灭火装置 - Google Patents

基于全方位视觉传感器的自动消防灭火装置 Download PDF

Info

Publication number
CN1943824B
CN1943824B CN2006100533213A CN200610053321A CN1943824B CN 1943824 B CN1943824 B CN 1943824B CN 2006100533213 A CN2006100533213 A CN 2006100533213A CN 200610053321 A CN200610053321 A CN 200610053321A CN 1943824 B CN1943824 B CN 1943824B
Authority
CN
China
Prior art keywords
fire
flame
image
formula
shower nozzle
Prior art date
Application number
CN2006100533213A
Other languages
English (en)
Other versions
CN1943824A (zh
Inventor
汤一平
柳圣军
金海明
严海东
Original Assignee
浙江工业大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 浙江工业大学 filed Critical 浙江工业大学
Priority to CN2006100533213A priority Critical patent/CN1943824B/zh
Publication of CN1943824A publication Critical patent/CN1943824A/zh
Application granted granted Critical
Publication of CN1943824B publication Critical patent/CN1943824B/zh

Links

Abstract

一种基于全方位视觉传感器的自动消防灭火装置,包括微处理器、用于监视现场的视频传感器、用于与外界通信的通信模块以及灭火喷头,灭火喷头连接喷头驱动装置,视频传感器是全方位视觉传感器,进行图像处理和分析,通过火灾的简单的模式分类、火焰面积变化特征判断、火焰形体变化特征判断、火焰颜色特征判断、火焰闪动规律特征判断、火焰整体运动特征判断以及火灾强度特征判断得到综合判断结果,根据所发现的火苗点位置自动控制喷头对准火苗点将灭火剂喷洒在火源附近。本发明能够有效减少误报率、对火源点检测定位准确、实时性能好、在发现火苗情况时能自动控制喷头以最短的时间将灭火剂喷射到火苗点、实现的检测算法和控制算法简单。

Description

基于全方位视觉传感器的自动消防灭火装置

(—)技术领域

[0001] 本发明涉及一种基于全方位视觉传感器的自动消防灭火装置。

(二)

背景技术

[0002]自动消防灭火的核心是火灾的早期发现以及火苗点的确定,关键技术是要根据所发现的火苗点位置自动控制喷头对准火苗点将灭火剂喷洒在火源附近,达到自动消防灭火的目的。

[0003] 人们为了早期发现和通报火灾,并及时采取有效措施,控制和扑灭火灾,而设置在建筑物中或其它场所的一种自动消防设施,目前是现代消防不可缺少的安全技术设施之一。国内外对火灾自动监测都非常重视。目前检测火灾是否发生主要通过连续或者断续监视至少一种与火灾相关联的物理或者化学现象来进行的,监视方法通常分为感烟型、感温型、气体型和感光型。

[0004] 根据美国测试与材料学会(ASTM)和国际防协会(NFPA)的定义,烟气包括悬浮于其的固相和液相颗粒及材料热解过程产生的气相物质。因此,火灾烟气流动属于两相流流动,悬浮于其中的烟气颗粒数目、颗粒团聚效应、烟气湍流效应等是火灾图像探测光学特性的重要影响因素,是火灾探测与预警研究的重要内容。这种基于烟气某一参数特征的火灾图像探测方法,仍不能满足日趋严格的火灾安全要求。因此,有必要研究基于烟气的多参数特征的火灾图像探测方法。

[0005] 传统的火灾报警系统一般基于红外传感器和烟雾传感器,这些系统多采用检测浓度法,而并不检测火焰本身,所以其误报率高、检测时间较长,对某些情况无法预报,比如无烟火焰,更谈不上自动灭火。同时在室外仓库和大型室仓库等大空间场合的火灾报警中,上述传感器信号变得十分微弱,即使是高精度的传感器也会由于种种干扰噪声而无法工作。为解决此类场合的火灾报警问题,国外某些公司在九十年代初提出用紫外波段的图像传感器进行中远距离的火焰检测,并推出了相应产品。但此类系统并不具有自动识别的功能,模块也不具有可重构性,而且火焰的识别方法简单,识别误报率较高。

[0006] 随着数字通信技术、计算机技术的发展,数字图像处理获得了广泛的应用。图像型火灾报警等系统是利用数字图像处理技术来实现火灾自动报警的。目前,在某些场所已采用了比较成熟的火灾探测的方法,如感烟、感温、感光探测器,它们分别利用火灾火焰的烟雾、温度、光的特性等对火灾进行探测。但在大空间、大面积、环境比较恶劣和室外环境等场所无法发挥现有火灾探测设备的作用,而运用数字图像处理技术利用火灾火焰的图像特性却能解决以上场所的火灾探测问题。

[0007] 现有的图像处理方法,因为设备昂贵(利用光谱分析)、对环境或摄像机等要求很高(静止、严格定标等)而无法广泛应用。近年来出现的图像处理方法由于考虑到了火焰的一些特点,取得了一定进展。然而,日趋严格的火灾安全要求和高科技的迅速发展,使火灾探测和预警、自动灭火等方式正向着图像化、自动化和智能化发展,而基于图像的火灾探测方法则是根据火焰特征的探测方法。因此,世界各国都在致力于研究和开发能早期预报火灾的火灾探测方法和设备。数字图像处理和模式识别技术实现火灾预报与传统的预报方法相比可以有效地提高预报精度、大大缩短预报时问、提供更丰富的火灾信息等。

[0008] 图像处理与计算机视觉是一个不断发展的新技术,原则上采用计算机视觉进行观测有四个目的,即预处理、最底层的特征提取、中级特征的辩识以及通过图像对高级情景的解释。一般来说,计算机视觉包括主要特征、图像处理以及图像理解。

[0009] 图像是人类视觉的延伸。通过视觉,可以立即准确地发现火灾,这是不争的事实。图像监测快速性的基础是视觉所接受的信息以光为传播媒介;而图像信息的丰富和直观,更为早期火灾的辨识和判断奠定了基础,其它任何火灾探测技术均不能提供如此丰富和直观的信息。此外,图像监测的关键器件图像敏感组件通过光学镜头与外界发生间接接触,这种结构保证了图像监测技术既可以较恶劣(多粉尘、高湿度)的室内环境中使用,也可以室外环境中使用。由此,图像监测技术在火灾探测中的地位和作用为:

[0010] (I)可在太空间、大面积的环境中使用;

[0011] (2)可用于多粉尘、高湿度的场所;

[0012] (3)可在室外环境中使用;

[0013] (4)可对火灾现象中的图像信息作出快速反应;

[0014] (5)可提供直观的火灾信息。

[0015] 火灾图像探测系统,是一种以计算机为核心,结合光电技术和计算机图像处理技术研制而成的火灾自动监测报警系统。火灾图像探测方法,是一种基于数字图像处理和分析的新型火灾探测方法。它利用摄像头对现场进行监视,同时对摄得的连续图像输入计算机,不断进行图像处理和分析,通过早期火灾火焰的形体变化特征来探测火灾。它是实现自动灭火的第一步,也是关键的一步。

[0016] 图像是一种包含强度、形体、位置等信息的信号。火灾中的燃烧过程是一个典型不稳定过程。由于可燃物、几何条件、环境和气候的影响,火灾过程要比其它可控的燃烧过程更为复杂。同时,火灾现场存在各种干扰因素,如阳光、照明灯等。因此图像型火灾探测方法必须立足于早期火灾火焰的基本特性,这样就可以排除各种干扰,使火灾探测更快速、可

O

[0017] 在原有的专利(CN86106890A,CN1089741A, CN1112702A)技术中对图像型火灾检测在运用数字图像处理技术利用火灾火焰的图像特性方面,根据火焰图形的一些单一或者几个简单形态特征作为模式识别的判据,这样由于选取特征比较单一,算法相对复杂,造成误判率高。在专利CN1089741A中使用云台对全景进行火灾检测,虽然能得到全方位图像,但是云台采用机械式旋转装置存在着机械磨损、维护工作量大、要消耗能源、算法相对复杂,不能实时处理等缺点。在专利(CN 1192381A)技术中提出了一种自动跟踪灭火机,其方案是采用红外、光电、机械于一身,安装在天花板或顶棚上。烟雾传感器发现控制区内一旦起火,探头和喷头自动对地面全方位扫描,发现着火点,智能控制系统立即发报警信号,同时锁住喷头对准着火点,喷射灭火剂,火光熄灭后,停止喷射,继续寻找新的着火点,再喷射,直到火苗全部扑灭。该发明所提出的自动跟踪灭火机存在着几个比较问题,首先是火灾的检测问题,要通过烟雾传感器来发现起火,只有在周围的烟雾浓度达到一定值后才能检测到发生火灾,烟雾传递需要有一个过程,不但取决于火燃烧的大小,同时也取决于监视空间的大小,因此即使通过烟雾传感器能检测到火灾的发生也已经处在火灾的中期,这时用一个喷头来扑灭火源已经非常困难;其次要用探头和喷头自动对地面全方位扫描来捕捉火源必定存在着滞后等问题。

(三)

发明内容

[0018] 为了克服已有的火灾探测系统和自动跟踪灭火机的误报率较高、不能及时发现早期火灾、不能实时处理、算法相对复杂的不足,本发明提供一种能够有效减少误报率、对火源点检测定位准确、实时性能好、在发现火苗情况时能自动控制喷头以最短的时间将灭火剂喷射到火苗点、实现的检测算法和控制算法简单的基于全方位视觉传感器的自动消防灭火装置。

[0019] 本发明解决其技术问题所采用的技术方案是:

[0020] 一种基于全方位视觉传感器的自动消防灭火装置,该自动消防灭火装置包括微处理器、用于监视现场的视频传感器、用于与外界通信的通信模块以及灭火喷头,所述灭火喷头连接喷头驱动装置,所述的微处理器包括:图像数据读取模块,用于读取从视频传感器传过来的视频图像信息;文件存储模块,用于将视频传感器采集的数据存储到存储器中;现场实时播放模块,用于连接外部的显示设备,将监视现场画面实时播放;所述的视频传感器的输出与微处理器通信连接,所述的视频传感器是全方位视觉传感器,所述的视觉传感器包括用于反射监控领域中物体的外凸反射镜面、透明圆柱体、摄像头,所述的外凸反射镜面朝下,所述的透明圆柱体支撑外凸反射镜面,用于拍摄外凸反射镜面上成像体的摄像头位于透明圆柱体的内部,摄像头位于外凸反射镜面的虚焦点上;

[0021] 所述的微处理器还包括:

[0022] 传感器标定模块,用于对全方位视觉传感器的参数进行标定,建立空间的实物图像与所获得的视频图像的对应关系;

[0023] 颜色模型转换模块,用于将彩色图像中的每一个像素点的颜色从RGB颜色空间转换到(Cr,Cb)空间颜色模型;

[0024] 图像展开处理模块,用于将采集的圆形视频图像展开为全景柱状图,根据圆形全方位图像上的一个点(χ%/)和矩形柱状全景图上的一个点(Χ'Γ)的对应关系,建立(χ%y*)与(χ**,y**)的映射矩阵,式(I)所示:

[0025]

(I)

[0026] 上式中,及是映射矩阵,

是圆形全方位图像上的像素矩阵,

是矩形柱状全景图上的像素矩阵;

[0027] 活动对象检测模块,用于将所获得的当前帧现场视频图像与一个相对比较稳定的基准参考图像进行差值运算,图像相减的计算公式如式(2)表示:

[0028] fd(X, t0, tj) = f (X, ti)-f (X, t0) (2)

[0029] 上式中,fd(X, t0, 是实时拍摄到图像与基准参考图像间进行图像相减的结果;f (X,ti)是实时拍摄到图像;f (X,t0)是基准参考图像;

[0030] 并将当前图像中与相邻K帧的图像相减计算公式如(3)所示:

[0031] fd(X, ti_k, tj) = f (X, ti)-f (X, ti_k) (3)

[0032] 上式中,L(Xai^ti)是实时拍摄到图像与相邻K帧图像间进行图像相减的结果;f(x, ti_k)是相邻K帧时的图像;

[0033] 如fd(X, t0, 彡阈值、fd(X, 彡阈值成立时,判定为可疑火焰对象;

[0034] 如L(Xdc^ti)彡阈值、L(Xdi^ti)〈阈值,判定静止对象,并用式⑷来更新替换基准参考图像:

[0035]

[0036] 如fd (X,t0, <阈值,判定为静止对象;

[0037] 连通区域计算模块,用于对当前图像进行标记,像素灰度为O的小区表示此小区无可疑火焰,像素灰度为I则表示此小区有可疑火焰,计算当前图像中的像素是否与当前像素周围相邻的某一个点的像素相等,如灰度相等判断为具有连通性,将所有具有连通性的像素作为一个连通区域;

[0038] 模式分类模块,用于判定为可疑火焰后,对每个连通区域求出其面积Si,并依照如下:

[0039] I)若Si <阈值1,则该变化区域为噪声点;

[0040] 2)若Si >阈值2,则该变化区域为大面积的红外光线变化;

[0041] 3)若阈值I < Si <阈值2,则该变化区域为可疑的火焰区域;

[0042] 判断为可疑的火焰区域后,计算相邻帧变化图像的相似度ε i,如公式(5)所示,

[0044] 式中,bi(x,y)为上一帧中可疑的火焰区域,bi+1 (x, y)为当前帧中可疑的火焰区域;

[0045] 根据上述计算结果,模式分类为:

[0046] I)若ε i彡阈值1,则图像模式为快速运动的亮点;

[0047] 2)若ε i >阈值2,则图像模式为固定红外发光区域;

[0048] 3)若阈值I < ε i <阈值2,则图像模式为火焰;

[0049] 火焰颜色特征判断模块,用于在(Cr,Cb)空间的分布模型,计算发光源是否落在火焰图像在(Cr,Cb)空间的分布模型内,计算公式由式(6)所示:

[0050]

[0051] 式(6)中,Wfirecolor是颜色特征量,δί,όζ是火焰点Cr、Cb的样本标准均值,Α、B、C分别是由样本标准差和均值计算出来的系数;

[0052]

[0053] 火焰面积变化特征判断模块,用于根据每帧图像的发光面积Si进行递推计算,求在下一帧图像的发光面积的递推值^Γ('+υ,计算公式由式(7)给出;

[0054]

[0055] 式中,?是下一帧图像的发光面积的递推平均值,是目前帧图像的发光面积的递推平均值,Si是目前帧发光面积的计算值,K为系数,小于I,得到下式(8)

[0057] 如果上述⑶成立,火焰面积扩展Wfi,e area量化值取为I ;如上式⑶不成立,火焰面积扩展wfiM area量化值取为O ;

[0058] 火焰闪动规律特征判断模块,用于在上述(8)成立时,将发光面积的计算值Si与目前帧图像的发光面积的递推平均值^⑼求差计算,如两者的差的正负发生变化就进行记数,计算在一定时间段中其变化的次数作为火焰闪动的变化频率ff_y,并将该ff_y与所设定的阈值f。相比较,当f—y彡f。时,火焰闪动wfiMbicto量化值取为I ;当f—y < fc时,火焰闪动W量化值O;

[0059] 火灾强度判断模块,用于在火焰面积扩展WfiM 3_量化值为I和火焰颜色特征Wfire color的计算值大于O. 5时,计算公式如式(9)所示;

[0060]

[0061] 上式(9)中,Σ S是整个监控面积,Wfire indensity是火灾强度值;

[0062] 火灾发生综合判断模块,用于根据火焰模式、火焰颜色特征值、火焰面积、火焰闪动规律综合判断是否有火灾发生,其计算式如(10)所示:

[0063]评fire alarm ^fire pattern ^ ^ i+^fire color ^ ^fire color~^~^fire area ^ ^fire area (10)

[0064] +Kfire bicker ^ ^fire bicker~^~^fire indensity ^ ^fire indensity

[0065] 式中:Kfire pattern为火焰模式的加权系数;

[0066] Kfire color为火焰颜色特征的加权系数;

[0067] Kfire area为火焰面积变化的加权系数;

[0068] Kfire bicker为火焰闪动的加权系数;

[0069] Kfire indensity为火灾强度的加权系数;

[0070] 如Kalanil ( Wfire alaTW,判定为火灾告警,通过通信模块通知管理人员;

[0071] 火焰发生位置计算模块,用于根据三维空间与图像像素的对应性关系,计算火焰的中心点,确定火源点位置;

[0072]自动灭火控制模块,用于在判断火灾告警后,控制喷头驱动装置使喷头朝向火源点移动,当喷头对准火点时,发出打开喷头阀门灭火的指令。

[0073] 所述的警告值K

alarm 舌 ^αΐΐβηΐϊοηΛ ^alarml Λ ^alarm2 Λ ^alarm3 ?

[0074]若Kattentim ( Wfire alarm ( Kalarml,判定为火焰可疑注意,通过通信模块通知管理人员,自动灭火控制t旲块判断嗔头阀门的开启状态,如为未开启嗔头阀门,控制嗔头驱动装直使喷头朝向火源点移动;如为已开启喷头阀门,继续喷射灭火剂;

[0075] 若Kalanill < Wfire alarm ( K alaMfi,判定为火灾早期警告,通过用户通信模块通知管理人员,启动文件存储模块记录现场视频数据,自动灭火控制模块判断喷头阀门的开启状态,如为未开启喷头阀门,确认喷头是否对朝向火源点,如果管理人员确认为是火灾发生同时喷头对朝向火源点,管理人员从远程控制启动喷头阀门打开;如为已开启喷头阀门,判定火源还没有进一步扩大蔓延,继续喷射灭火剂;

[0076] 若K alarm2 < Wfire alarm ( Kalarm3,判定为火灾发生,通过用户通信模块自动报警通知119,并通知管理人员,启动文件存储模块记录现场视频数据,自动灭火控制模块判断喷头阀门的开启状态,如为未开启喷头阀门,确认喷头是否对朝向火源点,得到确认信息后发出启动喷头阀门打开的指令;如为已开启喷头阀门,继续喷射灭火剂;

[0077] 若K alarm3 < Wfire alarm,则拉响火灾警报,通过用户通信模块自动报警通知119,并通知管理人员,启动文件存储模块记录现场视频数据,自动灭火控制模块判断喷头阀门的开启状态,如为未开启嗔头阀门,确认嗔头是否对朝向火源点,得到确认彳目息后发出启动嗔头阀门打开的指令;如为已开启喷头阀门,判定火源有进一步扩大蔓延趋势,继续喷射灭火剂。

[0078] 要关闭已打开的喷头阀门,有两种方式,一种方式是自动关闭,其条件是Wfire alarm ( Kattmtim,这时的状态是火已经扑灭;另一种方式是手动关闭,为了防止管理人员的误动作,当wfiM alarm > Kalarml以上状态时,系统要求管理人员进行确认操作的正确性。

[0079] 再进一步,所述的微处理器还包括背景维护模块,所述的背景维护模块包括:

[0080] 背景亮度计算单元,用于计算平均背景亮度Yb计算公式如式(11)所示:

[0082] 式(11)中,Yn(x, y)为当前帧各像素的亮度,Mn(x, y)为当前帧的掩模表,所述的掩模表是用一个与视频帧尺寸相同的数组M来记录各像素点是否有运动变化,参见式

(12):

[0084] YbO为判定为可疑火焰对象时前一帧的背景亮度,Ybl为判定为可疑火焰对象时第一帧的背景亮度,两帧平均亮度的变化为:

[0086] 如果ΛΥ大于上限值,则认为发生了开灯事件;如果ΛΥ小于某个下限值,则认为发生了关灯事件;如ΛΥ介于上限值和下限值之间,则认为光线自然变化;

[0087] 背景自适应单元,用于当光线自然变化时,按照下式(14)进行自适应学习:

[0088] Xmix,bn+Ji) = (l])Xmix,bnW + AXmix,cn(i) (14)

[0089] 式中:Xmix,cn(i)为当前帧RGB向量,Xmix,bn(i)为当前帧背景RGB向量,Xmix,bn+1(i)为下一帧背景预测RGB向量,λ为背景更新的速度;λ =0,使用固定不变的背景(初始背景);λ = 1,使用当前帧作为背景;0< λ < 1,背景由前一时刻的背景与当前帧混合而成;

[0090] 当光线由开关灯引起的,背景像素按照当前帧重置,参见式(15):

[0092] 所述的微处理器还包括:噪声剔除模块,用于将每一个像素值用其局部邻域内所有值的均值置换,如公式(16)所示:

[0094] 上式(16)中,M是邻域内的像素点总数。

[0095] 所述的微处理器还包括:火焰整体运动特征模块,用于通过火焰的整体移动的轨迹来进行判断的,如判断火焰整体运动,火焰整理运动量化值WfiM m_取为I ;如判断非整体运动,火焰整理运动量化值Wfire move取为O ;

[0096] 在所述的火灾发生综合判断模块中,公式(10)修正为:

[0097]评fire alarm ^fire pattern X ^ i+^fire color X 评fire color~^~^fire area X 评fire area

[0098] +Kfire bicker X Wfire bicker~^~^fire indensity ^ ^fire indensity~^^fire move ^ ^fire move

[0099] 上式中,Kfire move是火焰整体运动的加权系数。

[0100] 所述的微处理器还包括:火焰形体变化特征量化模块,用于根据水平方向上的火焰的形状变化,如呈现的形体变化有规律性,wfiM body量化值取为O ;如呈现的形体变化无规律性,

Wfire body

量化值取为I;

[0101] 在所述的火灾发生综合判断模块中,公式(10)修正为:

[01 02] Wfire aiarm Kfire pattern ^ ^ ire color ^ ^fire color~^~^fire area X Wfire area

[01 03] +Kfire bicker ^ ^fire bicker~^~^fire indensity ^ ^fire indensity~^^fire body 乂评fire body

[0104] 上式中,Kfbody是火焰形体变化的加权系数。

[0105] 所述的喷头驱动装置包括固定架,所述固定架与灭火剂罐连通的空心通水轴固定连接,所述空心通水轴的外壁与垂直齿轮啮合,所述的垂直齿轮与垂直电机联接;所述的固定架上安装水平电机、第一平面齿轮、第二平面齿轮,所述的水平电机与第一平面齿轮联接,第一平面齿轮与第二平面齿轮啮合,第二平面齿轮连接喷头,第二平面齿轮套接在中空轴上,所述中空轴与喷头连通,所述中空轴与空心通水轴连通。

[0106] 本发明的工作原理是:近年发展起来的全方位视觉传感器ODVS(OmniDirectionalVision Sensors)为实时获取场景的全景图像提供了一种新的解决方案。ODVS的特点是视野广(360度),能把一个半球视野中的信息压缩成一幅图像,一幅图像的信息量更大;获取一个场景图像时,ODVS在场景中的安放位置更加自由;监视环境时ODVS不用瞄准目标;检测和跟踪监视范围内的运动物体时算法更加简单;可以获得场景的实时图像。因此基于ODVS的全方位视觉系统近几年迅速发展,正成为计算机视觉研究中的重要领域,IEEE从2000年开始举办每年一次的全方位视觉的专门研讨会(IEEE workshoponOmni-directional vision)。

[0107] 图I所示的全方位计算机视觉传感器系统,进入双曲面镜的中心的光,根据双曲面的镜面特性向着其虚焦点折射。实物图像经双曲面镜反射到聚光透镜中成像,在该成像平面上的一个点Pl(x*l,y*l)对应着实物在空间上的一个点的坐标A(xl,yl,zl)。

[0108] 图I中I-双曲线面镜,2-入射光线,3-双曲面镜的焦点Om(0,0,c),4_双曲面镜的虚焦点即相机中心Oc (O,O,-c),5-反射光线,6-成像平面,7-实物图像的空间坐标A (χI,yl, zl) ,8-入射到双曲面镜面上的图像的空间坐标,9-反射在成像平面上的点Pl (x*l,y*l)。

[0109] 图I中所示的双曲面镜构成的光学系统可以由下面5个等式表示;

[0115] 式中X,Y,Z表示空间坐标,c表示双曲面镜的焦点,2c表示两个焦点之间的距离,a,b分别是双曲面镜的实轴和虚轴的长度,β表示入射光线在XY平面上的夹角-方位角,α表示入射光线在XZ平面上的夹角-俯角,f表示成像平面到双曲面镜的虚焦点的距离。

[0116] 根据三维室内空间与图像像素的对应性关系把有存在的那些像素部分检测出来,首先要把参考图像存储在计算机的存储器里,通过实时拍摄到图像与参考图像间进行图像相减,相减的结果发生变化的区域亮度增强,也就是说有光点存在的那些像素区块的亮度增强,本专利只对这些区块的边缘的形状、面积、辐射强度(颜色)感兴趣。根据上述的空间几何关系式空间的像素点的对应性就能计算出来。

[0117] 早期火灾因自身原因形成的图像信息的热物理现象有:火羽流以及高温度下的阴燃。在早期火灾阶段,由于火焰从无到有,是一个发生发展的过程。这个阶段火焰的图像特征就更加明显。早期火灾火焰是非定常的,不同时刻火焰的形状、面积、辐射强度等等都在变化。抓住火灾的这些特点可以为火灾的识别打下良好的基础。图像型火灾探测中的图像处理是动态图象的连续处理;对图像上的每个目标,根据一定的算法来确定它们同前一帧中目标的匹配关系,从而得到各个目标的连续变化规律。以下是本发明的图像型火灾探测方法中用到的图像信息:

[0118] I)面积变化:早期火灾是着火后火灾不断发展的过程。在这个阶段,火灾火焰的面积呈现连续的、扩展性的增加趋势。在图像处理中,面积是通过取阈值后统计图像的亮点(灰度值大于阈值)数实现的。由于本发明采用了从空间的上面向着下面监控的全方位视觉传感器,能观测到火焰面积的连续的、扩展性的增加趋势。

[0119] 2)边缘变化:早期火灾火焰的边缘变化有一定的规律,同其它的高温物体及稳定火焰的边缘变化不同。精确的方法是用边缘检测和边缘搜索算法将边缘提取出来,根据边缘的形状、曲率等待性对边缘进行编码,再根据编码提取边缘的特征量。利用这些特征量在早期火灾阶段的变化规律进行火灾判别。

[0120] 3)形体变化:早期火灾火焰的形体变化反映了火焰在空间分布的变化。在早期火灾阶段,火焰的形状变化、空间取向变化、火焰的抖动以及火焰的分合等,具有自己独特的变化规律。在图像处理中,形体变化特性是通过计算火焰的空间分布特性,即像素点之间的位置关系来实现的。

[0121] 4)闪动规律:火焰的闪动规律,即亮度在空间的分布随时间变化的规律,火焰在燃烧过程中会按某种频率闪烁。在数字图像中就是灰度级直方图随时间的变化规律,这个特性体现了一帧图像的像素点在不同灰度级上的帧频情况随时间的变化。

[0122] 5)分层变化:火焰内部的温度是不均匀的,并且表现出一定的规律。火灾中的燃烧属于扩散燃烧,扩散燃烧火焰都有明显的分层特性,如蜡烛火焰可分为焰心、内焰、外焰三层;木材等固体燃烧时由于表面辐射很强,可以分为固体表面与火焰部分两大层,而火焰部分还可以再分层。分层变化特性体现了不同灰度级的像素点在空间的分布规律。

[0123] 6)整体移动:早期火灾火焰是不断发展的火焰,随着旧的燃烧物燃尽和新的燃烧物被点燃,火焰不断移动着位置。所以火焰的整体移动是连续的、非跳跃性的。

[0124] 要控制喷头朝向火源点必须有一个自由三维驱动喷头机械装置,驱动喷头机械装置由两个内置变速电机进行驱动,其中一个是带动喷头回饶着Z轴旋转的电机,另外一个是带动喷头回饶着X轴旋转的电机。回饶着Z轴旋转的电机和回饶着X轴旋转的电机所产生合成动作能保证喷头对准空间上的任意点。当喷头对准火点时,立即指令电机停转,打开喷雾器或压力水路的电磁阀,让喷雾剂或水从进水管进入管腔,经喷头从喷嘴向着火点喷射灭火剂,将火苗扑灭。

[0125] 因此,采用全方位视觉传感器ODVS并利用数字图像处理技术,找到合理的形态特征判据,结合火焰的颜色特征。解决火灾报警系统和消防灭火装置的误判率高,不能及时发现早期火灾、不能实时处理、算法相对复杂、对环境依赖性强等突出缺点就成为火灾防治技术领域的重点研究内容,并且具有突出的现实意义和理论意义。

[0126] 本发明的有益效果主要表现在:1、将各种火灾特征量进行量化,综合判断是否有火灾发生,能够有效减少误报率;2、能早期发现火灾并将火灾扼杀在萌芽状态,使损失减少到最低限度;3、完全实现自动消防灭火,系统装置能自动地找到火焰点,与喷头的配合进行自动灭火;4、实时处理能力高,只要发现火灾就能及时的得到处理,且实现的算法相对简单;5、避免了现有云台以及扫描检测火灾装置存在的不足,不存在着机械磨损,维护工作量小;6、实现了消防灭火监控的数字多媒体化,管理者能通过各种网络手段确认和控制火灾发生现场的情况,使火灾监控的人防和机防得到了完美的统一和互补。

(四)

附图说明

[0127] 图I为三维立体空间反射到全方位视觉平面成像示意图;

[0128] 图2为全方位视觉光学配件与摄像头和配合使用的示意图;

[0129] 图3为一种基于全方位视觉传感器的自动消防灭火装置的原理图;

[0130] 图4为一种基于全方位视觉传感器的自动消防灭火装置的模块框图;

[0131] 图5为连通图标记原理;

[0132] 图6为自动喷头的结构原理图。

(五)

具体实施方式

[0133] 下面结合附图对本发明作进一步描述。

[0134] 参照图I、图2、图3、图4、图5、图6,图I所示的全方位计算机视觉传感器系统,进入双曲面镜I的中心的光,根据双曲面的镜面特性向着其虚焦点4折射。实物图像7经双曲面镜反射到聚光透镜中成像,在该成像平面上的一个火苗点Pl (x*l,y*l)对应着火苗在空间上的一个点的坐标A(xl, yl, zl)。

[0135] 图I中I-双曲线面镜,2-入射光线,3-双曲面镜的焦点Om(0,0,c),4_双曲面镜的虚焦点即相机中心Oc (O,O,-c),5-反射光线,6-成像平面,7-实物图像的空间坐标A (χI,yl, zl) ,8-入射到双曲面镜面上的图像的空间坐标,9-反射在成像平面上的点Pl (x*l,y*l)。

[0136] 图I中所示的双曲面镜构成的光学系统可以由下面5个等式表示;

[0137] ((X2+Y2) /a2) - (Z2/b2) = —I (Z > O) (17)

[0138]

(18)

[0139] β = tan-1 (Y/X) (19)

[0140] a = tan 1 [ (b2+c2) sin y -2bc] / (b2+c2) cos y (20)

[0141]

[0142] 式中X,Y,Z表示空间坐标,c表示双曲面镜的焦点,2c表示两个焦点之间的距离,a,b分别是双曲面镜的实轴和虚轴的长度,β表示入射光线在XY平面上的夹角-方位角,α表示入射光线在XZ平面上的夹角-俯角,f表示成像平面到双曲面镜的虚焦点的距离。

[0143] 结合图I并参照图2,本发明的全方位视觉功能的配件的结构为:双曲线面镜反射部件I、透明外罩圆柱体10、底座12所组成,所述的双曲线面镜I位于圆柱体10的上端,且反射镜面的凸面伸入圆柱体内向下;所述的双曲线面镜I、圆柱体10、底座12的旋转轴在同一中心轴线上;所述的摄像头11位于圆柱体10内的下方;所述的底座12的下部配置有嵌入式硬件和软件系统15。

[0144] 结合图I并参照图4,本发明所述的全方位视觉传感器13通过USB接口 14连接到自动消防灭火装置的微处理器15中,所述的微处理器15经图像数据读取模块16读入图像数据,在初始化时为了得到无火灾时的环境图像,需要将该图像存入图像数据存储模块18中以便后面的图像识别及处理,同时为了识别运动和变化图像中物体或者火焰的大小,需要对空间坐标进行标定得到全方位图像系统的9个基本参数进行图像识别及处理,对于这个处理在本发明中的传感器标定模块17中进行。

[0145] 所述的图像展开处理计算是在图像展开处理模块19中进行的,该模块的作用是将一幅幅圆形全方位图展开成相对应矩形柱状全景图,展开后的图形具有容易计算、变形小等优点。根据圆形全方位图像上的一个点(x*,y*)和矩形柱状全景图上的一个点(χ**,

y**)的对应关系,建立(χ*, y*)与(χ**, y**)的映射矩阵。由于这种--对应关系,通过映射矩阵方法能把转变成不变形的全景图像。通过M映射矩阵可以建立起式(I)关系。

[0146]

[0147] 根据式(1),对于成像平面上的每个像素P*(x*,y*)在全方位图像上有一个点P**(X#,y#)对应,建立了巧映射矩阵后,实时图像处理的任务可以得到简化。每次在成像平面上得到的变形的全方位图像完成查表运算,生成不变形的全方位图像;生成后的不变形的全方位图像发送给实时播放模块20送到显示器21上显示;如果用户需要知道现场实时情况可以通过网络传输模块22得到现场全方位图像。

[0148] 一幅彩色图像每个像素点的颜色通常由红绿蓝三刺激值加权合成,其它的彩色基如强度、色调t饱和度IHS基等可以由红绿蓝RGB值线性或非线性变换获得。为了获取火焰图像上的火焰区域和背景区域在不同的色彩空间里和不同的外界环境里(阴天、晴天和夜晚)的颜色特征值的区别,以及火焰在和车灯、手电光等发光体在不同色彩空间里的颜色特征值的区别,本专利中采用了(Cr,Cb)空间颜色模型,以取得以上色彩空间里的火焰参数取值,颜色模型转换模块建立一个火焰图像在(Cr,Cb)空间的分布模型。

[0149] 从RGB颜色空间到YCrCb颜色空间的转换公式(22)给出,

[0150] Y = O. 29990*R+0. 5870*G+0. 1140*B

[0151] Cr = O. 5000*R-0. 4187*G_0. 0813*B+128 (22)

[0152] Cb = -0. 1787*R-0. 3313*G+0. 5000*B+128

[0153] 然后根据火焰图像在(Cr,Cb)空间的分布模型,计算发光源是否落在火焰图像在(Cr, Cb)空间的分布模型内,来作为判断火焰点的一个重要依据,计算公式由式(6)给出,

[0154]

[0155] 式(7)中

是火焰点Cr、Cb的样本标准均值,A、B、C分别是由样本标准差和均值计算出来的系数。

[0156]

[0157] 背景维护模块37是基于背景减算法检测运动对象的关键,它直接影响检测出运动对象的完整性和准确性。本发明中采用了背景自适应法,其核心思想是对每一个背景像素使用I组矢量=RGB变化的当前混合值(Xmix,bi)来表示合法背景像素的允许取值(i为帧号),并采用IIR滤波对其进行如下更新。

[0158] (I)当光线自然变化(不是开关灯引起的),并且无异常对象存在时,I组向量(分别为RGB)进行自适应学习:

[0159] Xmix,bn+l(i) = (l-A)Xmix,bn(i) + AXmix,cn(i) (14)

[0160] 式中:Xmix,cn(i)为当前帧RGB向量,Xmix,bn(i)为当前帧背景RGB向量,Xmix,bn+1(i)为下一帧背景预测RGB向量,λ为背景更新的速度:λ =0,使用固定不变的背景(初始背景);λ =1,使用当前帧作为背景;0< λ <1,背景由前一时刻的背景与当前帧混合而成。

[0161] (2)当光线有突变时(由开关灯引起的),I组向量按当前帧重置:

[0162]

(15)

[0163] (3)当有对象进入监视范围时,背景保持不变。为避免将运动对象的部分像素学习为背景像素,采用:

[0164]

(23)

[0165] 上式中的Xmix,bn+1(i) (i = 1,2,3)分别表示R,G,B 3个分量,为简化起见,上述公式略去了每个像素的坐标U,y)部分。

[0166] 背景亮度的变化可用来判定检测到的运动对象是否因开关灯而引起。开关灯事件不应引起系统报警,因而进行背景亮度分析有助于降低系统的误报率。背景亮度使用平均背景亮度Yb来度量,计算公式由式(11)给出,

[0167]

[0168] 式(11)中,Yn(x,y)为当前帧各像素的亮度,Mn(x,y)为当前帧的掩模表。用YbO表示发现有异常对象时前一帧的背景亮度,Ybl表示检测到异常对象时第一帧的背景亮度,两帧平均亮度的变化为:

[0169] AY = Ybl-YbO (13)

[0170] 如果Λ Y大于某个值则认为发生了开灯事件,如果Λ Y小于某个负值则认为发生了关灯事件。根据上述判断结果用式(15)对当前帧进行重置。

[0171] 所述的掩模表,是用一个与视频帧尺寸相同的数组M来记录各像素点是否有运动变化,这个数组称为掩模映射表(Mask Map):

[0172]

[0173] 数组M是运动对象的二值图像,不但可用来掩模视频帧从而分割出运动对象,还可用于运动对象的跟踪、分析和分类。

[0174] 上述经过全方位视觉传感器对监视图像采集后需经过几次处理,即全方位图展开计算、求差影图、边缘的探测、求连通区域、图像预处理、模式分类、颜色特征提取、颜色特征判别,然后进行更进一步的综合判断,最后判别起火可能性的大小。

[0175] 所述的求差影图也称为差分方法,是一种常用于检测图像变化和运动物体的图像处理方法,通过求差影图得到运动对象模块23的处理,可以根据三维空间与图像像素的对应性关系把有光源点存在的那些像素部分检测出来,这里首先要有一个稳定的基准参考图像,并将该基准参考图像存储在计算机的存储器里,本发明中将一个相对比较稳定的基准参考图像存放在图像数据文件存储模块18中,然后通过实时拍摄到图像与基准参考图像间进行图像相减,相减的结果发生变化的区域亮度增强,图像相减的计算公式如式(2)表示,

[0176] fd(X, t0, tj) = f (X, ti)-f (X, t0) (2)

[0177] 式中fd(X,t0, 是实时拍摄到图像与基准参考图像间进行图像相减的结果;f (X,ti)是实时拍摄到图像;f (X,t0)是基准参考图像。

[0178] 由于火灾监控中全方位视觉传感器都是固定的,而背景中的静止对象有时可能被移动,基于背景减算法检测运动对象所得到的运动像素可能包含对象移动留下的空穴。由于空穴在随后的视频帧中不会移动,因此可用相邻K帧差法来消除空穴,本发明中采用相邻K帧差法判定某个像素是否是背景对象留下的空穴。为此需要进行式(3)的计算,

[0179] fd(X, ti_k, tj) = f (X, ti)-f (X, ti_k) (3)

[0180] 静止对象的移动一般都可以考虑在时间分的单位上,当fd(X,t0, 彡阈值和fd(X,ti_k,ti)彡阈值都成立时,被认为是运动对象;如果fd(X,t0, ti)彡阈值而fd(X,ti_k,ti) <阈值,本发明中认为是背景中的静止对象被移动后所产生的空穴,为了消除空穴用式

(4)来更新替换基准参考图像,

[0181] /(X’Ue/XX’Vk) (4)

[0182] 当fd(X,t0, 彡阈值和fd(X,ti_k,彡阈值都成立情况下被认为是运动对象时,要启动下列线程进行火灾判断计算模块24,在该模块中共要启动7个新的线程,既简单的模式分类模块26、火焰面积变化特征判断模块线程27、火焰形体变化特征判断模块线程28、火焰颜色特征判断模块线程29、火焰闪动规律特征判断模块线程30、火焰整体运动特征判断模块线程31、火灾强度特征判断模块线程32 ;最后根据各线程计算结果在模块33中进行综合判断,计算综合判断量化值,并根据该量化值进行不同的处理;如果判断为静止图像时,进入背景维护模块37;

[0183] 在简单的模式分类模块26处理前,由于实际图像信号中包含有噪声,而且一般都表现为高频信号,因此在识别过程中要剔除由噪声所产生的图像边缘点,然后进行像素间的连通性计算;

[0184] 所述的剔除由噪声所产生的图像边缘点,在本发明中使用四邻域遍历的方法,它用滤波掩膜确定的邻域内像素的平均灰度值去替代图像每个像素点的值,即每一个像素值用其局部邻域内所有值的均值置换,如公式(16)所示;

[0185]

[0186] 式中,M是邻域内的像素点总数,本发明中取为4。

[0187] 所述的像素间的连通性是确定区域的一个重要概念。在二维图像中,假设目标像素周围有m(m<= 8)个相邻的像素,如果该像素灰度与这m个像素中某一个点A的灰度相等,那么称该像素与点A具有连通性。常用的连通性有4连通和8连通。4连通一般选取目标像素的上、下、左、右四个点。8连通则选取目标像素在二维空间中所有的相邻像素。将所有具有连通性的像素作为一个区域则构成了一个连通区域。

[0188] 所述的连通区域计算模块25主要解决在图像处理过程中,一幅二值图像,其背景和目标分别具有灰度值O和I。对这样的二值图像,要对目标进行标记,计算每一目标的特征以进行识别,在多目标实时跟踪系统设计中,需要有一种快速而节省内存的连通区域标记算法。本发明中将像素为O的小区表示此小区无可疑火焰,若为I则表示此小区有可疑火焰。所以可以采用连通成分标记法进行缺陷区域的合并。连通标记算法可以找到图像中的所有连通成分,并对同一连通成分中的所有点分配同一标记。附图5为连通标记原理图。下面是连通区域算法,

[0189] I)从左到右、从上到下扫描图像;

[0190] 2)如果像素点为1,则:

[0191] ·如果上面点和左面点有一个标记,则复制这一标记。

[0192] ·如果两点有相同的标记,复制这一标记。

[0193] ·如果两点有不同的标记,则复制上点的标记且将两个标记输入等价表中作为等价标记。

[0194] ·否则给这个象素点分配新的标记并将这一标记输入等价表。

[0195] 3)如果需考虑更多的点则回到第2步。

[0196] 4)在等价表的每一等价集中找到最低的标记。

[0197] 5)扫描图像,用等价表中的最低标记取代每一标记。

[0198] 所述的模式分类模块26是当发现可疑的火焰区域后,采用计算相邻帧变化图像的相似度的方法对火焰与干扰模式进行简单的分类。在模式分类前,先进行预处理,对上述标记过的每个连通区域求出其面积Si,有下面判断规则:

[0199] I)若Si <阈值I,则该变化区域为噪声点;

[0200] 2)若Si >阈值2,则该变化区域为大面积的红外光线变化;

[0201] 3)若阈值I < Si <阈值2,则该变化区域为可疑的火焰区域。

[0202] 如果图像满足条件3,接着进行简单的模式分类,本发明中采用计算相邻帧变化图像的相似度,如公式(5)所示,

[0203]

[0204] 式中,bi(x,y)为上一帧中可疑的火焰区域,bi+1 (x, y)为当前帧中可疑的火焰区域;

[0205] 根据上述计算结果,可以得到以下简单的模式分类;

[0206] 4)若ε i <阈值1,则图像模式为快速运动的亮点;

[0207] 5)若ε i >阈值2,则图像模式为固定红外发光区域;

[0208] 6)若阈值I < ε i <阈值2,则图像模式为火焰模式。

[0209] 火焰中心部的颜色特征判断,是利用火焰分层变化规律,在火焰的形状中部的像素根据式(6)所计算的颜色特征WfiM 作为一个综合判断指标,WfiM。~值越接近I表明该发光体越接近火焰,火焰的颜色特征判断是在火焰颜色特征判断模块线程29中进行的。

[0210] 火焰整体运动特征判断,是在火焰整体运动特征判断模块线程31中进行的,该模块中利用火焰的整体移动具有连续性、非跳跃性的规律,通过火焰的整体移动的轨迹来进行判断的,本专利中将式(12)所得到掩模映射表作为计算火焰整体运动特征,火焰整体运动Wfire move量化值取为I或0,量化值为I表明火焰整体运动具有连续性,O表示没有连续性。

[0211] 火焰面积变化特征判断,是在火焰面积变化特征判断模块线程27中进行的,该模块中是利用火焰面积的连续的、扩展性的增加趋势的规律,根据上述每个连通区域求出其面积Si的和来判断火焰面积是否是在扩展性的增加,本专利中通过每帧图像的发光面积Si进行递推计算,求在下一帧图像的发光面积的递推值计算公式由式(7)给出;

[0212] 二(I-k)* J'0) + k*S1 (7)

[0213] 式中,f+1)是下一帧图像的发光面积的递推平均值,是目前帧图像的发光面积的递推平均值,Si是目前帧发光面积的计算值,K为系数,小于I。本发明中用公式计算随时间显扩展性的增加趋势,

[0214]

[0215] 如果上述不等式(8)成立表示有增加趋势,反映了火焰面积在随时间显扩展性的增加趋势,将火焰面积扩展WfiM area量化值取为1,因此量化值为I表明火焰面积具有扩展性,O表示没有扩展性。

[0216] 火焰闪动规律特征判断,是在火焰闪动规律特征判断模块线程30中进行的,该模块中是利用亮度在空间的分布随时间变化的规律来判断,本专利中通过上述所计算得到每帧图像的发光连通区域Si的变化频率来进行判断,在火灾发生的早期,火焰的发光连通区域31面积表现为增大趋势,即在不等式(8)成立的情况下,进一步判断发光面积的计算值

Si与目前帧图像的发光面积的递推平均值的大小情况,本专利中采用了一旦发现两者的差的正负发生变化就进行记数,计算在一定时间段中其变化的次数作为火焰闪动的变化频率f—q,并将该f—y与系统所设定的阈值f。相比较,当f^unq ^ fc时,将火焰闪动Wfire bicker量化值取为1,量化值为I表明有火焰闪动,O表示没有火焰闪动。

[0217] 火焰形体变化特征判断,是在火焰形体变化特征判断模块线程28中进行的,该模块中是利用在早期火灾阶段,火焰的形状变化、空间取向变化、火焰的抖动以及火焰的分合等,具有自己独特的变化规律,上述的变化不存在共同的规律性,在本专利中使用了全方位视觉传感器,从视角方面来说能观察到水平方向上的火焰的形状变化,由于手电筒和车灯等发光体所产生的形体与形体变化,呈现有形体变化的规律性以及形体的规则性,若计算所得发光体所产生的形体与形体变化具有规律性和规则性,将Wfire body量化值取为O,量化值为O表明发光体具有规律性和规则性,I表不具有规律性和规则性。

[0218] 所述的火灾强度判断,是在火灾强度判断模块线程32中进行的,该模块中在火焰整体运动Wfire move量化值为I、火焰面积扩展WfiM aMa量化值为I和火焰颜色特征Wfire color的计算值大于O. 5时,火焰面积占整个监控面积的百分比来计算,一个百分点记O. 1,计算公式由式(9)给出;

[0219]

[0220] 式中,Σ S是整个监控面积,所计算出来的火灾强度WfiM indmsity值越大表明火灾强度越大。

[0221] 在上述的七种火焰判断的基础上,接着进行综合判断以减少误判断率,同时能判断火灾的程度,加权综合判断计算在模块33中进行,综合判断公式由式(10)给出,综合判断中采用了加权方式,

[0222] W f a

Claims (7)

1. 一种基于全方位视觉传感器的自动消防灭火装置,该自动消防灭火装置包括微处理器、用于监视现场的视频传感器、用干与外界通信的通信模块以及灭火喷头,所述灭火喷头连接喷头驱动装置,所述的微处理器包括: 图像数据读取模块,用于读取从视频传感器传过来的视频图像信息; 文件存储模块,用于将视频传感器采集的数据存储到存储器中; 现场实时播放模块,用于连接外部的显示设备,将监视现场画面实时播放; 所述的视频传感器的输出与微处理器通信连接,其特征在于: 所述的视频传感器是全方位视觉传感器,所述的视觉传感器包括用于反射监控领域中物体的外凸反射镜面、透明圆柱体、摄像头,所述的外凸反射镜面朝下,所述的透明圆柱体支撑外凸反射镜面,用于拍摄外凸反射镜面上成像体的摄像头位于透明圆柱体的内部,摄像头位于外凸反射镜面的虚焦点上; 所述的微处理器还包括: 传感器标定模块,用于对全方位视觉传感器的參数进行标定,建立空间的实物图像与所获得的视频图像的对应关系; 顔色模型转换模块,用于将彩色图像中的每ー个像素点的颜色从RGB顔色空间转换到(Cr, Cb)空间颜色模型; 图像展开处理模块,用于将采集的圆形视频图像展开为全景柱状图,根据圆形全方位图像上的ー个点(/,/)和矩形柱状全景图上的ー个点(x'D的对应关系,建立(x%/)与(X**,y**)的映射矩阵,式(I)所示: P**(x**,y**)<—MxP* (x*, y*) (I) 上式中,M是映射矩阵,P*(x*,y*)是圆形全方位图像上的像素矩阵,' f 是矩形柱状全景图上的像素矩阵; 运动对象检测模块,用于将所获得的当前帧现场视频图像与一个相对比较稳定的基准參考图像进行差值运算,图像相减的计算公式如式(2)表示:fd (x, t0, ti) = f (X, ti) -f (X, t0) (2) 上式中,fd(X, t0,ひ是实时拍摄到图像与基准參考图像间进行图像相减的结果ば(X, 是实时拍摄到图像ば(X,t0)是基准參考图像; 并将当前图像中与相邻K帧的图像相减计算公式如(3)所示: fd (x, ti_k, ti) = f (X, ti) -f (X, tトk) (3) 上式中,fd(Xdi^ti)是实时拍摄到图像与相邻K帧图像间进行图像相减的结果ば(X,ti_k)是相邻K帧时的图像; 如fd(X,t0,ひ彡阈值、fd(X,ti_k,彡阈值成立时,判定为可疑火焰对象; 如fd(X,t0, 彡阈值、fd(X,ti_k,<阈值,判定静止对象,并用式ハP来更新替换基准參考图像: (4) 如fd(X,t0,ひ <阈值,判定为静止对象; 连通区域计算模块,用于对当前图像进行标记,像素灰度为O的小区表示此小区无可疑火焰,像素灰度为I则表示此小区有可疑火焰,计算当前图像中的像素是否与当前像素周围相邻的某一个点的像素相等,如灰度相等判断为具有连通性,将所有具有连通性的像素作为ー个连通区域; 模式分类模块,用于判定为可疑火焰后,对每个连通区域求出其面积Si,并依照如下: 1)若Si <阈值1,则该变化区域为噪声点; 2)若Si >阈值2,则该变化区域为大面积的红外光线变化; 3)若阈值I く Si <阈值2,则该变化区域为可疑的火焰区域; 判断为可疑的火焰区域后,计算相邻帧变化图像的相似度Si,如公式(5)所示,
式中,bi(x,y)为上ー帧中可疑的火焰区域,bi+1(x,y)为当前帧中可疑的火焰区域; 根据上述计算结果,模式分类为: 1)若e , <阈值1,则图像模式为快速运动的亮点; 2)若Si >阈值2,则图像模式为固定红外发光区域; 3)若阈值Kei <阈值2,则图像模式为火焰; 火焰颜色特征判断模块,用于在(Cr,Cb)空间的分布模型,计算发光源是否落在火焰图像在(Cr,Cb)空间的分布模型内,计算公式由式(6)所示:
式(6)中,Whmm1ot是颜色特征量,巧,冗是火焰点Cr、Cb的样本标准均值,A、B、C分别是由样本标准差和均值计算出来的系数; Cr = 144.6;Cb = 117.5;A = 3.7*10-3;B = 4.1*10-3;C = 4.5*10-3; 火焰面积变化特征判断模块,用于根据每帧图像的发光面积Si进行递推计算,求在下一帧图像的发光面积的递推值,计算公式由式(7)给出;
式中,;
_是下ー帧图像的发光面积的递推平均值,$+)是目前帧图像的发光面积的递推平均值,Si是目前帧发光面积的计算值,k为系数,小于I,得到下式(8)
如果上述⑶成立,火焰面积扩展WfiM aMa量化值取为I ;如上式⑶不成立,火焰面积扩展wfiM area量化值取为O ; 火焰闪动规律特征判断模块,用于在上述(8)成立时,将发光面积的计算值Si与目前帧图像的发光面积的递推平均值^W求差计算,如两者的差的正负发生变化就进行记数,计算在一定时间段中其变化的次数作为火焰闪动的变化频率fftn(lunc;y,并将该ffmqunc;y与所设定的阈值f。相比较,当ffm(lunc;y彡f。时,火焰闪动Wfire bicker量化值取为I ;当f—y < f。吋,火焰闪动W
量化值O; 火灾强度判断模块,用于在火焰面积扩展wfiM area量化值为I和火焰颜色特征Vnre color的计算值大于0. 5时,计算公式如式(9)所示;
上式(9)中,E S是整个监控面积,Wfire indensity是火灾强度值; 火灾发生综合判断模块,用于根据火焰模式、火焰颜色特征值、火焰面积、火焰闪动规律综合判断是否有火灾发生,其计算式如(10)所示:
式中:KfiMpattOTn为火焰模式的加权系数; Kfire color为火焰颜色特征的加权系数; Kfire area为火焰面积变化的加权系数; Kfire bicker 为火焰闪动的加权系数; Kfire indensity 为火灾强度的加权系数; 如警告值Kalanil く Wfire alOT,判定为火灾告警,通过通信模块通知管理人员; 火焰发生位置计算模块,用于根据三维空间与图像像素的对应性关系,计算火焰的中心点,确定火源点位置; 自动灭火控制模块,用于在判断火灾告警后,控制喷头驱动装置使喷头朝向火源点移动,当喷头对准火点时,发出打开喷头阀门灭火的指令。
2.如权利要求I所述的基于全方位视觉传感器的自动消防灭火装置,其特征在于:所述的目 ロ 值 KaIarm 包括 Kattent Jon-> K alarm I、KaIarm2、KaIarm3 ; ^ Kattention^ Wflrealann彡K alarm I,判定为火焰可疑注意,通•过通•信'模块通•知管®人员,自动灭火控制t旲块判断嗔头阀门的开启状态,如为未开启嗔头阀丨I,控制嗔头驱动装直使嗔头朝向火源点移动;如为已开启喷头阀门,继续喷射灭火剂; 若K alarml〈 W&ea.ann く K al_ 2,判定为火灾早期警告,通过用户通信模通知管®人员,启动文件存储模块记录现场视频数据,自动灭火控制模块判断喷头阀门的开启状态,如为未开启喷头阀门,确认喷头是否对朝向火源点,如果管理人员确认为是火灾发生同时喷头对朝向火源点,管理人员从远程控制启动喷头阀门打开;如为已开启喷头阀门,判定火源还没有进ー步扩大蔓延,继续喷射灭火剂; 若Kalaml2〈W^l_ ^Kalaral3,判定为火灾发生,通过用户通信模块自动报警通知.119,并通知管理人员,启动文件存储模块记录现场视频数据,自动灭火控制模块判断喷头阀门的开启状态,如为未开启喷头阀门,确认喷头是否对朝向火源点,得到确认信息后发出启动喷头阀门打开的指令;如为已开启喷头阀门,继续喷射灭火剂; 若Kal_3〈W—,则拉响火灾警报,^1过:用户^1信模块自云力报警知119,并il知管理人员,启动文件存储模块记录现场视频数据,自动灭火控制模块判断喷头阀门的开启状态,如为未开启喷头阀门,确认喷头是否对朝向火源点,得到确认信息后发出启动喷头阀门打开的指令;如为已开启喷头阀门,判定火源有进ー步扩大蔓延趋势,继续喷射灭火剂。
3.如权利要求I所述的基于全方位视觉传感器的自动消防灭火装置,其特征在于:所述的微处理器还包括背景维护模块,所述的背景维护模块包括: 背景亮度计算单元,用于计算平均背景亮度Yb计算公式如式(11)所示:
式(11)中,Yn(X,y)为当前帧各像素的亮度,Mn(X,y)为当前帧的掩模表,所述的掩模表是用ー个与视频帧尺寸相同的数组M来记录各像素点是否有运动变化,參见式(12):
Yb(!为判定为可疑火焰对象时前ー巾贞的背景亮度,Ybl为判定为可疑火焰对象时第一中贞的背景亮度,两帧平均亮度的变化为: AY = Ybl-Ybo (13) 如果AY大于上限值,则认为发生了开灯事件;如果AY小于某个下限值,则认为发生了关灯事件;如AY介于上限值和下限值之间,则认为光线自然变化; 背景自适应単元,用于当光线自然变化时,按照下式(14)进行自适应学习: Xmix,bn+1(i) = (I-^)Xfflix,bn(i) + AXfflix,cn(i) (14) 式中:Xmix,m(i)为当前帧RGB向量,Xmix,bn(i)为当前帧背景RGB向量,Xmix,bn+1 (i)为下ー帧背景预测RGB向量,A为背景更新的速度;\ = 0,使用固定不变的背景;\ = 1,使用当前帧作为背景;0 <入< 1,背景由前一时刻的背景与当前帧混合而成; 当光线由开关灯引起的,背景像素按照当前帧重置,參见式(15): Xmix,bn+1=mix,crX1) け 5)。
4.如权利要求1-3之一所述的基于全方位视觉传感器的自动消防灭火装置,其特征在于:所述的微处理器还包括: 噪声剔除模块,用于将每一个像素值用其局部邻域内所有值的均值置换,如公式(16)所示: h[i, j] = (1/M) E f [k, I] (16) 上式(16)中,M是邻域内的像素点总数。
5.如权利要求4所述的基于全方位视觉传感器的自动消防灭火装置,其特征在于:所述的微处理器还包括: 火焰整体运动特征模块,用于通过火焰的整体移动的轨迹来进行判断的,如判断火焰整体运动,火焰整理运动量化值WfiM 取为I ;如判断非整体运动,火焰整理运动量化值Wfire move 取为 0 ; 在所述的火灾发生综合判断模块中,公式(10)修正为: ^firre alarm ^fire pattern 入 ^ i+Kfire color ^fire color+Kfire area ^ ^fire area +Kfire bicker '^fire bicker+Kfire indensity '^fire indensity+Kfire move * x Yfire move 上式中,Kfire move是火焰整体运动的加权系数。
6.如权利要求4所述的基于全方位视觉传感器的自动消防灭火装置,其特征在于:所述的微处理器还包括: 火焰形体变化特征量化模块,用于根据水平方向上的火焰的形状变化,如呈现的形体变化有规律性,Wfire body量化值取为O ;如呈现的形体变化无规律性,Wfire body量化值取为I ; 在所述的火灾发生综合判断模块中,公式(10)修正为:
上式中,Kfire body是火焰形体变化的加权系数。
7.如权利要求4所述的基于全方位视觉传感器的自动消防灭火装置,其特征在于:所述的喷头驱动装置包括固定架,所述固定架与灭火剂罐连通的空心通水轴固定连接,所述空心通水轴的外壁与垂直齿轮啮合,所述的垂直齿轮与垂直电机联接;所述的固定架上安装水平电机、第一平面齿轮、第二平面齿轮,所述的水平电机与第一平面齿轮联接,第一平面齿轮与第二平面齿轮啮合,第二平面齿轮连接喷头,第二平面齿轮套接在中空轴上,所述中空轴与喷头连通,所述中空轴与空心通水轴连通。
CN2006100533213A 2006-09-08 2006-09-08 基于全方位视觉传感器的自动消防灭火装置 CN1943824B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2006100533213A CN1943824B (zh) 2006-09-08 2006-09-08 基于全方位视觉传感器的自动消防灭火装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2006100533213A CN1943824B (zh) 2006-09-08 2006-09-08 基于全方位视觉传感器的自动消防灭火装置

Publications (2)

Publication Number Publication Date
CN1943824A CN1943824A (zh) 2007-04-11
CN1943824B true CN1943824B (zh) 2010-06-16

Family

ID=38043612

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006100533213A CN1943824B (zh) 2006-09-08 2006-09-08 基于全方位视觉传感器的自动消防灭火装置

Country Status (1)

Country Link
CN (1) CN1943824B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI403984B (zh) * 2010-11-18 2013-08-01 Hon Hai Prec Ind Co Ltd 火災安控感測系統及方法

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7868772B2 (en) 2006-12-12 2011-01-11 Industrial Technology Research Institute Flame detecting method and device
CN101316371B (zh) * 2007-05-31 2012-11-28 财团法人工业技术研究院 火焰侦测方法及装置
CN101441712B (zh) * 2008-12-25 2013-03-27 北京中星微电子有限公司 一种火焰的视频识别方法和一种火灾监控方法及其系统
CN101515326B (zh) * 2009-03-19 2012-02-22 浙江大学 一种适用于识别和检测大空间火灾火焰的方法
CN101502707B (zh) * 2009-03-19 2011-08-31 许如臣 基于NiosⅡ视频图像识别的自动灭火系统
CN101587622B (zh) * 2009-06-18 2012-09-05 李秋华 基于视频图像智能分析的森林烟火检测与识别方法及设备
CN102457250B (zh) * 2010-10-20 2015-04-15 Tcl集团股份有限公司 一种采集数据滤波处理方法及装置
RU2490043C1 (ru) * 2012-02-22 2013-08-20 Сергей Иванович Бурдюгов Комбинированный способ защиты людей от воздействия огнетушащего состава и комплекс для его реализации
CN103585735B (zh) * 2012-08-16 2016-06-01 周锡卫 一种智能喷淋灭火装置
CN103226731A (zh) * 2013-03-20 2013-07-31 太原理工大学 一种热分布图像在线预测方法
CN103446692A (zh) * 2013-08-31 2013-12-18 西北工业大学 消防升降架系统
CN104721996A (zh) * 2015-04-13 2015-06-24 王传波 基于火焰图像识别自动对中消防装置及方法
CN106023199B (zh) * 2016-05-19 2019-02-01 重庆扬讯软件技术股份有限公司 一种基于图像分析技术的烟气黑度智能检测方法
CN107295314A (zh) * 2017-08-14 2017-10-24 北京煜煌科技有限公司 一种基于全方位视觉传感器的智能家居用安防装置
CN109785574A (zh) * 2019-01-21 2019-05-21 五邑大学 一种基于深度学习的火灾检测方法
CN109731269A (zh) * 2019-01-23 2019-05-10 沈阳航空航天大学 一种自动多功能监控定位灭火系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1044524C (zh) * 1993-11-05 1999-08-04 中国科学技术大学 图像识别火灾监测报警装置
CN1092825C (zh) * 1995-03-08 2002-10-16 中国科学技术大学 利用彩色影像三基色差分进行火灾深测与定位的方法
JP2003058970A (ja) * 2001-08-21 2003-02-28 Mirai Seiko Kk 異常通報システム及び異常通報方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1044524C (zh) * 1993-11-05 1999-08-04 中国科学技术大学 图像识别火灾监测报警装置
CN1092825C (zh) * 1995-03-08 2002-10-16 中国科学技术大学 利用彩色影像三基色差分进行火灾深测与定位的方法
JP2003058970A (ja) * 2001-08-21 2003-02-28 Mirai Seiko Kk 異常通報システム及び異常通報方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI403984B (zh) * 2010-11-18 2013-08-01 Hon Hai Prec Ind Co Ltd 火災安控感測系統及方法

Also Published As

Publication number Publication date
CN1943824A (zh) 2007-04-11

Similar Documents

Publication Publication Date Title
TWI616811B (zh) 用於聲學監測的系統、單晶片系統、行動計算裝置、電腦程式產品以及方法
CN105719421B (zh) 一种基于大数据挖掘的集成化森林防火信息化系统
US10412283B2 (en) Dual aperture 3D camera and method using differing aperture areas
US10161866B2 (en) Particle detector, system and method
CN104299351B (zh) 智能预警灭火机器人
TWI674402B (zh) Particle detection component, component of smoke detector, visual alignment tool, and method of aligning component of smoke detector
CN106710128A (zh) 火警预警无人机
US5153722A (en) Fire detection system
EP1523738B1 (en) System and method for territory thermal monitoring
CN105445234B (zh) 粒子检测
CN105512667B (zh) 红外和可见光视频图像融合识别火灾的方法
RU2452033C2 (ru) Системы и способы наблюдения в ночное время
CN101119482B (zh) 一种全景监控方法及设备
US8818083B2 (en) System of drones provided with recognition beacons
KR20140127574A (ko) 화재 오보 감소를 위한 무인 비행체를 이용한 화재 감시 시스템
CN106097642B (zh) 一种城市综合管廊智能监控与报警装置
KR20130054285A (ko) 항공기 앞의 불리한 대기 조건들을 감지하는 시스템 및 방법
JP2007509327A (ja) 粒子監視装置の改良とその方法
CN101673448B (zh) 一种森林火灾探测方法及系统
US8254628B2 (en) Image processing device for detecting and suppressing shadows, method, and computer program
RU2223515C1 (ru) Устройство обнаружения оптических и оптико-электронных объектов
CN101952709B (zh) 颗粒探测
CN100576908C (zh) 基于全方位视觉传感器的立体化智能摄像设备
CN102855726B (zh) 可视化相阵火灾报警系统
CN101281142B (zh) 一种测量大气能见度的方法

Legal Events

Date Code Title Description
PB01 Publication
C06 Publication
SE01 Entry into force of request for substantive examination
C10 Entry into substantive examination
GR01 Patent grant
C14 Grant of patent or utility model
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100616

Termination date: 20120908

C17 Cessation of patent right