CN112347937B - 一种基于视觉感知的室内火灾监测系统及方法 - Google Patents

Abstract

本发明涉及一种基于视觉感知的室内火灾监测系统及方法，包括安装于室内的摄像机、连接于摄像机输出端的智能嵌入式模块、安装于监控中心的中控计算机、安装于室内的报警器，安装于室内的摄像机实时采集室内场景视频，连接于摄像机输出端的智能嵌入式模块接收场景视频，根据当前系统时间，调用对应的火灾监测算法判断室内是否发生火灾，并根据判断结果视情报警；本发明依据火灾发生时火焰及烟雾变化的特征，设计了适用于白天以及夜晚的两种火灾监测算法，可视情发送报警信息，本发明以摄像机为视频数据采集装置，以智能嵌入式模块实现就地快速视频处理，成本较低且易于部署。

Description

一种基于视觉感知的室内火灾监测系统及方法

技术领域

本发明涉及室内火灾监测，特别是涉及一种基于视觉感知的室内火灾监测系统及方法。

背景技术

相较于室外火灾，室内火灾隐蔽性较高，人类难以及时察觉，如果无法发现这类火灾并及时扑灭，会导致火焰在楼栋之间蔓延，进而造成人员伤亡和经济损失，因此，研究一种室内火灾监测系统及方法具有重要意义。

对于火灾监测系统的部署而言，有如下两个难点：(1)监控中心的监测能力有限，无法同时处理辖区内所有室内场景视频；(2)受使用寿命及软件更新的影响，视频监测硬件模块需经常更换或更新。

对于白天室内火灾监测算法的设计而言，有如下两个难点：(1)可能存在正常的原生火源，如：厨房正常做饭的火焰；(2)可能存在与火焰颜色类似的移动体；对于夜晚室内火灾监测算法的设计而言，有如下一个难点：夜晚室内人员打开手电筒或台灯等光线特征与火焰非常相似的照明设备。

现有的方法中，中国专利文献(CN102663869A)公开了“基于视频监控平台的室内火灾检测方法”，该专利提出利用三帧差分法对火焰进行建模判断的方法存在一定的缺陷，例如：当一个红色移动体进入摄像机的视野时，这种方法就可能失效。

中国专利文献(CN107749067A)公开了“基于运动特性和卷积神经网络的火灾烟雾检测方法”，烟雾非刚性物体，无任何固定特征，因此，在实际应用中，采用卷积神经网络直接对烟雾进行检测是十分困难的。

中国专利文献(CN101441712)公开了“一种火焰的视频识别方法和一种火灾监控方法及其系统”，与中国专利(CN102663869A)中的问题类似，该系统未考虑与火焰颜色相似的移动体对火焰识别造成的影响，易造成误判。

归纳起来可以看到，现有方法忽略了与火焰颜色相似的移动体对监测算法性能的影响，且忽略了白天和夜晚火灾发生时场景特征的差异；此外，现有方法未能设计出系统部署的具体方式。

发明内容

本发明提出的是一种基于视觉感知的室内火灾监测系统及方法，其目的旨在实现白天及夜晚室内火情的实时监测。

本发明解决问题的技术方案：一种基于视觉感知的室内火灾监测系统，该系统包括摄像机1，智能嵌入式模块2，中控计算机3；其中，摄像机1和智能嵌入式模块2安装在户主室内，智能嵌入式模块2连接于摄像机1输出端，智能嵌入式模块2存储有火灾监测算法、系统时间、ID号，中控计算机3安装于监控中心。

一种利用基于视觉感知的室内火灾监测系统进行室内火灾监测的方法，该方法包括：

步骤1)，摄像机1实时采集户主室内场景视频；

步骤2)，智能嵌入式模块2读取当前系统时间，根据系统时间中的日落时间，判断当前时间处于白天还是夜晚；若当前时间是白天，则跳转至步骤3)；反之，则跳转至步骤8)；

步骤3)，若处于白天状态，将摄像机1采集到的第一幅视频帧由RGB空间分别转换至HIS(HIS指HSI颜色模型)空间和灰度空间，将由RGB空间转换至灰度空间形成的灰度空间图的上1/3部分设置为ROI区域，随后统计ROI区域灰度值处于0～50的像素数量；

步骤4)，根据火焰颜色在H(H指Hue，色调)通道图像的统计范围值，不断分割出各视频帧中的疑似火焰区域，求出该疑似火焰区域的重心点位置；

步骤5)，若发现视频帧内某疑似火焰区域重心点位置相较于之前视频帧发生持续偏移，则使用目标检测网络检测当前视频帧中是否存在与火焰颜色相似的移动体；

步骤6)，若疑似火焰区域的重心点位置坐标落在移动体检测框内，则说明疑似火焰区域为存在一个或若干个与火焰颜色相似的移动体；

步骤7)，若疑似火焰区域的重心点位置坐标没有落在移动体检测框内，则说明该疑似火焰区域不存在与火焰颜色相似的移动体，统计当前视频帧ROI区域灰度值为0～50的像素数量，若该像素数量大于第一幅视频帧ROI区域中同类像素数量的β₁％，则说明当前室内发生火灾，视情发出报警，这一过程可用下式表示：

其中，n₁和n₂分别为第一幅视频帧以及当前视频帧ROI区域中灰度值为0～50的像素数量，β₁∈[0,1]；在实际使用中，将β₁视为白天火灾置信度，并设置相应的阈值，对是否报警加以进一步限定；

步骤8)，若处于夜晚状态，将采集到的第一幅视频帧由RGB空间转化为HIS空间，并建立I(指Intensity，强度)通道图像；

步骤9)，以第一幅视频帧的I通道图像为基准模板，此后每间隔31帧与该基准模板做比较，两者做差计算亮度差值，并使用移动体检测网络检测当前帧中的移动体。

本发明的优点：

1)本发明一种基于视觉感知的室内火灾监测系统仅需要220V电源及备用电源供电，可实现分布式快速部署；

2)本发明利用连接于摄像机输出端的智能嵌入式模块，可搭载室内火灾监测方法对应的程序；在无需远程视频传输的情况下，实现白天及夜晚室内火情就地实时监测；当室内发生火灾时，能够及时向监控中心发送报警信息；

3)在保证居住环境安全的同时，有效降低了室内火灾监测系统的部署难度及设备成本。

附图说明

附图1为本发明系统部署结构示意图。

附图2为白天火灾监测算法流程图。

附图3为夜晚火灾监测算法流程图。

附图中1是摄像机、2是智能嵌入式模块、3是中控计算机、4是报警器。

具体实施方式

一种基于视觉感知的室内火灾监测系统，该系统包括摄像机1，智能嵌入式模块2，中控计算机3；其中，摄像机1和智能嵌入式模块2安装在户主室内，智能嵌入式模块2连接于摄像机1输出端，智能嵌入式模块2存储有火灾监测算法、系统时间、ID号，中控计算机3安装于监控中心。

所述智能嵌入式模块2可就地处理视频信息；安装于监控中心的中控计算机3存储有小区内所有安装智能嵌入式模块的户主信息。

所述基于视觉感知的室内火灾监测系统还包括报警器4，所述报警器4安装在户主室内或物业监控中心的中控室内部。

所述智能嵌入式模块2包含视频处理计算机和无线通信装置；其中，视频处理计算机调用存储的火灾监测算法判断室内是否发生火灾，然后通过无线通信装置将判断结果和ID号发送至监控中心的中控计算机3，中控计算机3根据ID号查询户主信息，视情况通知用户并报警。

一种利用基于视觉感知的室内火灾监测系统进行室内火灾监测的方法，该方法包括：

步骤1)，摄像机1实时采集户主室内场景视频；

步骤2)，智能嵌入式模块2读取当前系统时间，根据系统时间中的日落时间，判断当前时间处于白天还是夜晚；若当前时间是白天，则跳转至步骤3)；反之，则跳转至步骤8)；

步骤3)，若处于白天状态，将摄像机1采集到的第一幅视频帧由RGB空间转换至HIS空间和灰度空间，将由RGB空间转换至灰度空间形成的灰度空间图的上1/3部分设置为ROI区域(指region ofinterest，感兴趣区域)，随后统计ROI区域灰度值处于0～50的像素数量；灰度空间图的图像以矩阵形式排列，“上“指的是从上往下数的上，假设一幅图像有180行，则上1/3部分指的是第0行～第60行之间所包含的图像区域。

步骤4)，根据火焰颜色在H(H指Hue，色调)通道的统计范围值，不断分割出各视频帧中的疑似火焰区域，求出该疑似火焰区域的重心点位置；

步骤5)，若发现视频帧内某疑似火焰区域重心点位置相较于之前视频帧发生持续偏移，则使用目标检测网络检测当前视频帧中是否存在与火焰颜色相似的移动体；

步骤6)，若疑似火焰区域的重心点位置坐标落在移动体检测框内，则说明疑似火焰区域为一个或多个与火焰颜色相似的移动体，存在移动体则说明该疑似火焰区域没有发生火灾；

步骤7)，反之，若疑似火焰区域的重心点位置坐标没有落在移动体检测框内，则说明该疑似火焰区域不存在与火焰颜色相似的移动体)，统计当前视频帧ROI区域灰度值为0～50的像素数量，若该像素数量大于第一幅视频帧ROI区域中同类像素数量的β₁％，则说明当前室内发生火灾，视情发出报警，这一过程可用下式表示：

其中，n₁和n₂分别为第一幅视频帧以及当前视频帧ROI区域中灰度值为0～50的像素数量，β₁∈[0,1]；在实际使用中，可将β₁视为白天火灾置信度，并设置相应的阈值，对是否报警加以进一步限定；

步骤8)，若处于夜晚状态，将采集到的第一幅视频帧由RGB空间转化为HIS空间，并建立I(I指Intensity，强度)通道图像；

步骤9)，以第一幅视频帧的I通道图像为基准模板，此后每间隔31帧与该基准模板做比较，两者做差计算亮度差值，并使用移动体检测网络检测当前帧中的移动体。

步骤2)-步骤9)为所述的火灾监测算法。

所述步骤3)中，RGB空间转换至HIS空间的方式如下：

I＝Max(R,G,B)

式中，Max为取最大值操作，Min为取最小值操作；

RGB空间转换至灰度空间方式如下：

Gray＝0.299*R+0.587*G+0.114*B。

所述步骤4)具体包括以下步骤：

(1)采集500幅火焰图像，统计火焰图像中的火焰区域颜色在H通道中的范围值，通过该范围值对各视频帧中的疑似火焰区域进行阈值分割；

(2)使用Hu矩计算疑似火焰区域的重心点位置，其中，各疑似火焰区域重心点位置求解方法如下：首先，统计疑似火焰区域颜色在H通道图像中的范围值[λ₁,λ₂]，通过该范围值对各视频帧中的疑似火焰区域进行阈值分割，分割方法如下:

其中，P(i)代表视频帧中的第i个像素，P(i)＝1代表疑似火焰区域，P(i)＝0代表非疑似火焰区域，H_p(i)代表P(i)对应于H通道图像中像素点的H值，随后，使用Hu矩计算疑似火焰区域的重心点位置，若有多个疑似火焰区域则按照各疑似火焰区域在各视频帧图像中的位置，对每个疑似火焰区域的重心点位置逐个进行计算；其中，疑似火焰区域的重心点位置(x,y)的计算方式如下：

其中，T为疑似火焰区域，(f₁,k₁)为坐标位置，F和K代表f₁和k₁的遍历范围，M₀₀为疑似火焰区域的0阶矩，M₁₀及M₀₁分别为疑似火焰区域的1阶矩

所述步骤5)具体包括：每间隔33帧计算当前视频帧中各疑似火灾区域的重心点位置坐标，并将其与间隔31帧之前的视频帧中各疑似火灾区域的重心点位置坐标执行欧氏距离计算，计算方式如下：

随后，保留欧氏距离值发生持续变化的疑似火灾区域的重心坐标；使用在移动体数据集上训练过的目标检测网络检测当前视频帧中的移动体，通过疑似火焰区域的重心点位置坐标是否落在移动体检测框内判断是否有移动体。

所述步骤9)具体包括：以第一幅视频帧的I通道图像为基准模板，此后每间隔31帧与基准模板做亮度差值计算，同时将该亮度差值与基准模板亮度值的比值设为β₂，计算公式如下：

其中，I_i为当前帧亮度值，I₁为基准模板亮度值，β₂∈[0,1]；在实际使用中，可将β₂视为夜晚火灾置信度，并设置相应的阈值，与β₁类似，当β₂的值大于预设阈值时，使用目标检测网络检测当前帧中的移动体，若目标检测网络未检测到移动体，则说明室内发生火灾；反之，则未发生火灾。

所述步骤5)中，若发现视频帧内某疑似火焰区域重心点位置相较于之前视频帧没有发生持续偏移则判断为没有发生火灾。

与现有技术方案相比，本发明设计了一种基于视觉感知的室内火灾监测系统，该系统包含的智能嵌入式模块可实时就地判断室内是否发生火灾，缓解了监控中心的监测压力；本发明中的智能嵌入式模块方便进一步设计为可快速插拔结构，方便及时更换部署，方便进一步保障系统工作的可靠性；本发明以视觉感知算法为技术方案，设计了一种基于视觉感知的室内火灾监测方法，与现有技术方案相比，本发明依据白天及夜晚火灾发生时火焰及烟雾变化的特征的特点，分别提出了对应的监测算法，通过对室内火灾的实时监测，视情况做出报警或发送报警信息。

实施例1

本发明是一种基于视觉感知的室内火灾监测系统及方法，具体为一种通过摄像机获取室内场景视频，利用智能嵌入式模块存储的视觉感知算法判断室内是否发生火灾，进而视情做出报警的技术方案。

以下将结合附图所示的实施方式对本发明进行详细说明。

本发明是一种基于视觉感知的室内火灾监测系统及方法，以图1所示系统结构为例，一种基于视觉感知的室内火灾监测系统主要包括摄像机1、智能嵌入式模块2、中控计算机3、报警器4；其中，摄像机安装于室内，智能嵌入式模块与摄像机输出端相连；中控计算机安装于物业中控室内部；报警器可视情安装在室内或物业中控室内部。

所述摄像机，用于采集室内环境实时视频帧，其数量可根据室内环境的实际需求增加或减少；摄像机的安装位置、型号以及拍摄模式亦可根据现场需求进行调整。

一种基于视觉感知的室内火灾监测方法，包括以下步骤：

步骤1)，摄像机1实时采集室内场景视频；

步骤2)，智能嵌入式模块读取当前系统时间，根据时令表推算当前时刻是处于白天还是夜晚，进而决定所采用的火灾监测算法；

步骤3)，如图2所示，若处于白天状态，将采集到的第一幅视频帧由RGB空间转换至HIS颜色空间，转换公式如下：

I＝Max(R,G,B)

将第一幅视频帧由RGB空间转换至灰度空间(Gray)，转换公式如下：

Gray＝0.299*R+0.587*G+0.114*B

将灰度空间图的上1/3部分设置为ROI区域，随后统计ROI区域灰度值处于0～50的像素数量；

步骤4)，如图2所示，采集大量火焰图像，统计火焰区域颜色在H通道图像中的范围值[λ₁,λ₂]，通过该范围值对各视频帧中的疑似火焰区域进行阈值分割，分割方法如下:

其中，P(i)代表视频帧中的第i个像素，H_p(i)代表P(i)对应于H通道图像中像素点的H值；

使用Hu矩计算疑似火焰区域的重心位置，若有多个疑似火焰区域则按照各区域在图像中的位置，依据从左往右及从上到下进行多次计算，其中，重心(x,y)的计算方式如下：

其中，T为疑似火焰区域，(f₁,k₁)为坐标位置，F和K代表f₁和k₁的遍历范围，M₀₀为疑似火焰区域的0阶矩，M₁₀及M₀₁分别为疑似火焰区域的1阶矩

步骤5)，如图2所示，每间隔31帧计算当前视频帧中各疑似火灾区域的重心坐标，并将其与间隔31帧之前的视频帧中各疑似火灾区域的重心点位置坐标执行欧氏距离计算，计算方式如下：

保留欧氏距离值发生持续变化的疑似火灾区域的重心坐标；

在移动体检测数据集上训练目标检测网络(如：Faster-RCNN、YOLO等)，使用训练后的目标检测网络检测当前视频帧中是否存在移动体；

步骤6)，如图2所示，若疑似火焰区域的重心坐标落在移动体检测框内，则说明疑似区域出现了移动体，且该移动体的颜色与火焰的颜色较为相似，可以将该疑似火焰区域排除；

步骤7)，如图2所示，若疑似火焰区域的重心坐标未落在移动体检测框内，则统计当前视频帧ROI区域灰度值为0～50的像素数量；若该数量大于第一幅视频帧ROI区域中同类像素数量的β₁％，则说明当前室内发生火灾，视情发出报警，这一过程可用下式表示：

其中，n₁和n₂分别为第一幅视频帧以及当前视频帧ROI区域中灰度值为0～50的像素数量，β₁∈[0,1]，在实际使用中，可将β₁视为白天火灾置信度，并设置相应的阈值，对是否报警加以进一步限定；例如，智能嵌入式模块设置报警阈值为0.5，当β₁的值大于0.5时，则立刻通知报警；

步骤8)，如图3所示，若处于夜晚状态，将采集到的第一幅视频帧由RGB空间转化为HIS空间，并建立I通道图像；

步骤9)，如图3所示，以第一幅视频帧的I通道图像为基准模板，此后每间隔31帧与基准模板做亮度差值计算，同时将该亮度差值与基准模板亮度值的比值设为λ₂，计算公式如下：

其中，I_i为当前帧亮度值，I₁为基准模板亮度值，β₂∈[0,1]；在实际使用中，可将β₂视为夜晚火灾置信度，并设置相应的阈值，与β₁类似，当β₂的值大于预设阈值时，使用目标检测网络检测当前帧中的移动体，若未检测到任何移动体，则说明房间失火，可视情发出报警。

所述步骤5)中，若没有发现视频帧内某疑似火焰区域重心点位置相较于之前视频帧发生持续偏移则判断为没有发生火灾。

应该明确的是，本发明的上述实施例仅仅是为了清楚地说明本发明而所作的举例，并非是对本发明实施方式的限定，例如：所述判断结果传输方式，即可以使用无线传输，亦可以使用有线传输，所述移动体检测方法不仅仅局限于基于神经网络的移动体检测方法，还涵盖了所有能够实现移动体检测功能的方法，本领域内的各类技术人员根据上述实施例所做出的显而易见的方法、功能以及应用上的变化，仍处于本发明的保护范围之列。

Claims (6)

1.一种基于视觉感知的室内火灾监测方法，其特征在于：该方法包括：

步骤1)，摄像机实时采集户主室内场景视频；

步骤2)，智能嵌入式模块读取当前系统时间，根据系统时间中的日落时间，判断当前时间处于白天还是夜晚；若当前时间是白天，则跳转至步骤3)；反之，则跳转至步骤8)；

步骤3)，若处于白天状态，将摄像机采集到的第一幅视频帧由RGB空间分别转换至HIS空间和灰度空间，将由RGB空间转换至灰度空间形成的灰度空间图的上1/3部分设置为ROI区域，随后统计ROI区域灰度值处于0～50的像素数量；

步骤4)，根据火焰颜色在H通道图像的统计范围值，不断分割出各视频帧中的疑似火焰区域，求出该疑似火焰区域的重心点位置；

步骤5)，若发现视频帧内某疑似火焰区域的重心点位置相较于之前视频帧发生持续偏移，则使用目标检测网络检测当前视频帧中是否存在与火焰颜色相似的移动体；

步骤6)，若疑似火焰区域的重心点位置坐标落在移动体检测框内，则说明疑似火焰区域存在一个或若干个与火焰颜色相似的移动体；

步骤7)，若疑似火焰区域的重心点位置坐标没有落在移动体检测框内，则说明该疑似火焰区域不存在与火焰颜色相似的移动体，统计当前视频帧的ROI区域灰度值为0～50的像素数量，若该像素数量大于第一幅视频帧ROI区域中同类像素数量的β₁％，则说明当前室内发生火灾，视情发出报警，这一过程可用下式表示：

其中，n₁和n₂分别为第一幅视频帧以及当前视频帧ROI区域中灰度值为0～50的像素数量，β₁∈[0,1]；

步骤8)，若处于夜晚状态，将采集到的第一幅视频帧由RGB空间转化为HIS空间，并建立I通道图像；

步骤9)，以第一幅视频帧的I通道图像为基准模板，此后每间隔31帧与该基准模板做比较，两者做差计算亮度差值，并使用移动体检测网络检测当前视频帧中的移动体；

所述步骤3)中，RGB空间转换至HIS空间的方式如下：

I＝Max(R,G,B)

式中，Max为取最大值运算，Min为取最小值运算；

RGB空间转换至灰度空间方式如下：

Gray＝0.299*R+0.587*G+0.114*B；

所述步骤4)具体包括以下步骤：

(1)采集500幅火焰图像，统计火焰图像中的火焰区域颜色在H通道中的范围值，通过该范围值对各视频帧中的疑似火焰区域进行阈值分割；

(2)使用Hu矩计算疑似火焰区域的重心点位置，其中，各疑似火焰区域重心点的位置求解方法如下：首先，统计疑似火焰区域颜色在H通道图像中的范围值[λ₁,λ₂]，通过该范围值对各视频帧中的疑似火焰区域进行阈值分割，分割方法如下:

其中，P(i)代表视频帧中的第i个像素，P(i)＝1代表疑似火焰区域，P(i)＝0代表非疑似火焰区域，H_p(i)代表P(i)对应于H通道图像中像素点的H值，随后，使用Hu矩计算疑似火焰区域的重心点位置，若有多个疑似火焰区域则按照各疑似火焰区域在各视频帧图像中的位置，对每个疑似火焰区域的重心点位置逐个进行计算；其中，疑似火焰区域的重心点位置(x,y)的计算方式如下：

其中，T为疑似火焰区域，(f₁,k₁)为坐标位置，F和K代表f₁和k₁的遍历范围，M₀₀为疑似火焰区域的0阶矩，M₁₀及M₀₁分别为疑似火焰区域的1阶矩；

所述步骤5)具体包括：每间隔31帧计算当前视频帧中各疑似火灾区域的重心点位置坐标(x_i，y_i)，并将其与间隔31帧之前的视频帧中各疑似火灾区域的重心点位置坐标(x_i-32，y_i-32)执行欧氏距离d计算，计算方式如下：

随后，保留欧氏距离值发生持续变化的疑似火灾区域的重心坐标；使用在移动体数据集上训练过的目标检测网络检测当前视频帧中的移动体，通过疑似火焰区域的重心点位置坐标是否落在移动体检测框内判断是否有移动体；

所述步骤9)具体包括：以第一幅视频帧的I通道图像为基准模板，此后每间隔31帧与基准模板做亮度差值计算，同时将该亮度差值与基准模板亮度值的比值设为β₂，计算公式如下：

其中，I_i为当前帧亮度值，I₁为基准模板亮度值，β₂∈[0,1]；将β₂视为夜晚火灾置信度，并设置相应的阈值，当β₂的值大于预设阈值时，使用目标检测网络检测当前帧中的移动体，若目标检测网络未检测到移动体，则说明室内发生火灾；反之，则未发生火灾。

2.根据权利要求1所述的一种基于视觉感知的室内火灾监测方法，其特征在于：所述步骤7)中智能嵌入式模块设置报警阈值为0.5，当β₁的值大于0.5时，则立刻通知报警。

3.根据权利要求1所述的一种基于视觉感知的室内火灾监测方法，其特征在于：所述步骤5)中，若发现视频帧内某疑似火焰区域重心点位置相较于之前视频帧没有发生持续偏移则判断为没有发生火灾。

4.一种基于视觉感知的室内火灾监测系统，其用于实现如权利要求1所述的室内火灾监测方法，其特征在于：该系统包括摄像机，智能嵌入式模块，中控计算机；其中，摄像机和智能嵌入式模块安装在户主室内，智能嵌入式模块连接于摄像机输出端，智能嵌入式模块存储有火灾监测算法、系统时间、ID号，中控计算机安装于监控中心。

5.根据权利要求4所述的一种基于视觉感知的室内火灾监测系统，其特征在于：所述中控计算机存储有小区内所有安装智能嵌入式模块的户主信息；所述基于视觉感知的室内火灾监测系统还包括报警器，所述报警器安装在户主室内或物业监控中心的中控室内部。

6.根据权利要求4所述的一种基于视觉感知的室内火灾监测系统，其特征在于：所述智能嵌入式模块包含视频处理计算机和无线通信装置；其中，视频处理计算机调用存储的火灾监测算法判断室内是否发生火灾，然后通过无线通信装置将判断结果和ID号发送至监控中心的中控计算机，中控计算机根据ID号查询户主信息，视情况通知用户并报警。