CN114882447B - 一种基于视觉感知的防火卷帘门实时预警方法及系统 - Google Patents

一种基于视觉感知的防火卷帘门实时预警方法及系统 Download PDF

Info

Publication number
CN114882447B
CN114882447B CN202210811752.0A CN202210811752A CN114882447B CN 114882447 B CN114882447 B CN 114882447B CN 202210811752 A CN202210811752 A CN 202210811752A CN 114882447 B CN114882447 B CN 114882447B
Authority
CN
China
Prior art keywords
smoke
image
fire
rolling door
flame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210811752.0A
Other languages
English (en)
Other versions
CN114882447A (zh
Inventor
章雪琴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantong Sentian Fire Fighting Equipment Co ltd
Original Assignee
Nantong Sentian Fire Fighting Equipment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nantong Sentian Fire Fighting Equipment Co ltd filed Critical Nantong Sentian Fire Fighting Equipment Co ltd
Priority to CN202210811752.0A priority Critical patent/CN114882447B/zh
Publication of CN114882447A publication Critical patent/CN114882447A/zh
Application granted granted Critical
Publication of CN114882447B publication Critical patent/CN114882447B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及防火设备技术领域，具体涉及一种基于视觉感知的防火卷帘门实时预警方法及系统。方法包括：将目标图像输入到目标检测网络中，得到危险系数图和设备防护系数图；将目标图像输入到语义分割网络中，生成烟雾区域图像和火焰区域图像；根据目标图像的火焰区域图像得到火焰蔓延特征；根据目标图像的烟雾区域图像得到烟雾蔓延特征；从而实现对下一帧图像的火焰距离和烟雾距离进行预测，若预测到的火焰距离小于等于火焰安全距离阈值或/和烟雾距离小于等于烟雾安全距离阈值，则发出预警。本发明通过对火焰区域和烟雾区域到防火卷帘门的距离进行实时的预测，来实现对防火卷帘门的实时预警，有效的避免了防火卷帘门的错误控制。

Description

一种基于视觉感知的防火卷帘门实时预警方法及系统
技术领域
本发明防火设备技术领域，具体涉及一种基于视觉感知的防火卷帘门实时预警方法及系统。
背景技术
防火卷帘门是很重要的消防设备，被广泛应用于工业与民用建筑的防火隔断区中，能有效地阻止火势的蔓延，保障生命财产安全，是现代建筑中不可缺少的防火设施。现有技术中，在发生火灾时，会通过防火卷帘门附近部署的温度及烟感探测器来控制防火卷帘门的启闭，但是由于传感器设置位置、数量不合理经常使得防火卷帘不能及时关闭，此外复杂的火场环境如风很也容易影响防火卷帘的关闭时间，导致防火卷帘门的控制出现错误。
发明内容
为了解决防火卷帘门的错误控制的问题，本发明的目的在于提供一种基于视觉感知的防火卷帘门实时预警方法及系统，所采用的技术方案具体如下：
第一方面，本发明一个实施例提供了一种基于视觉感知的防火卷帘门实时预警方法包括以下步骤：
获取连续多帧特定区域的RGB全局俯视图作为图像序列；对图像序列中对应的每个位置的像素点的像素值序列进行混合高斯建模，得到每个位置像素点的混合高斯模型；
将目标图像输入到训练好的目标检测网络中，根据输出结果得到目标图像对应的危险系数图和设备防护系数图，所述目标图像为实时采集的RGB全局俯视图；
将目标图像输入到训练好的语义分割网络中，得到目标图像中对应的烟雾区域图像和火焰区域图像，所述语义分割网络用于监测图像中的火焰区域和烟雾区域；
根据连续帧的目标图像对应的火焰区域图像得到当前帧目标图像对应的火焰蔓延特征，所述火焰蔓延特征包括火焰距离特征和火焰蔓延速度特征；根据连续帧的目标图像对应的烟雾区域图像得到当前帧目标图像对应的烟雾蔓延特征，所述烟雾蔓延特征包括烟雾距离特征和烟雾蔓延速度特征；
根据防火卷帘门前后的RGB图像对应的危险系数图和设备防护系数图，得到防火卷帘门对应的危害性指数；根据对应的防火卷帘门对应的危害性指数，得到烟雾安全距离阈值和火焰安全距离阈值；
根据目标图像对应的火焰蔓延特征预测下一帧火焰区域与防火卷帘门的距离记为火焰距离；根据目标图像对应的烟雾蔓延特征预测下一帧烟雾区域与防火卷帘门的距离记为烟雾距离；判断火焰距离是否小于等于火焰安全距离阈值以及烟雾距离是否小于等于烟雾安全距离阈值，若火焰距离小于等于火焰安全距离阈值或/和烟雾距离小于等于烟雾安全距离阈值，则发出预警。
第二方面，本发明另一个实施例提供了一种基于视觉感知的防火卷帘门实时预警系统，包括存储器和处理器，所述处理器执行所述存储器存储的计算机程序，以实现上述所述的一种基于视觉感知的防火卷帘门实时预警方法。
优选的，所述将目标图像输入到训练好的目标检测网络中，根据输出结果得到目标图像对应的危险系数图和设备防护系数图，包括：
将所述目标图像输入到训练好的目标检测网络中，得到易燃物和消防设备对应的中心点坐标和包围框尺寸大小；
以易燃物对应的中心点坐标为圆心，对应的包围框宽和高平方和的算术平方根为直径做圆，得到易燃物对应的危险辐射范围；
将危险辐射范围内的各个像素点的像素值设置为该易燃物对应的危险系数，得到危险系数图；
根据消防设备的类别获得消防防护范围，将消防防护范围内的各个像素点的像素值设置为该消防设备对应的防护系数，得到设备防护系数图。
优选的，语义分割网络的损失函数为：
Figure 100002_DEST_PATH_IMAGE002
其中，
Figure 100002_DEST_PATH_IMAGE004
为损失函数的值，
Figure 100002_DEST_PATH_IMAGE006
为输入图像的宽，
Figure 100002_DEST_PATH_IMAGE008
为输入图像的高，
Figure 100002_DEST_PATH_IMAGE010
为类别的标记，
Figure 100002_DEST_PATH_IMAGE012
为标签数据中位置
Figure 100002_DEST_PATH_IMAGE014
属于类别
Figure 841274DEST_PATH_IMAGE010
的概率值，
Figure 100002_DEST_PATH_IMAGE016
为网络输出结果中位置
Figure 381584DEST_PATH_IMAGE014
处属于类别
Figure 223638DEST_PATH_IMAGE010
的概率，
Figure 100002_DEST_PATH_IMAGE018
为混合高斯模型中第
Figure 100002_DEST_PATH_IMAGE020
个高斯分函数的权重，
Figure 100002_DEST_PATH_IMAGE022
为混合高斯模型中第
Figure 838421DEST_PATH_IMAGE020
个高斯分布函数的
Figure 100002_DEST_PATH_IMAGE024
协方差矩阵的各元素之和，
Figure 100002_DEST_PATH_IMAGE026
为图像
Figure 338279DEST_PATH_IMAGE014
处像素点的混合高斯模型，
Figure 100002_DEST_PATH_IMAGE028
为图像
Figure 100002_DEST_PATH_IMAGE030
处像素点的危险系数，
Figure 100002_DEST_PATH_IMAGE032
为图像
Figure 239370DEST_PATH_IMAGE030
处像素点对应的像素值。
优选的，所述根据连续帧的目标图像对应的烟雾区域图像得到当前帧目标图像对应的烟雾蔓延特征的方法包括：
对连续帧的目标图像对应的烟雾区域图像进行连通域分析，得到连通域的中心点坐标和轮廓信息；
根据连通域的中心点和防火卷帘门的连线获得连线与轮廓信息的交点，记为烟雾区域轮廓信息点；
根据各帧目标图像对应的烟雾区域轮廓信息点和防火卷帘门的位置得到各帧目标图像对应的烟雾距离特征，所述烟雾距离为烟雾区域与防火卷帘门之间的距离；
根据相邻两帧图像的烟雾距离特征，得到上一帧目标图像的烟雾蔓延速度；
选择历史帧中最大的烟雾蔓延速度作为当前帧的烟雾蔓延速度特征。
优选的，所述根据防火卷帘门前后的RGB图像对应的危险系数图和设备防护系数图，得到防火卷帘门对应的危害性指数，包括：
获取防火卷帘门前后的RBG图像；
将防火卷帘门前后的RBG图像输入到所述训练好的目标检测网络中，得到对应的危险系数图和设备防护系数图；
将所述防火卷帘门前后的RBG图像中各个位置像素点对应的危险系数与防护系数作差，得到所述防火卷帘门前后的RBG图像中各个位置像素点的危害性指数；
选取最大的危害性指数作为防火卷帘门对应的危害性指数。
优选的，所述对图像序列中对应的每个位置的像素点的像素值序列进行混合高斯建模，得到每个位置像素点的混合高斯模型，包括：
计算所述图像序列中相邻两帧图像的差值图，得前一帧图像对应的到二值图；
利用图像序列中各帧图像对应的二值图，对图像序列中各帧图像的前景区域对应的像素点进行标记；
将每个位置的像素点对应的初始像素值序列中前景区域对应的像素点的数值舍去，得到每个位置的像素点对应的像素值序列，所述初始像素值序列为没有舍去前景区域对应的像素点的数值的像素值序列；
对每个位置的像素点的像素值序列进行混合高斯建模，得到每个位置的像素点的混合高斯模型。
本发明实施例具有如下有益效果：
本发明利用训练好的目标检测网络，得到目标图像对应的危险系数图和设备防护系数图，并利用训练好的语义分割网络中，来实现对图像中的火焰区域和烟雾区域的监测，得到目标图像中对应的烟雾区域图像和火焰区域图像；根据连续帧的目标图像对应的火焰区域图像得到各帧目标图像对应的火焰蔓延特征并根据对应的烟雾区域图像得到各帧目标图像对应的烟雾蔓延特征，从而实现对下一帧图像的火焰距离和烟雾距离进行预测，若预测到的火焰距离小于等于火焰安全距离阈值或/和烟雾距离小于等于烟雾安全距离阈值，则发出预警。本发明通过对火焰区域和烟雾区域到防火卷帘门的距离进行实时的预测，来实现对防火卷帘门的实时预警，有效的避免了防火卷帘门的错误控制。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种基于视觉感知的防火卷帘门实时预警方法的流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功能效果，以下结合附图及较佳实施例，对依据本发明提出的一种基于视觉感知的防火卷帘门实时预警方法及系统进行详细说明如下。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于视觉感知的防火卷帘门实时预警方法及系统的具体方案。
一种基于视觉感知的防火卷帘门实时预警方法实施例：
如图1所示，本实施例的一种基于视觉感知的防火卷帘门实时预警方法包括以下步骤：
步骤S1，获取连续多帧特定区域的RGB全局俯视图作为图像序列；对图像序列中对应的每个位置的像素点的像素值序列进行混合高斯建模，得到每个位置像素点的混合高斯模型。
本实施中步骤S1可以分为以下几个子步骤：
步骤S1-1, 获取连续多帧特定区域的RGB全局俯视图作为图像序列。
为了实现对防火卷帘门的实时预警，本实施例先获取特定区域内（比如仓库、厂房等）每一个防火卷帘门的位置，具体为：本实施例首先通过监控相机采集对特定区域内的RGB 图像进行采集，由于监控相机位姿是固定的，因此本实施例可以基于放射变换和图像拼接对各个监控相机采集到的RGB图像进行处理，得到特定区域的RGB全局俯视图。得到全局俯视图后，由管理人员在全局俯视图中人为的划定每一个防火卷帘门的位置信息。
为了得到RGB全局俯视图中各个位置的像素点的背景特征，本实施例按照上述方式获取连续多帧特定区域的RGB全局俯视图作为图像序列
Figure DEST_PATH_IMAGE034
，即
Figure DEST_PATH_IMAGE036
，其中
Figure DEST_PATH_IMAGE038
为
Figure DEST_PATH_IMAGE040
时刻的RGB全局俯视图。
步骤S1-2，对图像序列中对应的每个位置的像素点的像素值序列进行混合高斯建模，得到每个位置像素点的混合高斯模型。
为了提高后续火焰和烟雾区域监测的准确性，本实施例利用混合高斯建模来获取RGB全局俯视图中每一个位置的像素点的混合高斯模型，来体现每一个位置的像素点对应的背景特征，具体获取方式为：
第一，首先计算图像序列中相邻两帧图像的差值图
Figure DEST_PATH_IMAGE042
，然后利用最大类间法得到阈值，从而利用得到的阈值来将差值图
Figure DEST_PATH_IMAGE044
转换为前一帧图像
Figure DEST_PATH_IMAGE046
对应的二值图，其中二值图中像素值为1的区域为运动前景区域，像素值为0的区域为背景区域，然后利用二值图将图像
Figure 473780DEST_PATH_IMAGE046
中前景区域的像素点标记为1。
第二，按照第一步的方法得到图像序列中每一张图像的背景区域和前景区域。按照像素点位置提取图像序列中每一张图像像素点的像素值，以此得到每个位置的像素点对应的初始像素值序列，然后将各像素值序列中标记为1的像素点对应的数值舍去，得到反映每个位置背景特征的像素值序列，记位置
Figure DEST_PATH_IMAGE048
处的像素值序列为
Figure DEST_PATH_IMAGE050
。本实施例中像素值为
Figure DEST_PATH_IMAGE052
三个通道的数值。
第三，对第二步得到的每一个位置的像素值序列利用EM算法进行混合高斯建模，本实施例设定混合高斯模型中高斯分布函数的数量为5，单个高斯分布函数为三维高斯分布，其中第
Figure 420483DEST_PATH_IMAGE020
个高斯分布函数如下：
Figure DEST_PATH_IMAGE054
其中，
Figure DEST_PATH_IMAGE056
为第
Figure 105673DEST_PATH_IMAGE020
个高斯函数，
Figure 161354DEST_PATH_IMAGE022
为混合高斯模型中第
Figure 978000DEST_PATH_IMAGE020
个高斯分布函数的
Figure 299302DEST_PATH_IMAGE024
协方差矩阵的各元素之和，
Figure DEST_PATH_IMAGE058
为1行3列的像素值向量，
Figure 681742DEST_PATH_IMAGE018
为第
Figure 173903DEST_PATH_IMAGE020
个高斯分布函数的权重，
Figure DEST_PATH_IMAGE060
为图像中像素点的像素值。
根据上述方法可以得到每一个位置点的混合高斯模型，记位置
Figure DEST_PATH_IMAGE062
处的混合高斯模型为
Figure DEST_PATH_IMAGE064
，每个位置点的混合高斯模型可以反映出对应位置的背景特征，本实施例中混合高斯模型
Figure 431840DEST_PATH_IMAGE064
的最大概率值对应的像素值为位置
Figure 267816DEST_PATH_IMAGE062
处的背景特征，其中混合高斯模型中的协方差矩阵越大则表示位置
Figure 301500DEST_PATH_IMAGE048
处的像素值的变化越大，说明位置
Figure 698983DEST_PATH_IMAGE048
处的背景特征越不稳定；相反，协方差矩阵越小则表示位置
Figure 991686DEST_PATH_IMAGE048
处像素值的变化越小，说明位置
Figure 132818DEST_PATH_IMAGE048
处的背景特征越稳定。
步骤S2，将目标图像输入到训练好的目标检测网络中，根据输出结果得到目标图像对应的危险系数图和设备防护系数图，所述目标图像为实时采集的RGB全局俯视图；
由于实际情况中易燃物和消防设备的位置、种类和数量不会一成不变的，并且不同种类的易燃物和消防设备所影响的程度和范围会随着变化。因此本实施例为了实时的对特定区域内的火灾隐患进行分析，利用监控相机对特定区域内的RGB 全局俯视图进行实时的采集，本实施将实时采集到的RGB 全局俯视图记为目标图像。
目标图像中不同位置的像素点的火灾隐患的大小可以通过易燃物对应的危险辐射范围内的危险系数来表示，获取每一个位置像素点的危险系数的具体为：
第一，本实施例首先搭建目标检测网络，将目标图像输入到训练好的目标检测网络中，输出结果为易燃物和消防设备的中心点坐标以及包围框尺寸。本实施例中目标检测网络可以采用现有的CenterNet、CornerNet等目标检测网络来实现。本实施例中易燃物的类别与具体的场景相关，因此以粮库为例，粮库储存的粮食以及食品包装袋即为易燃物品，本实施中易燃物的种类需根据具体的场景来设定；消防设备类别为灭火器、消防泵等可以灭火的设备，具体类别可根据实际需求进行设置。
第二，本实施例根据目标检测网络输出的易燃物的中心点坐标以及包围框尺寸，来获取每一个易燃物的危险辐射范围，每一个易燃物的危险辐射范围为：以易燃物对应的中心坐标为圆心，以
Figure DEST_PATH_IMAGE066
为直径做圆得到该易燃物对应的圆形区域；然后再根据易燃物的类别设定对应的危险系数，并将得到的圆形区域内的像素值置为对应的危险系数，从而得到目标图像对应的危险系数图，所述危险系数图可以反映出目标图像中各个位置像素点的火灾隐患的大小，若像素点的危险系数越大，则发生火灾的可能性就越大。本实施例中不同种类的易燃物的危险系数由专业人员根据经验进行设定。
除了易燃物之外，目标检测网络的输出还包括消防设备的中心点坐标以及包围框尺寸，本实施例考虑到不同消防设备的灭火能力以及灭火的有效区域不同，因此本实施中每一个消防设备的类别来对对应的防护范围和防护系数进行设定，防护范围的位置根据消防设备的中心点来确定；然后将消防设备对应的消防防护范围内的像素值置为消防设备对应的防护系数，从而得到设备防护系数图，所述设备防护系数图可以反映出目标图像中各个位置像素点的消除火灾的效果，若像素点的防护系数越大，则消除火灾的效果越好。本实施例中不同种类的消防设备的防护系数由专业人员根据经验进行设定。
本实施例中易燃物的危险系数和消防设备的防护系数在同一个量级，本实施例设定两系数的取值范围为
Figure DEST_PATH_IMAGE068
。其中设备防护系数图的获取方式用于后续对防火卷帘门的危害性指数的获取。
步骤S3，将目标图像输入到训练好的语义分割网络中，得到目标图像中对应的烟雾区域图像和火焰区域图像，所述语义分割网络用于监测图像中的火焰区域和烟雾区域。
发生火灾时会有大量的火焰区域和烟雾区域，并且火焰区域和烟雾区域蔓延的位置会不但改变，因此为了获取发生火灾时的目标图像中的火焰区域和烟雾区域在图像中的位置，本实施例将采集到目标图像的输入到训练好的语义分割网络，来获取反映目标图像中的火焰区域对应的火焰区域图像和和反映烟雾区域对应的烟雾区域图像，从而实现发生火灾时对目标图像中火焰区域和烟雾区域的信息进行监测。
本实施例中语义分割网络为
Figure DEST_PATH_IMAGE070
结构，在实际实施过程中可以采用现有的Unet、DeepLapV3等语义分割网络来实现。本实施例通过人工的方式为语义分割网络的训练集图像打上标签，具体为：将图像中火焰区域的像素值标记为1，其他区域标记为0得到标签数据的第一通道；并行的，将图像中烟雾区域标记为2，其他区域标记为0得到标签数据的第二通道。本实施例利用两个通道来对语义分割网络进行监督训练。
为了得到更加准确的语义分割结果，本实施例在构建语义分割网络的损失函数时，根据图像中各个像素点的像素值与对应位置的混合高斯模型为不同位置的像素点设以不同的权重，使得网络更关注背景特征出现变化以及背景特征不稳定的区域，本实施例中语义分割网络的损失函数为：
Figure DEST_PATH_IMAGE002A
其中，
Figure 237652DEST_PATH_IMAGE004
为损失函数的值，
Figure 573081DEST_PATH_IMAGE006
为输入图像的宽，
Figure 913932DEST_PATH_IMAGE008
为输入图像的高，
Figure 858755DEST_PATH_IMAGE010
为类别的标记，
Figure DEST_PATH_IMAGE072
时的类别为火焰区域，
Figure DEST_PATH_IMAGE074
时的区域为烟雾区域，
Figure DEST_PATH_IMAGE076
时的区域为其他区域，
Figure 959041DEST_PATH_IMAGE012
为标签数据中位置
Figure 465371DEST_PATH_IMAGE014
处属于类别
Figure 965623DEST_PATH_IMAGE010
的概率值，
Figure 714136DEST_PATH_IMAGE016
为网络输出结果中位置
Figure 249022DEST_PATH_IMAGE014
处属于类别
Figure 923324DEST_PATH_IMAGE010
的概率，
Figure 910872DEST_PATH_IMAGE018
为混合高斯模型中第
Figure 197496DEST_PATH_IMAGE020
个高斯分布函数的权重，
Figure 321310DEST_PATH_IMAGE022
为混合高斯模型中第
Figure 169443DEST_PATH_IMAGE020
个高斯分布函数的
Figure 847549DEST_PATH_IMAGE024
协方差矩阵的各元素之和，
Figure 937865DEST_PATH_IMAGE026
为图像
Figure 181764DEST_PATH_IMAGE014
处像素点的混合高斯模型，
Figure 932289DEST_PATH_IMAGE028
为图像
Figure 894429DEST_PATH_IMAGE030
处像素点的危险系数，
Figure 522856DEST_PATH_IMAGE032
为图像
Figure 886841DEST_PATH_IMAGE030
处像素点对应的像素值。
损失函数中
Figure DEST_PATH_IMAGE078
为混合高斯模型
Figure 139094DEST_PATH_IMAGE026
中协方差矩阵的加权求和，反映了像素点
Figure 588529DEST_PATH_IMAGE014
处背景特征的稳定性，当数值较大时说明背景特征稳定性较差，越容易发生变化；
Figure DEST_PATH_IMAGE080
反映的是目标图像中位置
Figure 581500DEST_PATH_IMAGE014
处的背景特征与没有发生火灾的情况下位置
Figure 534412DEST_PATH_IMAGE014
处的背景特征的偏差程度，若数值越大，则表示位置
Figure 393784DEST_PATH_IMAGE014
处背景特征偏差程度越大，则对应位置出现火灾的概率就会越大；
Figure 64937DEST_PATH_IMAGE028
为位置
Figure 802211DEST_PATH_IMAGE014
处危险系数，因此危险系数越大时表明该位置越容易发生火灾，越需要为该位置分配较大的权重。
本实施例利用梯度下降法来不断更新网络参数，完成网络的训练。本实施将实时采集目标图像送入训练完毕的语义分割网络中得到监控范围内的烟雾区域和火焰区域，其中对应的烟雾区域和火焰区域内的像素值分别为对应的类别标签：2和1。但是为了能更加方便的对火焰和烟雾的蔓延特征进行分析，本实施例将烟雾区域和火焰区域内的像素值均设置为1，从而得到对应的二值图像，得到最终的烟雾区域图像和火焰区域图像。
步骤S4，根据连续帧的目标图像对应的火焰区域图像得到当前帧目标图像对应的火焰蔓延特征，所述火焰蔓延特征包括火焰距离特征和火焰蔓延速度特征；根据连续帧的目标图像对应的烟雾区域图像得到当前帧目标图像对应的烟雾蔓延特征，所述烟雾蔓延特征包括烟雾距离特征和烟雾蔓延速度特征。
发生火灾时为了对下一时刻中烟雾区域和火焰区域到防火卷帘门的距离进行预测，本实施例根据步骤S3获得到连续帧的目标图像对应的烟雾区域图像和火焰区域图像，并对此进行分析得到火焰和烟雾到防火卷帘门对应的烟雾蔓延特征和火焰蔓延特征，火焰蔓延特征包括火焰距离特征和火焰蔓延速度特征，烟雾蔓延特征包括烟雾距离特征和烟雾蔓延速度特征。本实施例以获取烟雾蔓延特征的方法为例，具体为：
第一，本实施例中步骤S1已经获得每一个防火卷帘的位置信息，因此本实施例对目标图像对应的烟雾区域图像进行连通域分析，获取烟雾区域图像中连通域的中心点坐标和轮廓信息，然后根据连通域的中心点和防火卷帘门
Figure DEST_PATH_IMAGE082
的连线获得连线与轮廓信息的交点，记为烟雾区域轮廓信息点。
第二，本实施例将烟雾区域轮廓信息点与防火卷帘门
Figure 265422DEST_PATH_IMAGE082
的距离记为烟雾距离特征；同时计算当前帧图像烟雾区域与上一帧图像烟雾区域的烟雾距离特征之差
Figure DEST_PATH_IMAGE084
，该数值反映的是上一帧图像的烟雾区域朝着防火卷帘门
Figure 856547DEST_PATH_IMAGE082
的烟雾蔓延速度
Figure DEST_PATH_IMAGE086
，即单位时间的速度。本实施例获得历史帧中的多个烟雾蔓延速度
Figure 342892DEST_PATH_IMAGE086
的数值，取其最大值
Figure DEST_PATH_IMAGE088
作为当前帧的烟雾蔓延速度特征。其中，当
Figure DEST_PATH_IMAGE090
表示烟雾朝着防火卷帘门
Figure 742912DEST_PATH_IMAGE082
靠近。
第三，根据第一和第二步可以得到当前帧针中烟雾对防火卷帘
Figure 670416DEST_PATH_IMAGE082
的烟雾蔓延特征，即
Figure DEST_PATH_IMAGE092
。本实施例按照相同的方法得到每一帧针图像中的烟雾蔓延特征。
本实施例中每一帧图像对应的火焰蔓延特征的获取方法与烟雾蔓延特征的获取方法相同。
步骤S5，根据防火卷帘门前后的RGB图像对应的危险系数图和设备防护系数图，得到防火卷帘门对应的危害性指数；根据对应的防火卷帘门对应的危害性指数，得到烟雾安全距离阈值和火焰安全距离阈值。
由于仓库、厂房等的环境比较复杂，因此防火卷帘门附近同样也会存放易燃物等物品，使得每一个防火卷帘门危害性指数不同，该危害性指数反映了火灾或烟雾蔓延之后对防火卷帘门带来后果的严重程度。具体每一个防火卷帘门危害性指数的获取方式为：
采集防火卷帘门
Figure 455880DEST_PATH_IMAGE082
前后的两张RGB图像，将其按照步骤
Figure DEST_PATH_IMAGE094
中得到对应的设备防护系数图和危险系数图的方法，得到防火卷帘门前后的两张RGB图像对应的设备防护系数图和危险系数图，从而获取每一个位置像素点的危险系数
Figure DEST_PATH_IMAGE096
和设备防护系数
Figure DEST_PATH_IMAGE098
，本实施领将
Figure DEST_PATH_IMAGE100
作为对应位置像素点的危害性指数，并选取两个图像中最大的危害性指数作为防火卷帘门
Figure 55620DEST_PATH_IMAGE082
的危害性指数，即
Figure DEST_PATH_IMAGE102
。
本实施例考虑到由于火焰与烟雾的危险程度是有所差异的，并且每个防火卷帘门的危害性指数也是不同的，因此火焰与烟雾到防火卷帘门的安全阈值需要根据各个门的危害性指数来计算，其中火焰到防火卷帘门的安全阈值记为火焰安全距离阈值，烟雾到防火卷帘门的安全阈值记为烟雾安全距离阈值。本实施例中安全距离反映的是在安全距离范围之外则不会发生危险，若在安全距离范围之内则会发生危险。
本实施例根据每一个防火卷帘门的危害性指数
Figure DEST_PATH_IMAGE104
来设定烟雾和火焰到每一个防火卷帘门的安全距离阈值，则烟雾安全距离阈值为：
Figure DEST_PATH_IMAGE106
，火焰安全距离阈值为：
Figure DEST_PATH_IMAGE108
；其中，
Figure DEST_PATH_IMAGE110
为烟雾的基础安全距离，
Figure DEST_PATH_IMAGE112
为火焰的基础安全距离，本实施中火焰和烟雾的基础安全距离由专业人员根据经验获得，应满足
Figure DEST_PATH_IMAGE114
，本实施例中将
Figure 397346DEST_PATH_IMAGE110
设置为2，将
Figure 943472DEST_PATH_IMAGE112
设置为5。
步骤S6，根据目标图像对应的火焰蔓延特征预测下一帧火焰区域与防火卷帘门的距离记为火焰距离；根据目标图像对应的烟雾蔓延特征预测下一帧烟雾区域与防火卷帘门的距离记为烟雾距离；判断火焰距离是否小于等于火焰安全距离阈值以及烟雾距离是否小于等于烟雾安全距离阈值，若火焰距离小于等于火焰安全距离阈值或/和烟雾距离小于等于烟雾安全距离阈值，则发出预警。
本实施例根据步骤S4和步骤S5方法可以获得每一个防火卷帘门
Figure 581126DEST_PATH_IMAGE082
的危害性指数
Figure 714167DEST_PATH_IMAGE104
、每一帧图像中火焰到防火卷帘门
Figure 829891DEST_PATH_IMAGE082
的火焰蔓延特征
Figure DEST_PATH_IMAGE116
以及每一帧图像中烟雾到防火卷帘门
Figure 295770DEST_PATH_IMAGE082
的烟雾蔓延特征
Figure DEST_PATH_IMAGE118
，本实施可根据当前帧火焰蔓延特征和烟雾蔓延特征，来预测下一帧图像中的火焰到防火卷帘门的距离特征和烟雾到防火卷帘门距离记为火焰距离，本实施例中预测下一帧图像中火焰到防火卷帘门的距离为：
Figure DEST_PATH_IMAGE120
其中
Figure DEST_PATH_IMAGE122
为下一帧图像中火焰与防火卷帘门
Figure 789811DEST_PATH_IMAGE082
之间的距离，
Figure DEST_PATH_IMAGE124
为当前帧图像中的火焰距离特征，
Figure DEST_PATH_IMAGE126
为历史帧中火焰到防火卷帘A的蔓延速度的最大值，即当前帧的蔓延速度特征。
本实施可以根据预测下一帧图像中火焰到防火卷帘门的距离值的方法，预测下一帧图像中烟雾到防火卷帘
Figure 770668DEST_PATH_IMAGE082
的距离值
Figure DEST_PATH_IMAGE128
，记为烟雾距离。
根据得到的下一帧图像中火焰到防火卷帘门的距离和烟雾到防火卷帘问的距离，来实现实时预警，具体为：当检测到
Figure DEST_PATH_IMAGE130
或
Figure DEST_PATH_IMAGE132
时，同时通过传感器来判断防火卷帘门的是否为关闭状态，若防火卷帘门仍处于开启状态，则发出预警，来提醒相关人员，相关人员可根据实际情况来判断是否需要关闭防火卷帘门，从而能够有效防止火焰和烟雾的蔓延。
本实施例利用训练好的目标检测网络，得到目标图像对应的危险系数图和设备防护系数图，并利用训练好的语义分割网络中，来实现对图像中的火焰区域和烟雾区域的监测，得到目标图像中对应的烟雾区域图像和火焰区域图像；根据连续帧的目标图像对应的火焰区域图像得到各帧目标图像对应的火焰蔓延特征并根据对应的烟雾区域图像得到各帧目标图像对应的烟雾蔓延特征，从而实现对下一帧图像的火焰距离和烟雾距离进行预测，若预测到的火焰距离小于等于火焰安全距离阈值或/和烟雾距离小于等于烟雾安全距离阈值，则发出预警。本发明通过对火焰区域和烟雾区域到防火卷帘门的距离进行实时的预测，来实现对防火卷帘门的实时预警，有效的避免了防火卷帘门的错误控制。
一种基于视觉感知的防火卷帘门实时预警系统实施例：
本实施例一种基于视觉感知的防火卷帘门实时预警系统包括存储器和处理器，所述处理器执行所述存储器存储的计算机程序，以实现上述所述的一种基于视觉感知的防火卷帘门实时预警方法。
由于一种基于视觉感知的防火卷帘门实时预警方法已经在一种基于视觉感知的防火卷帘门实时预警方法实施例中进行了说明，所以本实施例不再对一种基于视觉感知的防火卷帘门实时预警方法进行赘述。
需要说明的是： 以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于视觉感知的防火卷帘门实时预警方法，其特征在于，该方法包括以下步骤：
获取连续多帧特定区域的RGB全局俯视图作为图像序列；对图像序列中对应的每个位置的像素点的像素值序列进行混合高斯建模，得到每个位置像素点的混合高斯模型；
将目标图像输入到训练好的目标检测网络中，根据输出结果得到目标图像对应的危险系数图和设备防护系数图，所述目标图像为实时采集的RGB全局俯视图；
将目标图像输入到训练好的语义分割网络中，得到目标图像中对应的烟雾区域图像和火焰区域图像，所述语义分割网络用于监测图像中的火焰区域和烟雾区域；
根据连续帧的目标图像对应的火焰区域图像得到当前帧目标图像对应的火焰蔓延特征，所述火焰蔓延特征包括火焰距离特征和火焰蔓延速度特征；根据连续帧的目标图像对应的烟雾区域图像得到当前帧目标图像对应的烟雾蔓延特征，所述烟雾蔓延特征包括烟雾距离特征和烟雾蔓延速度特征；
根据防火卷帘门前后的RGB图像对应的危险系数图和设备防护系数图，得到防火卷帘门对应的危害性指数；根据对应的防火卷帘门对应的危害性指数，得到烟雾安全距离阈值和火焰安全距离阈值；
根据目标图像对应的火焰蔓延特征预测下一帧火焰区域与防火卷帘门的距离记为火焰距离；根据目标图像对应的烟雾蔓延特征预测下一帧烟雾区域与防火卷帘门的距离记为烟雾距离；判断火焰距离是否小于等于火焰安全距离阈值以及烟雾距离是否小于等于烟雾安全距离阈值，若火焰距离小于等于火焰安全距离阈值或/和烟雾距离小于等于烟雾安全距离阈值，则发出预警。
2.根据权利要求1所述的一种基于视觉感知的防火卷帘门实时预警方法，其特征在于，所述将目标图像输入到训练好的目标检测网络中，根据输出结果得到目标图像对应的危险系数图和设备防护系数图，包括：
将所述目标图像输入到训练好的目标检测网络中，得到易燃物和消防设备对应的中心点坐标和包围框尺寸大小；
以易燃物对应的中心点坐标为圆心，对应的包围框宽和高平方和的算术平方根为直径做圆，得到易燃物对应的危险辐射范围；
将危险辐射范围内的各个像素点的像素值设置为该易燃物对应的危险系数，得到危险系数图；
根据消防设备的类别获得消防防护范围，将消防防护范围内的各个像素点的像素值设置为该消防设备对应的防护系数，得到设备防护系数图。
3.根据权利要求1所述的一种基于视觉感知的防火卷帘门实时预警方法，其特征在于，语义分割网络的损失函数为：
Figure DEST_PATH_IMAGE002
其中，
Figure DEST_PATH_IMAGE004
为损失函数的值，
Figure DEST_PATH_IMAGE006
为输入图像的宽，
Figure DEST_PATH_IMAGE008
为输入图像的高，
Figure DEST_PATH_IMAGE010
为类别的标记，
Figure DEST_PATH_IMAGE012
为标签数据中位置
Figure DEST_PATH_IMAGE014
属于类别
Figure 103107DEST_PATH_IMAGE010
的概率值，
Figure DEST_PATH_IMAGE016
为网络输出结果中位置
Figure 187607DEST_PATH_IMAGE014
处属于类别
Figure 730846DEST_PATH_IMAGE010
的概率，
Figure DEST_PATH_IMAGE018
为混合高斯模型中第
Figure DEST_PATH_IMAGE020
个高斯分函数的权重，
Figure DEST_PATH_IMAGE022
为混合高斯模型中第
Figure 789544DEST_PATH_IMAGE020
个高斯分布函数的
Figure DEST_PATH_IMAGE024
协方差矩阵的各元素之和，
Figure DEST_PATH_IMAGE026
为图像
Figure 342011DEST_PATH_IMAGE014
处像素点的混合高斯模型，
Figure DEST_PATH_IMAGE028
为图像
Figure DEST_PATH_IMAGE030
处像素点的危险系数，
Figure DEST_PATH_IMAGE032
为图像
Figure 972362DEST_PATH_IMAGE030
处像素点对应的像素值。
4.根据权利要求1所述的一种基于视觉感知的防火卷帘门实时预警方法，其特征在于，所述根据连续帧的目标图像对应的烟雾区域图像得到当前帧目标图像对应的烟雾蔓延特征的方法包括：
对连续帧的目标图像对应的烟雾区域图像进行连通域分析，得到连通域的中心点坐标和轮廓信息；
根据连通域的中心点和防火卷帘门的连线获得连线与轮廓信息的交点，记为烟雾区域轮廓信息点；
根据各帧目标图像对应的烟雾区域轮廓信息点和防火卷帘门的位置得到各帧目标图像对应的烟雾距离特征，所述烟雾距离为烟雾区域与防火卷帘门之间的距离；
根据相邻两帧图像的烟雾距离特征，得到上一帧目标图像的烟雾蔓延速度；
选择历史帧中最大的烟雾蔓延速度作为当前帧的烟雾蔓延速度特征。
5.根据权利要求1所述的一种基于视觉感知的防火卷帘门实时预警方法，其特征在于，所述根据防火卷帘门前后的RGB图像对应的危险系数图和设备防护系数图，得到防火卷帘门对应的危害性指数，包括：
获取防火卷帘门前后的RBG图像；
将防火卷帘门前后的RBG图像输入到所述训练好的目标检测网络中，得到对应的危险系数图和设备防护系数图；
将所述防火卷帘门前后的RBG图像中各个位置像素点对应的危险系数与防护系数作差，得到所述防火卷帘门前后的RBG图像中各个位置像素点的危害性指数；
选取最大的危害性指数作为防火卷帘门对应的危害性指数。
6.根据权利要求1所述的一种基于视觉感知的防火卷帘门实时预警方法，其特征在于，所述对图像序列中对应的每个位置的像素点的像素值序列进行混合高斯建模，得到每个位置像素点的混合高斯模型，包括：
计算所述图像序列中相邻两帧图像的差值图，得前一帧图像对应的到二值图；
利用图像序列中各帧图像对应的二值图，对图像序列中各帧图像的前景区域对应的像素点进行标记；
将每个位置的像素点对应的初始像素值序列中前景区域对应的像素点的数值舍去，得到每个位置的像素点对应的像素值序列，所述初始像素值序列为没有舍去前景区域对应的像素点的数值的像素值序列；
对每个位置的像素点的像素值序列进行混合高斯建模，得到每个位置的像素点的混合高斯模型。
7.一种基于视觉感知的防火卷帘门实时预警系统，包括存储器和处理器，其特征在于，所述处理器执行所述存储器存储的计算机程序，以实现如权利要求1-6任一项所述的一种基于视觉感知的防火卷帘门实时预警方法。
CN202210811752.0A 2022-07-12 2022-07-12 一种基于视觉感知的防火卷帘门实时预警方法及系统 Active CN114882447B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210811752.0A CN114882447B (zh) 2022-07-12 2022-07-12 一种基于视觉感知的防火卷帘门实时预警方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210811752.0A CN114882447B (zh) 2022-07-12 2022-07-12 一种基于视觉感知的防火卷帘门实时预警方法及系统

Publications (2)

Publication Number Publication Date
CN114882447A CN114882447A (zh) 2022-08-09
CN114882447B true CN114882447B (zh) 2022-09-20

Family

ID=82683104

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210811752.0A Active CN114882447B (zh) 2022-07-12 2022-07-12 一种基于视觉感知的防火卷帘门实时预警方法及系统

Country Status (1)

Country Link
CN (1) CN114882447B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102163358A (zh) * 2011-04-11 2011-08-24 杭州电子科技大学 一种基于视频图像分析的烟雾/火焰检测方法
CN109377703A (zh) * 2018-12-06 2019-02-22 河池学院 一种基于机器视觉的森林防火预警系统及其方法
CN111626188A (zh) * 2020-05-26 2020-09-04 西南大学 一种室内不可控明火监测方法及系统
CN114332739A (zh) * 2021-09-28 2022-04-12 同济人工智能研究院(苏州)有限公司 一种基于运动目标检测和深度学习技术的烟雾检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102163358A (zh) * 2011-04-11 2011-08-24 杭州电子科技大学 一种基于视频图像分析的烟雾/火焰检测方法
CN109377703A (zh) * 2018-12-06 2019-02-22 河池学院 一种基于机器视觉的森林防火预警系统及其方法
CN111626188A (zh) * 2020-05-26 2020-09-04 西南大学 一种室内不可控明火监测方法及系统
CN114332739A (zh) * 2021-09-28 2022-04-12 同济人工智能研究院(苏州)有限公司 一种基于运动目标检测和深度学习技术的烟雾检测方法

Also Published As

Publication number Publication date
CN114882447A (zh) 2022-08-09

Similar Documents

Publication Publication Date Title
CN116884167B (zh) 智能消防视频监测与报警联动控制系统
CN112132090A (zh) 一种基于yolov3的烟火自动检测预警方法
KR102124067B1 (ko) 사물인터넷 센서를 이용한 연기확산과 피난로 예측 시스템 및 그 방법
US9110748B2 (en) Apparatus system and method of depicting plume arrival times
CN111523277B (zh) 火灾预测方法、存储装置、处理器
CN107240216A (zh) 基于3dgis+bim技术和人工智能运维应急报警与快速响应方法
EP3786839A1 (en) Method and system for prediction and mitigation of spontaneous combustion in coal stock piles
KR102213204B1 (ko) 인공 신경망을 이용하여, gis 기반의 소방 시설을 관리하고 화재를 예방하는 방법 및 장치
KR102427026B1 (ko) 재난 대응 관련 정보의 시각화 방법 및 서버
CN114973133B (zh) 一种消防隐患处理方法
CN111260872A (zh) 一种基于邻接烟感传感器的火灾报警方法
CN115861915A (zh) 消防通道监控方法、消防通道监控装置以及存储介质
CN114677640A (zh) 基于机器视觉的智慧工地安全监测系统及方法
CN111860187A (zh) 一种高精度的佩戴口罩识别方法及系统
CN114882447B (zh) 一种基于视觉感知的防火卷帘门实时预警方法及系统
Parekh Applications of artificial intelligence in enhancing building fire safety
CN116363825B (zh) 用于展示火情蔓延趋势的方法及装置、电子设备、介质
CN115346170A (zh) 一种燃气设施区域的智能监控方法及装置
CN115171006A (zh) 基于深度学习的自动识别人员进入电力危险区的检测方法
CN113191182A (zh) 一种基于深度学习的暴力异常行为检测方法
Chen et al. YOLOv5s-gnConv: detecting personal protective equipment for workers at height
KR20220095775A (ko) 화재 감지 창 및 이를 이용한 건물 화재 발생 지점 및 확산 방향 예측 시스템
CN112614224A (zh) 基于bim模型的在线消防监控方法及其相关产品
KR102593646B1 (ko) 재난 상황관리 피해 예측 플랫폼 제공 방법, 장치 및 프로그램
CN118070019B (zh) 一种基于人工智能的消防值班人员值岗智能识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant