CN111882810A - 一种火灾识别与预警方法及其系统 - Google Patents
一种火灾识别与预警方法及其系统 Download PDFInfo
- Publication number
- CN111882810A CN111882810A CN202010763384.8A CN202010763384A CN111882810A CN 111882810 A CN111882810 A CN 111882810A CN 202010763384 A CN202010763384 A CN 202010763384A CN 111882810 A CN111882810 A CN 111882810A
- Authority
- CN
- China
- Prior art keywords
- fire
- early warning
- identification
- model
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000001514 detection method Methods 0.000 claims abstract description 74
- 239000000779 smoke Substances 0.000 claims abstract description 52
- 230000007246 mechanism Effects 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000004458 analytical method Methods 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims description 34
- 238000013138 pruning Methods 0.000 claims description 30
- 238000009499 grossing Methods 0.000 claims description 26
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 238000012360 testing method Methods 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 4
- 238000004140 cleaning Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 19
- 238000004422 calculation algorithm Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 6
- 238000009826 distribution Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Chemical compound O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/10—Actuation by presence of smoke or gases, e.g. automatic alarm devices for analysing flowing fluid materials by the use of optical means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
- G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
- G08B29/18—Prevention or correction of operating errors
- G08B29/185—Signal analysis techniques for reducing or preventing false alarms or for enhancing the reliability of the system
Abstract
本发明属于智慧消防技术领域，公开了一种火灾识别与预警方法及其系统，所述方法包括如下步骤：S1：根据火焰烟雾多维融合的火灾资料，建立火灾识别模型；S2：对火灾识别模型进行识别补偿并加入预警机制，得到火灾识别与预警模型；S3：实时获取现场视频，并根据现场视频，使用火灾识别与预警模型，进行火灾识别与预警；所述系统包括视频采集模块、识别处理模块、识别分析模块以及预警模块。本发明解决了现有技术存在的对火灾中火焰烟雾检测的精度低、识别准确率较低、误检率较高以及场景适应性较差的问题。
Description
技术领域
本发明属于智慧消防技术领域，具体涉及一种火灾识别与预警方法及其系统。
背景技术
现有技术中，常见的火灾探测手段有：
感温探测器：物质在燃烧过程中释放出大量的热，使环境温度升高，感温火灾探测器中的热敏元件发生物理变化，从而将温度信号转变为电信号传输给火灾报警控制器，发出火灾报警信号。感温探测不适合在温度变化较大场所使用，且保护范围往往较小，火灾预警也相对滞后；
感烟探测器：烟雾探测器就是通过监测烟雾的浓度来实现火灾防范的，烟雾探测器内部采用离子式烟雾传感，在正常的情况下，内外电离室的电流、电压都是稳定的。一旦有烟雾窜逃外电离室。干扰了带电粒子的正常运动，电流，电压就会有所改变，破坏了内外电离室之间的平衡，探测器就会发出警报。感烟探测不适宜在粉尘多、湿度大、有烟和水蒸气滞留的场所使用，且同样存在保护半径小，预警滞后问题；
红外热像仪：热像仪是利用红外探测器和光学成像物镜接收被测目标的红外辐射能量，并将能量分布图形反映到红外探测器的光敏元件上，从而获得红外热像图，这种热像图与物体表面的热分布场相对应。通俗地讲热像仪就是将物体发出的不可见红外能量转变为可见的热图像。热图像的上面的不同颜色代表被测物体的不同温度。总所周知，红外热像仪随着不同的识别距离和IFOV 值对像素要求很高，带来的最大问题就是造价成本昂贵，不利于消防场景的大规模普及；
摄像头图像检测：基于图像的火灾检测依赖于一定的算法，传统算法主要围绕火焰颜色和形状进行设计。对于火焰而言，红色分量(R)和绿色分量(G)会很大，并且绿色分量(G)会大于蓝色分量(B)。其中，Rt是红色分量阈值，St是饱和度阈值，火焰像素主要取决于红色分量(R)的色度和饱和度。但颜色检测容易出现误检，特别是颜色和火焰相近时，所以优化的算法还结合了形状(关键点)检测，通过前后帧关键点变化判断是否发生火灾，摄像头图像检测解决了感温探测器和感烟探测器有效范围较小的问题，对摄像头视野范围内环境进行广泛检测，并且在火灾发生初期就能及时发出预警；但火焰烟雾没有固定的颜色和形态，传统算法依然存在识别率低，误检高的问题，人工设计的特征提取受复杂环境因素干扰大；同时，对火势和烟雾趋势的预判无法提供细粒度的数据支撑，在一些复杂交叉场景(噪点大)无法满足使用要求。
现有技术存在以下问题：
1)现有技术没有将火灾中的火焰烟雾进行融合，缺乏对火灾中火焰烟雾的关联特征进行分析，以及进行趋势转变等的预测，对火灾中火焰烟雾检测的精度低；
2)由于现有技术中有效数据集获取困难，同时现有技术中高精度算法对数据集的要求极高，导致大部分的现有技术的识别准确率较低，误检率较高；
3)现有技术的场景适应性较差，并且大部分只能基于室内场景进行设置，缺乏大规模场景适应测试和部署。
发明内容
本发明旨在于至少在一定程度上解决上述技术问题之一。
为此，本发明目的在于提供一种火灾识别与预警方法及其系统，用于解决现有技术存在的对火灾中火焰烟雾检测的精度低、识别准确率较低、误检率较高以及场景适应性较差的问题。
本发明所采用的技术方案为：
一种火灾识别与预警方法，包括如下步骤：
S1：根据火焰烟雾多维融合的火灾资料，建立火灾识别模型；
S2：对火灾识别模型进行识别补偿并加入预警机制，得到火灾识别与预警模型；
S3：实时获取现场视频，并根据现场视频，使用火灾识别与预警模型，进行火灾识别与预警。
进一步地，步骤S1的具体步骤为：
S1-1：将火焰烟雾多维融合的火灾资料中的火灾视频转化为火灾图像，并将现有的火灾图像进行预处理，得到预处理后火灾图像；
S1-2：将预处理后火灾图像分为训练集和测试集，基于神经网络使用训练集进行训练，建立初始的火灾识别模型；
S1-3：将初始的火灾识别模型进行剪枝，得到剪枝后的火灾识别模型；
S1-4：使用测试集进行优化，得到并输出最优的火灾识别模型。
进一步地，步骤S1-1中，所述火焰烟雾多维融合的火灾图像包括火焰图像、烟雾图像以及火焰烟雾多维融合图像；
预处理包括对火灾图像进行清洗处理、标注处理以及增强处理。
进一步地，步骤S1-2中，所述神经网络为卷积神经网络，卷积神经网络包括卷积层、激活层、残差连接结构、检测层以及空间金字塔池化结构SPP结构，卷积层为深度可分离卷积层。
进一步地，步骤S1-3中，使用稀疏训练方法对初始的火灾识别模型进行结构化剪枝；
稀疏训练的公式为：
式中，L为稀疏训练函数；x、y分别为输入图片和框目标；W为可训练权重，包括卷积权重和bn层权重；∑(x,y)l(f(x,W),y)为正常训练损失获取函数；g(γ) 为稀疏函数；γ为稀疏因子；Γ为稀疏因子集；λ为调整参数；λ∑γ∈Γg(γ)为额外添加的总损失获取函数。
进一步地，步骤S2中，预警机制包括预警等级和预警平滑机制。
进一步地，预警等级包括：
0级：火灾识别与预警模型的检测结果为疑似火焰或者疑似烟雾；
1级：火灾识别与预警模型的检测结果为出现明显烟雾；
2级：火灾识别与预警模型的检测结果为出现明火；
3级：火灾识别与预警模型的检测结果为出现大火；
4级：火灾识别与预警模型的检测结果为多处出现明火或者烟雾。
进一步地，预警平滑机制为：将获取的现场视频使用高斯滤波进行平滑处理；
预警平滑机制的公式为：
Iσ＝I*Gσ
式中，Iσ为预警平滑函数；σ为根据检出区域灰度图像素点获取的标准差； I为平滑因子；Gσ为高斯滤波函数；
高斯滤波函数的公式为：
式中，Gσ为高斯滤波函数；(X,Y)为检出框的像素点坐标；σ为根据检出区域灰度图像素点获取的标准差。
进一步地，步骤S3的具体步骤为：
S3-1：实时获取现场视频，到达检测采样周期后，从现场视频的当前帧图像开始采样，连续采集连续多帧的图像，并对采集到的多张图像进行预处理，得到预处理后图像；
S3-2：将多张预处理后图像输入火灾识别与预警模型进行预测，得到检测结果；
S3-3：重复步骤S3-1至S3-2，到达预设次数后，对所有的检测结果进行高斯滤波操作，得到多个平滑处理后的检测结果；
S3-4：进行识别补偿，即获取多个平滑处理后的检测结果的相似度；
S3-5：根据相似度对多个检测结果进行识别，并得到识别结果；
S3-6：根据识别结果和预警机制，发出对应的警报，实现火灾识别与预警。
一种火灾识别与预警系统，包括视频采集模块、识别处理模块、识别分析模块以及预警模块，识别处理模块分别与多个视频采集模块、多个识别分析模块以及预警模块通信连接。
本发明的有益效果为：
1)本发明的火灾识别与预警方法结合最新的人工智能技术，采用深度神经网络来重构基于现场视频以及火焰烟雾融合的火灾检测算法，进行火焰烟雾融合识别和趋势预测，在保证有效距离的情况下大大提高火灾检测的精度；
2)本发明的火灾识别与预警方法采用大量的火灾资料和数据集进行训练和测试，优化卷积神经网络以及特征提取因子，无需手工设计特征提取，面对复杂环境具有更强的鲁棒性，同时本发明采用自主设计的神经网络的增强与压缩技术解决了神经网络算力要求高的问题，提高了识别准确率，并且降低了误检率；
3)本发明的火灾识别与预警系统将火灾识别与预警方法部署至主要场景和边缘场景，包含了室内和室外的各种场景中，提高了场景适应性，并且能够方便的进行大规模的场景的部署和建设。
本发明的其他有益效果将在具体实施方式中进行详细说明。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是火灾识别与预警方法流程图；
图2是火灾识别与预警系统结构框图；
图3是火焰图像；
图4是烟雾图像；
图5是火焰与烟雾融合图像；
图6是数据增强后图像；
图7是模型精度变化图；
图8是bn权值分布变化图；
图9是残差块结构图。
具体实施方式
下面结合附图及具体实施例来对本发明作进一步阐述。在此需要说明的是，对于这些实施例方式的说明虽然是用于帮助理解本发明，但并不构成对本发明的限定。本发明公开的功能细节仅用于描述本发明的示例实施例。然而，可用很多备选的形式来体现本发明，并且不应当理解为本发明限制在本发明阐述的实施例中。
应当理解，本发明使用的术语仅用于描述特定实施例，并不意在限制本发明的示例实施例。若术语“包括”、“包括了”、“包含”和/或“包含了”在本发明中被使用时，指定所声明的特征、整数、步骤、操作、单元和/或组件的存在性，并且不排除一个或多个其他特征、数量、步骤、操作、单元、组件和/或他们的组合存在性或增加。
应当理解，还应当注意到在一些备选实施例中，所出现的功能/动作可能与附图出现的顺序不同。例如，取决于所涉及的功能/动作，实际上可以实质上并发地执行，或者有时可以以相反的顺序来执行连续示出的两个图。
应当理解，在下面的描述中提供了特定的细节，以便于对示例实施例的完全理解。然而，本领域普通技术人员应当理解可以在没有这些特定细节的情况下实现示例实施例。例如可以在框图中示出系统，以避免用不必要的细节来使得示例不清楚。在其他实例中，可以不以不必要的细节来示出众所周知的过程、结构和技术，以避免使得示例实施例不清楚。
实施例1
如图1所示，本实施例提供一种火灾识别与预警方法，包括如下步骤：
S1：根据火焰烟雾多维融合的火灾资料，建立火灾识别模型，具体步骤为：
S1-1：将火焰烟雾多维融合的火灾资料中的火灾视频转化为火灾图像，并将现有的火灾图像进行预处理，得到预处理后火灾图像；
火焰烟雾多维融合的火灾图像包括火焰图像、烟雾图像以及火焰烟雾多维融合图像，为了解决场景适应性问题，收集大量火焰与烟雾的图片和视频制作训练数据集和测试数据集，数据集覆盖数千个场景数百万张火灾图像；
预处理包括对火灾图像进行清洗处理、标注处理以及增强处理；
清洗处理：火灾图像要求720p以上，并且成像清晰；
标注处理：如图3至图5所示，在火灾图像中标注出火焰烟雾的图中实际位置，为使神经网络能有效拟合给出的目标信息，标注过程需要注意统一规范，用尽量少的框框住火焰烟雾主体；
增强处理：如图6所示，在实际的训练中有包括随机翻转、颜色变换、旋转和缩放等常规数据增强，另外还引入了马赛克mosaic增强，即将多幅火灾图像随机裁剪和拼接，生成一幅新图进行训练，得到的火灾图像背景信息更加丰富，目标更加多样，滑动统计的均值和方差也更有统计意义；
S1-2：将预处理后火灾图像分为训练集和测试集，基于神经网络使用训练集进行训练，建立初始的火灾识别模型；
预处理后图像以8：2比例划分训练集和测试集，根据室内外不同应用场景，火焰数据集被划分成8大类，烟雾数据集被划分为12大类，火焰烟雾融合数据集被划分为6大类，共有48个小类组成；
初始的火灾识别模型以训练集作为输入，在训练集的图像中和大量中间特征图上进行持续的滑动卷积等操作进行特征提取，并端到端地输出目标结果，输出层设置合理的预选框和样本匹配机制，通过计算预测结果和实际目标之间的距离得到训练损失，然后利用链式求导法则进行反向传播，对模型参数进行更新，并持续迭代，初始的火灾识别模型还具有前后帧的信息关联能力，也就是基于视频的理解，能够获得更高的检测精度，初始的火灾识别模型对输入图片进行切割检测，以提高检测有效距离；
初始的火灾识别模型的神经网络为卷积神经网络，为了适应多种场景，基于yolvo3-spp，卷积神经网络包括卷积层、激活层、五组23块残差连接结构、三个检测层以及一个SPP结构，卷积层为深度可分离卷积层，去掉了特征金字塔FPN结构，检测效果基本不变，检测速度更快，推理时间减少五分之一，后处理时间减少二分之一，减少锚框anchor的数量，将三个anchor减少为一个；
训练过程样本选取策略以最大IOU匹配为正样本，其他为负样本，更大程度抑制实际检测中出现的误检测情况，训练的平均均值精度mAP、召回率以及精确率都达到了95％以上，误检率低于0.05％，检测效果和适应性远超传统算法；
S1-3：将初始的火灾识别模型进行剪枝，得到剪枝后的火灾识别模型；
深度神经网络是一个庞大而难以解释的函数，其中大量的计算节点和非线性变换令模型具备强大的拟合能力，能够处理复杂的任务，但是神经网络往往包含大量冗余的神经元和结构，在针对不同任务时侯的冗余度也是不同的，冗余的网络部分造成了过多的计算开销和模型推理时间，所以有必要对模型进行压缩；
进行剪枝，即进行模型压缩，剪枝是非常有效的压缩手段，剪枝有非结构化剪枝和结构化剪枝，非结构化剪枝依赖于特殊的加速算法和硬件，不具备通用性；而结构化剪枝是从根本上缩减模型大小，裁剪掉冗余的部分；最常见的结构化剪枝方式是通道过滤器filters剪枝，它能有效的减少初始的火灾识别模型的参数和计算量；
使用稀疏训练方法对初始的火灾识别模型进行结构化剪枝；
剪枝的过程就是减掉不重要的权重，使用稀疏训练方法将初始的火灾识别模型的权重稀疏化，让大部分权重趋近于零，一般认为权值接近于零的权重其输出较小所以不重要，使用正则化引导权重稀疏化，在正常训练的目标函数中增加一个优化项，随着训练的不断迭代，权重会趋向于零，稀疏训练的公式为：
式中，L为稀疏训练函数；x、y分别为输入图片和框目标；W为可训练权重，包括卷积权重和bn层权重；∑(x,y)l(f(x,W),y)为正常训练损失获取函数；g(γ) 为稀疏函数；γ为稀疏因子；Γ为稀疏因子集；λ为调整参数；λ∑γ∈Γg(γ)为额外添加的总损失获取函数；
在实际操作中，为了实现通道级别的剪枝，对批量归一化bn层的伽玛 gamma缩放系数进行正则化，卷积层Conv+批量归一化层bn+激励层activation 是神经网络中常见组合，批量归一化层权重bn weight刚好对应着每个通道，在这个节点上进行稀疏化，既可以减少稀疏化对初始的火灾识别模型的损害又可以有效裁剪通道，并且采取迭代式剪枝的方法，即在模型精度略微下降的时候进行剪枝，微调后进行下一轮，降低剪枝率，并且允许模型精度在稀疏过程中下跌，并且持续挤压bn层，充分稀疏后，大部分权重趋于零，小部分保持较大值，权重分布趋于稳定，精度开始回升，结合学习率下降能够有效回升精度，如图7和图8所示；
权重稀疏后的剪枝操作还涉及很多策略和工程问题，既要保证剪枝后的火灾识别模型的结构完整性又要保证精度的保持，采取bn绝对值全局排序方法，设置全局剪枝和层最低保持比例，灵活调整剪枝结构，达到最好的效果，在涉及特殊结构譬如如图9所示的残差连接，由于捷径shortcut层需要保证两个输入的维度一致，连续的残差连接需要保证A、C、F层的输出是一样的维度，采取的策略是把这三个层的保留通道取并集，以保证剪枝后的火灾识别模型的精度；
进一步，进行层剪枝，把整个残差块剪掉，即图中的E、F、G层组成的残差块，由于shortcut连接，剪枝后的火灾识别模型的结构依然连续，D层直接连到H层，通道剪枝加层剪枝可以减少剪枝后的火灾识别模型95％以上的参数量和计算量，实现2-6倍的加速；
S1-4：使用测试集进行优化，得到并输出最优的火灾识别模型；
S2：对火灾识别模型进行识别补偿并加入预警机制，得到火灾识别与预警模型；
基于最优的火灾识别模型测试了500段火灾、烟雾视频数据，对误检率高的场景(噪点大)分析，发现背景融合程度对火灾和烟雾的识别判别具有一定的影响，为了提高多场景适应能力，提出在网络模型基础上，进行识别补偿算法，解决了复杂场景识别预警误判适应性，并且进行背景噪点滤波，提高预警判别鲁棒性；
预警机制包括预警等级和预警平滑机制；
预警等级包括：
0级：火灾识别与预警模型的检测结果为疑似火焰或者疑似烟雾；
1级：火灾识别与预警模型的检测结果为出现明显烟雾；
2级：火灾识别与预警模型的检测结果为出现明火；
3级：火灾识别与预警模型的检测结果为出现大火；
4级：火灾识别与预警模型的检测结果为多处出现明火或者烟雾；
预警平滑机制为：划分视频为块block并进行算法处理，将获取的现场视频使用高斯滤波进行平滑处理；
预警平滑机制的公式为：
Iσ＝I*Gσ
式中，Iσ为预警平滑函数；σ为根据检出区域灰度图像素点获取的标准差； I为平滑因子；Gσ为高斯滤波函数；
高斯滤波函数的公式为：
式中，Gσ为高斯滤波函数；(X,Y)为检出框的像素点坐标；σ为根据检出区域灰度图像素点获取的标准差；
多轮测试集的检测结果显示，在连续16帧中检测到10帧火灾则启动预警表现最优；
S3：实时获取现场视频，并根据现场视频，使用火灾识别与预警模型，进行火灾识别与预警，具体步骤为：
S3-1：实时获取现场视频，到达检测采样周期后，从现场视频的当前帧图像开始采样，连续采集连续多帧的图像，并对采集到的多张图像进行预处理，得到预处理后图像；
S3-2：将多张预处理后图像输入火灾识别与预警模型进行预测，得到检测结果；
S3-3：重复步骤S3-1至S3-2，到达预设次数后，对所有的检测结果进行高斯滤波操作，得到多个平滑处理后的检测结果；
S3-4：进行识别补偿，即使用哈希感知算法获取多个平滑处理后的检测结果的相似度；
S3-5：根据相似度对多个检测结果进行识别，并得到识别结果；
S3-6：根据识别结果和预警机制，发出对应的警报，实现火灾识别与预警。
一种火灾识别与预警系统，如图2所示，包括视频采集模块、识别处理模块、识别分析模块以及预警模块，识别处理模块分别与多个视频采集模块、多个识别分析模块以及预警模块通信连接；
边缘部署以识别处理模块为主节点，支撑支持4至6路视频处理，本实施例为4路，同时控制整个系统的运行以及警报信号的发送，识别分析模块为扩展节点，支持2路视频分析，并与主节点交互，扩大整体系统计算能力，其中，识别处理模块的主控芯片具体型号为RK3399PRO，识别分析模块的主控芯片具体型号为RK1808；
视频采集模块，用于实时获取现场视频，并将现场视频发送至识别处理模块；
识别处理模块，用于到达检测采样周期后，从现场视频的当前帧图像开始采样，连续采集连续多帧的图像，并对采集到的多张图像进行预处理，得到预处理后图像；
识别分析模块，用于将多张预处理后图像输入火灾识别与预警模型进行预测，得到检测结果，对所有的检测结果进行高斯滤波操作，得到多个平滑处理后的检测结果，进行识别补偿，即获取多个平滑处理后的检测结果的相似度，根据相似度对多个检测结果进行识别，并得到识别结果，根据识别结果和预警机制，发出对应的警报，实现火灾识别与预警。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所描述的实施例仅仅是示意性的，若涉及到作为分离部件说明的单元，其可以是或者也可以不是物理上分开的；若涉及到作为单元显示的部件，其可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
本发明不局限于上述可选的实施方式，任何人在本发明的启示下都可得出其他各种形式的产品。上述具体实施方式不应理解成对本发明的保护范围的限制，本发明的保护范围应当以权利要求书中界定的为准，并且说明书可以用于解释权利要求书。
Claims (10)
1.一种火灾识别与预警方法，其特征在于：包括如下步骤：
S1：根据火焰烟雾多维融合的火灾资料，建立火灾识别模型；
S2：对火灾识别模型进行识别补偿并加入预警机制，得到火灾识别与预警模型；
S3：实时获取现场视频，并根据现场视频，使用火灾识别与预警模型，进行火灾识别与预警。
2.根据权利要求1所述的一种火灾识别与预警方法，其特征在于：所述步骤S1的具体步骤为：
S1-1：将火焰烟雾多维融合的火灾资料中的火灾视频转化为火灾图像，并将现有的火灾图像进行预处理，得到预处理后火灾图像；
S1-2：将预处理后火灾图像分为训练集和测试集，基于神经网络使用训练集进行训练，建立初始的火灾识别模型；
S1-3：将初始的火灾识别模型进行剪枝，得到剪枝后的火灾识别模型；
S1-4：使用测试集进行优化，得到并输出最优的火灾识别模型。
3.根据权利要求2所述的一种火灾识别与预警方法，其特征在于：所述步骤S1-1中，所述火焰烟雾多维融合的火灾图像包括火焰图像、烟雾图像以及火焰烟雾多维融合图像；
所述预处理包括对火灾图像进行清洗处理、标注处理以及增强处理。
4.根据权利要求2所述的一种火灾识别与预警方法，其特征在于：所述步骤S1-2中，所述神经网络为卷积神经网络，所述卷积神经网络包括卷积层、激活层、残差连接结构、检测层以及SPP结构，所述卷积层为深度可分离卷积层。
5.根据权利要求2所述的一种火灾识别与预警方法，其特征在于：所述步骤S1-3中，使用稀疏训练方法对初始的火灾识别模型进行结构化剪枝；
所述稀疏训练的公式为：
式中，L为稀疏训练函数；x、y分别为输入图片和框目标；W为可训练权重，包括卷积权重和bn层权重；∑(x，y)l(f(x，W)，y)为正常训练损失获取函数；g(γ)为稀疏函数；γ为稀疏因子；Γ为稀疏因子集；λ为调整参数；λ∑γ∈Γg(γ)为额外添加的总损失获取函数。
6.根据权利要求1所述的一种火灾识别与预警方法，其特征在于：所述步骤S2中，预警机制包括预警等级和预警平滑机制。
7.根据权利要求6所述的一种火灾识别与预警方法，其特征在于：所述预警等级包括：
0级：火灾识别与预警模型的检测结果为疑似火焰或者疑似烟雾；
1级：火灾识别与预警模型的检测结果为出现明显烟雾；
2级：火灾识别与预警模型的检测结果为出现明火；
3级：火灾识别与预警模型的检测结果为出现大火；
4级：火灾识别与预警模型的检测结果为多处出现明火或者烟雾。
8.根据权利要求6所述的一种火灾识别与预警方法，其特征在于：所述预警平滑机制为：将获取的现场视频使用高斯滤波进行平滑处理；
所述预警平滑机制的公式为：
Iσ＝I*Gσ
式中，Iσ为预警平滑函数；σ为根据检出区域灰度图像素点获取的标准差；I为平滑因子；Gσ为高斯滤波函数；
所述高斯滤波函数的公式为：
式中，Gσ为高斯滤波函数；(X，Y)为检出框的像素点坐标；σ为根据检出区域灰度图像素点获取的标准差。
9.根据权利要求1所述的一种火灾识别与预警方法，其特征在于：所述步骤S3的具体步骤为：
S3-1：实时获取现场视频，到达检测采样周期后，从现场视频的当前帧图像开始采样，连续采集连续多帧的图像，并对采集到的多张图像进行预处理，得到预处理后图像；
S3-2：将多张预处理后图像输入火灾识别与预警模型进行预测，得到检测结果；
S3-3：重复步骤S3-1至S3-2，到达预设次数后，对所有的检测结果进行高斯滤波操作，得到多个平滑处理后的检测结果；
S3-4：进行识别补偿，即获取多个平滑处理后的检测结果的相似度；
S3-5：根据相似度对多个检测结果进行识别，并得到识别结果；
S3-6：根据识别结果和预警机制，发出对应的警报，实现火灾识别与预警。
10.一种火灾识别与预警系统，其特征在于：包括视频采集模块、识别处理模块、识别分析模块以及预警模块，所述识别处理模块分别与多个视频采集模块、多个识别分析模块以及预警模块通信连接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010763384.8A CN111882810B (zh) | 2020-07-31 | 2020-07-31 | 一种火灾识别与预警方法及其系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010763384.8A CN111882810B (zh) | 2020-07-31 | 2020-07-31 | 一种火灾识别与预警方法及其系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111882810A true CN111882810A (zh) | 2020-11-03 |
| CN111882810B CN111882810B (zh) | 2022-07-01 |
Family
ID=73205337
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010763384.8A Active CN111882810B (zh) | 2020-07-31 | 2020-07-31 | 一种火灾识别与预警方法及其系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111882810B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112767644A (zh) * | 2020-12-31 | 2021-05-07 | 千方捷通科技股份有限公司 | 一种基于视频识别的公路隧道内火灾预警方法及装置 |
| CN112837494A (zh) * | 2020-12-30 | 2021-05-25 | 华南农业大学 | 一种校园宿舍用电安全隐患排查系统及方法 |
| CN113077673A (zh) * | 2021-03-10 | 2021-07-06 | 西南交通大学 | 一种非对称双气体火源火焰融合实验模拟装置 |
| CN113179389A (zh) * | 2021-04-15 | 2021-07-27 | 江苏濠汉信息技术有限公司 | 一种输电线路危险车辆吊车扬臂识别系统及识别方法 |
| CN113269166A (zh) * | 2021-07-19 | 2021-08-17 | 环球数科集团有限公司 | 一种跨媒体分析与推理的火灾检测算法 |
| CN113344909A (zh) * | 2021-07-01 | 2021-09-03 | 中国石油大学(北京) | 一种火电锅炉透火焰高温滤镜结焦识别显示方法和装置 |
| CN116912782A (zh) * | 2023-09-14 | 2023-10-20 | 四川泓宝润业工程技术有限公司 | 一种基于重叠标注训练的烟火检测方法 |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030141980A1 (en) * | 2000-02-07 | 2003-07-31 | Moore Ian Frederick | Smoke and flame detection |
| CN101493980A (zh) * | 2009-03-05 | 2009-07-29 | 中国科学技术大学 | 一种基于多特征融合的快速视频火焰探测方法 |
| CN101609589A (zh) * | 2008-06-17 | 2009-12-23 | 侯荣琴 | 多频图像火灾探测系统 |
| CN102332092A (zh) * | 2011-09-14 | 2012-01-25 | 广州灵视信息科技有限公司 | 一种基于视频分析的火焰检测方法 |
| CN105719421A (zh) * | 2016-04-27 | 2016-06-29 | 丛静华 | 一种基于大数据挖掘的集成化森林防火信息化系统 |
| CN106920222A (zh) * | 2017-03-13 | 2017-07-04 | 苏州大学 | 一种图像平滑方法及装置 |
| CN108470424A (zh) * | 2018-03-06 | 2018-08-31 | 深圳森阳环保材料科技有限公司 | 一种基于图像特征的森林安全监测系统 |
| CN108764128A (zh) * | 2018-05-25 | 2018-11-06 | 华中科技大学 | 一种基于稀疏时间分段网络的视频动作识别方法 |
| CN109191761A (zh) * | 2018-09-06 | 2019-01-11 | 中国石油大学(华东) | 一种基于火焰多特征融合的火灾识别方法 |
| CN110032977A (zh) * | 2019-04-18 | 2019-07-19 | 北京华正明天信息技术股份有限公司 | 一种基于深度学习图像火灾识别的安全预警管理系统 |
| CN110135016A (zh) * | 2019-04-26 | 2019-08-16 | 南京科谷智能科技有限公司 | 一种基于神经网络的多维消防数据融合分析方法 |
| CN110610229A (zh) * | 2019-07-30 | 2019-12-24 | 北京航空航天大学 | 一种卷积神经网络训练过程的动态稀疏化方法 |
| CN110633675A (zh) * | 2019-09-18 | 2019-12-31 | 东北大学 | 一种基于卷积神经网络的视频中火灾识别系统及方法 |
| CN110991642A (zh) * | 2019-12-25 | 2020-04-10 | 神思电子技术股份有限公司 | 一种基于网络激活与稀疏化的网络裁剪优化方法 |
| CN111368771A (zh) * | 2020-03-11 | 2020-07-03 | 四川路桥建设集团交通工程有限公司 | 一种基于图像处理的隧道火灾预警方法、装置、计算机设备以及计算机可读存储介质 |
| CN111401523A (zh) * | 2020-03-13 | 2020-07-10 | 大连理工大学 | 一种基于网络层剪枝的深度学习网络模型压缩方法 |
-
2020
- 2020-07-31 CN CN202010763384.8A patent/CN111882810B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030141980A1 (en) * | 2000-02-07 | 2003-07-31 | Moore Ian Frederick | Smoke and flame detection |
| CN101609589A (zh) * | 2008-06-17 | 2009-12-23 | 侯荣琴 | 多频图像火灾探测系统 |
| CN101493980A (zh) * | 2009-03-05 | 2009-07-29 | 中国科学技术大学 | 一种基于多特征融合的快速视频火焰探测方法 |
| CN102332092A (zh) * | 2011-09-14 | 2012-01-25 | 广州灵视信息科技有限公司 | 一种基于视频分析的火焰检测方法 |
| CN105719421A (zh) * | 2016-04-27 | 2016-06-29 | 丛静华 | 一种基于大数据挖掘的集成化森林防火信息化系统 |
| CN106920222A (zh) * | 2017-03-13 | 2017-07-04 | 苏州大学 | 一种图像平滑方法及装置 |
| CN108470424A (zh) * | 2018-03-06 | 2018-08-31 | 深圳森阳环保材料科技有限公司 | 一种基于图像特征的森林安全监测系统 |
| CN108764128A (zh) * | 2018-05-25 | 2018-11-06 | 华中科技大学 | 一种基于稀疏时间分段网络的视频动作识别方法 |
| CN109191761A (zh) * | 2018-09-06 | 2019-01-11 | 中国石油大学(华东) | 一种基于火焰多特征融合的火灾识别方法 |
| CN110032977A (zh) * | 2019-04-18 | 2019-07-19 | 北京华正明天信息技术股份有限公司 | 一种基于深度学习图像火灾识别的安全预警管理系统 |
| CN110135016A (zh) * | 2019-04-26 | 2019-08-16 | 南京科谷智能科技有限公司 | 一种基于神经网络的多维消防数据融合分析方法 |
| CN110610229A (zh) * | 2019-07-30 | 2019-12-24 | 北京航空航天大学 | 一种卷积神经网络训练过程的动态稀疏化方法 |
| CN110633675A (zh) * | 2019-09-18 | 2019-12-31 | 东北大学 | 一种基于卷积神经网络的视频中火灾识别系统及方法 |
| CN110991642A (zh) * | 2019-12-25 | 2020-04-10 | 神思电子技术股份有限公司 | 一种基于网络激活与稀疏化的网络裁剪优化方法 |
| CN111368771A (zh) * | 2020-03-11 | 2020-07-03 | 四川路桥建设集团交通工程有限公司 | 一种基于图像处理的隧道火灾预警方法、装置、计算机设备以及计算机可读存储介质 |
| CN111401523A (zh) * | 2020-03-13 | 2020-07-10 | 大连理工大学 | 一种基于网络层剪枝的深度学习网络模型压缩方法 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112837494A (zh) * | 2020-12-30 | 2021-05-25 | 华南农业大学 | 一种校园宿舍用电安全隐患排查系统及方法 |
| CN112767644A (zh) * | 2020-12-31 | 2021-05-07 | 千方捷通科技股份有限公司 | 一种基于视频识别的公路隧道内火灾预警方法及装置 |
| CN112767644B (zh) * | 2020-12-31 | 2022-05-24 | 千方捷通科技股份有限公司 | 一种基于视频识别的公路隧道内火灾预警方法及装置 |
| CN113077673A (zh) * | 2021-03-10 | 2021-07-06 | 西南交通大学 | 一种非对称双气体火源火焰融合实验模拟装置 |
| CN113077673B (zh) * | 2021-03-10 | 2022-12-23 | 西南交通大学 | 一种非对称双气体火源火焰融合实验模拟装置 |
| CN113179389A (zh) * | 2021-04-15 | 2021-07-27 | 江苏濠汉信息技术有限公司 | 一种输电线路危险车辆吊车扬臂识别系统及识别方法 |
| CN113344909A (zh) * | 2021-07-01 | 2021-09-03 | 中国石油大学(北京) | 一种火电锅炉透火焰高温滤镜结焦识别显示方法和装置 |
| CN113344909B (zh) * | 2021-07-01 | 2023-12-08 | 中国石油大学(北京) | 一种火电锅炉透火焰高温滤镜结焦识别显示方法和装置 |
| CN113269166A (zh) * | 2021-07-19 | 2021-08-17 | 环球数科集团有限公司 | 一种跨媒体分析与推理的火灾检测算法 |
| CN116912782A (zh) * | 2023-09-14 | 2023-10-20 | 四川泓宝润业工程技术有限公司 | 一种基于重叠标注训练的烟火检测方法 |
| CN116912782B (zh) * | 2023-09-14 | 2023-11-14 | 四川泓宝润业工程技术有限公司 | 一种基于重叠标注训练的烟火检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111882810B (zh) | 2022-07-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111882810B (zh) | 一种火灾识别与预警方法及其系统 | |
| CN110135269B (zh) | 一种基于混合颜色模型与神经网络的火灾图像检测方法 | |
| US9247159B2 (en) | Infrared camera detection systems and methods | |
| CN105701467B (zh) | 一种基于人体形态特征的多人异常行为识别方法 | |
| CN106254823A (zh) | 基于红外热像仪的目标物闯入侦测方法、装置及系统 | |
| CN112528817B (zh) | 一种基于神经网络的巡检机器人视觉检测及跟踪方法 | |
| WO2024051297A1 (zh) | 一种轻量化的火灾烟雾检测方法、终端设备及存储介质 | |
| CN111582074A (zh) | 一种基于场景深度信息感知的监控视频树叶遮挡检测方法 | |
| CN107635099A (zh) | 一种人体感应双光网络摄像机及安防监控系统 | |
| CN110503017A (zh) | 基于图像处理的智慧节能室内人数检测系统与方法 | |
| CN114399882A (zh) | 一种用于消防机器人的火源探测识别并预警方法 | |
| CN103870847B (zh) | 一种低照度环境下对地监控的运动目标检测方法 | |
| CN111862511A (zh) | 基于双目立体视觉的目标入侵检测装置及其方法 | |
| CN113052139A (zh) | 一种基于深度学习双流网络的攀爬行为检测方法及系统 | |
| KR102040562B1 (ko) | 영상정보를 활용한 시정거리 추정 방법 | |
| CN111767826A (zh) | 一种定时定点场景异常检测方法 | |
| CN112560574A (zh) | 河流黑水排放检测方法及应用其的识别系统 | |
| Munawar et al. | Fire detection through Image Processing; A brief overview | |
| Zhao et al. | Flame detection using generic color model and improved block-based PCA in active infrared camera | |
| Prastika | Application of individual activity recognition in the room using CNN Alexnet method | |
| Tseng et al. | Automatic detection and tracking in multi-fisheye cameras surveillance system | |
| Zhang | Structural design of anthropomorphic robot vision system | |
| Takahara et al. | Making background subtraction robust to various illumination changes | |
| Wen et al. | Real-time personnel counting of indoor area division based on improved YOLOV4-Tiny | |
| RU2315357C2 (ru) | Способ детектирования объекта |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |