CN114463681A - 一种基于视频监控平台的火灾检测方法 - Google Patents
一种基于视频监控平台的火灾检测方法 Download PDFInfo
- Publication number
- CN114463681A CN114463681A CN202210125909.4A CN202210125909A CN114463681A CN 114463681 A CN114463681 A CN 114463681A CN 202210125909 A CN202210125909 A CN 202210125909A CN 114463681 A CN114463681 A CN 114463681A
- Authority
- CN
- China
- Prior art keywords
- target
- frame
- flame
- moving target
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 33
- 238000012544 monitoring process Methods 0.000 title claims abstract description 17
- 238000001914 filtration Methods 0.000 claims abstract description 5
- 230000000877 morphologic effect Effects 0.000 claims abstract description 5
- 238000013135 deep learning Methods 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000035784 germination Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B7/00—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
- G08B7/06—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Emergency Management (AREA)
- Business, Economics & Management (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于视频监控平台的火灾检测方法，包括如下的步骤：通采用运动前景检测算法对视频序列提取运动前景，通过图像滤波和形态学操作去除噪声干扰后，得到当前视频帧的运动前景及其外接矩形；如果当前帧存在运动目标，采用基于深度学习的无锚框目标检测算法对当前帧图像进行分析，提取图像特征；如果当前视频帧同时存在运动目标与火焰目标，则利用运动目标的外接矩形与火焰目标预测框进行综合判别；运动目标外接矩形记为M，火焰目标的预测框记为F，M与F的重叠度采用交并比衡量；判断火焰目标是否有效。
Description
技术领域
本发明属于人工智能技术领域，尤其是涉及一种基于视频监控平台的火灾检测方法。
背景技术
火灾是日常生活中主要灾害之一，严重威胁着人们的生命与财产安全，及时准确地发现火灾并预警具有十分重要的研究意义。传统的火灾检测器利用温感、烟感等各种传感器感知火灾出现时产生的光、温、热等，以判断是否有火灾的发生。基于传感器的火灾检测方法探测距离短，易受到环境干扰，并且维护成本高。随着视频监控系统的广泛应用，图像型火灾检测方法具有响应速度快、覆盖范围广、报警信息丰富等优点，受到研究人员青睐。通过对监控平台采集到的视频信息进行智能处理分析，可以在火灾萌芽阶段及时发现火情。
相比于传统的人工提取特征的方法，深度卷积神经网络提取到的特征更为有效合理。基于视频监控平台的火灾检测技术充分利用现有的视频监控平台，不需要添加额外的设备，只需利用监控平台的实时视频信息。通过使用一种较为有效的火灾检测算法对视频进行分析，可以实时准确的对监控场景进行安全监测，这对于火灾早期预警和智慧消防建设具有重要意义。
发明内容
本发明旨在提出一种更为准确的基于视频监控平台的火灾检测方法，其实现步骤如下：
一种基于视频监控平台的火灾检测方法，包括如下的步骤：
第一步，通过读取视频信息流，获取连续视频帧；采用运动前景检测算法对视频序列提取运动前景，通过图像滤波和形态学操作去除噪声干扰后，得到当前视频帧的运动前景及其外接矩形；
第二步，如果当前帧存在运动目标，采用基于深度学习的无锚框目标检测算法对当前帧图像进行分析，提取图像特征，预测图像中火焰的位置和大小，方法如下：
以轻量化网络MobileNetV3作为主干网络提取火灾图像特征；特征金字塔网络(FPN)部分采用自上而下和水平连接的金字塔结构，将高层的强语义特征与低层的高分辨率信息相融合；通道注意力和空间注意力模块应用于主干网络的残差层；
第三步，如果当前视频帧同时存在运动目标与火焰目标，则利用运动目标的外接矩形与火焰目标预测框进行综合判别；运动目标外接矩形记为M，火焰目标的预测框记为F，M与F的重叠度采用交并比衡量；对于当前视频帧中检测到的每个火焰目标，若存在一个运动目标使得它们满足交并比大于一定阈值的条件，则认为该火焰目标有效，进行火灾报警，否则认为该火焰目标无效。
附图说明
图1为本发明流程示意图；
图2为火灾检测网络的总体架构。
具体实施方式
基于视频监控平台的火灾检测方法，包括下列步骤：
第一步：从视频监控平台获取视频流信息，采用主码流的形式读取视频信息流到计算机，并将信息流转为视频帧图像的格式，每帧图像都调整到相同尺寸，供后续分析识别。采用运动前景检测算法对视频序列提取运动前景，通过图像滤波和形态学操作去除噪声干扰后，得到运动目标前景。
第二步，对存在运动目标的图像采用基于深度学习的目标检测算法进行分析，提取图像特征，预测火焰目标的位置和大小，得到火焰目标预测框。算法具体实现如下：
火灾识别采用基于无锚框的目标检测算法，因为它更适合多变且特征丰富的火灾图像。轻量化网络MobileNetV3作为主干网络提取火灾图像特征。特征金字塔网络(FPN)部分采用自上而下和水平连接的金字塔结构，有效地将高层的强语义特征与低层的高分辨率信息相融合。C3、C4和C5分别表示主干网络中下采样步长为8、16、32的特征层。P3、P4、P5、P6和P7表示特征金字塔部分。H×W是特征图的高度和宽度。检测头网络预测特征图上每个位置的分类概率、边界框回归和中心度得分。
第三步，如果当前视频帧同时存在运动目标与火焰目标，则利用运动目标的外接矩形与火焰目标预测框进行综合判别。运动目标外接矩形为M，火焰目标的预测框为F，采用交并比衡量M与F的重叠度。对于当前视频帧中检测到的每个火焰目标，若存在至少一个运动目标使得它们满足交并比大于一定阈值的条件，则认为该火焰目标有效，否则认为该火焰目标无效。若存在有效火焰目标，则进行火灾报警。
1)数据集和网络模型训练：由于目前尚无标注规范的公开火灾探测数据集，参考MSCOCO数据集格式创建一个具有丰富场景的火灾探测数据集。所述数据集中共有近14000幅图像。为了防止过拟合，在训练阶段对图像进行随机翻转和裁剪。使用随机梯度下降(SGD)优化器进行训练，初始学习率设为0.001。
2)针对火灾图像特点改进现有目标检测网络：网络架构采用无锚框设计，无锚框设计可以避免产生过多的超参数，提高目标检测网络的对无固定形态火焰的泛化性能。特征提取网络采用MobileNetV3网络，具有便于部署和检测速度快的优势。此外，通道注意力和空间注意力模块应用于主干网络的残差层，从而更有效地提取火焰通道和空间信息的特征。
3)视频图像采集和图像预处理：以主码流的形式从视频监控平台读取视频信息流，将视频信息流解码为YUV格式，再转为RGB格式图像，并进行归一化处理，统一处理成736*512分辨率大小，从而保证图像的清晰度可以满足检测需求，也有利于提高计算效率。
4)检测运动目标：对连续的视频序列采用ViBe算法进行运动前景检测，利用图像滤波和形态学操作去除图像中的噪声干扰，得到运动目标前景以及其外接矩形M。
5)检测火焰目标：将存在运动目标的实时视频图像输入训练好的目标检测网络中，输出高于置信度阈值的预测结果，即目标位置和大小。火焰目标的预测框记为F。
6)综合判别：若当前帧同时存在运动目标与火焰目标，则利用重叠度进行综合判别。对于每个火焰目标，若存在至少一个运动目标使得M与F的交并比大于0.3，则认为该火焰目标有效，否则该火焰目标视为无效。若存在有效火焰目标，则进行火灾报警。火灾检测流程如图2所示。
Claims (1)
1.一种基于视频监控平台的火灾检测方法，包括如下的步骤：
第一步，通过读取视频信息流，获取连续视频帧；采用运动前景检测算法对视频序列提取运动前景，通过图像滤波和形态学操作去除噪声干扰后，得到当前视频帧的运动前景及其外接矩形；
第二步，如果当前帧存在运动目标，采用基于深度学习的无锚框目标检测算法对当前帧图像进行分析，提取图像特征，预测图像中火焰的位置和大小，方法如下：
以轻量化网络MobileNetV3作为主干网络提取火灾图像特征；特征金字塔网络(FPN)部分采用自上而下和水平连接的金字塔结构，将高层的强语义特征与低层的高分辨率信息相融合；通道注意力和空间注意力模块应用于主干网络的残差层；
第三步，如果当前视频帧同时存在运动目标与火焰目标，则利用运动目标的外接矩形与火焰目标预测框进行综合判别；运动目标外接矩形记为M，火焰目标的预测框记为F，M与F的重叠度采用交并比衡量；对于当前视频帧中检测到的每个火焰目标，若存在一个运动目标使得它们满足交并比大于一定阈值的条件，则认为该火焰目标有效，进行火灾报警，否则认为该火焰目标无效。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210125909.4A CN114463681A (zh) | 2022-02-10 | 2022-02-10 | 一种基于视频监控平台的火灾检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210125909.4A CN114463681A (zh) | 2022-02-10 | 2022-02-10 | 一种基于视频监控平台的火灾检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114463681A true CN114463681A (zh) | 2022-05-10 |
Family
ID=81413916
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210125909.4A Pending CN114463681A (zh) | 2022-02-10 | 2022-02-10 | 一种基于视频监控平台的火灾检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114463681A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117315551A (zh) * | 2023-11-29 | 2023-12-29 | 深圳鲲云信息科技有限公司 | 用于火焰报警的方法及计算设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111259779A (zh) * | 2020-01-13 | 2020-06-09 | 南京大学 | 一种基于中心点轨迹预测的视频动作检测方法 |
| CN113052876A (zh) * | 2021-04-25 | 2021-06-29 | 合肥中科类脑智能技术有限公司 | 一种基于深度学习的视频接力跟踪方法及系统 |
| CN113378782A (zh) * | 2021-07-01 | 2021-09-10 | 应急管理部天津消防研究所 | 一种车载火灾识别与自动追踪方法 |
| CN113628245A (zh) * | 2021-07-12 | 2021-11-09 | 中国科学院自动化研究所 | 多目标跟踪方法、装置、电子设备和存储介质 |
| CN113657250A (zh) * | 2021-08-16 | 2021-11-16 | 南京图菱视频科技有限公司 | 一种基于监控视频的火焰检测方法及系统 |
-
2022
- 2022-02-10 CN CN202210125909.4A patent/CN114463681A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111259779A (zh) * | 2020-01-13 | 2020-06-09 | 南京大学 | 一种基于中心点轨迹预测的视频动作检测方法 |
| CN113052876A (zh) * | 2021-04-25 | 2021-06-29 | 合肥中科类脑智能技术有限公司 | 一种基于深度学习的视频接力跟踪方法及系统 |
| CN113378782A (zh) * | 2021-07-01 | 2021-09-10 | 应急管理部天津消防研究所 | 一种车载火灾识别与自动追踪方法 |
| CN113628245A (zh) * | 2021-07-12 | 2021-11-09 | 中国科学院自动化研究所 | 多目标跟踪方法、装置、电子设备和存储介质 |
| CN113657250A (zh) * | 2021-08-16 | 2021-11-16 | 南京图菱视频科技有限公司 | 一种基于监控视频的火焰检测方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 张涛等: "基于关键点的遥感图像舰船目标检测", 《系统工程与电子技术》, 17 December 2021 (2021-12-17) * |
| 陈伟骏;周长胜;黄宏博;彭帅;崇美英;: "基于卷积神经网络的目标检测算法综述", 北京信息科技大学学报(自然科学版), no. 02, 15 April 2020 (2020-04-15) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117315551A (zh) * | 2023-11-29 | 2023-12-29 | 深圳鲲云信息科技有限公司 | 用于火焰报警的方法及计算设备 |
| CN117315551B (zh) * | 2023-11-29 | 2024-03-19 | 深圳鲲云信息科技有限公司 | 用于火焰报警的方法及计算设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020173226A1 (zh) | 一种时空行为检测方法 | |
| CN110428522B (zh) | 一种智慧新城的智能安防系统 | |
| CN112287816B (zh) | 一种基于深度学习的危险工作区事故自动检测报警方法 | |
| CN111091072A (zh) | 一种基于YOLOv3的火焰及浓烟检测方法 | |
| DK2377044T3 (en) | DETECTING ANORMAL EVENTS USING A LONG TIME MEMORY IN A VIDEO ANALYSIS SYSTEM | |
| CN106571014A (zh) | 一种在视频中识别异常动作的方法和系统 | |
| Lin et al. | Learning to detect anomaly events in crowd scenes from synthetic data | |
| KR102521726B1 (ko) | 화재 확산 방향을 예측할 수 있는 인공지능 기반의 화재 감지 시스템 및 그 화재 확산 방향 예측 방법 | |
| CN112836657B (zh) | 一种基于轻量化YOLOv3的行人检测方法及系统 | |
| CN105678730A (zh) | 一种基于图像识别的相机移动自检测方法 | |
| CN110852179B (zh) | 基于视频监控平台的可疑人员入侵的检测方法 | |
| CN111046728A (zh) | 一种基于特征金字塔网络的秸秆燃烧检测方法 | |
| CN112084928A (zh) | 基于视觉注意力机制和ConvLSTM网络的道路交通事故检测方法 | |
| CN113963301A (zh) | 一种时空特征融合的视频火灾烟雾探测方法及系统 | |
| CN114202803A (zh) | 一种基于残差网络的多阶段人体异常动作检测方法 | |
| CN114463681A (zh) | 一种基于视频监控平台的火灾检测方法 | |
| Yandouzi et al. | Investigation of combining deep learning object recognition with drones for forest fire detection and monitoring | |
| CN111898440B (zh) | 一种基于三维卷积神经网络的山火检测方法 | |
| Luo | Research on fire detection based on YOLOv5 | |
| CN110852174A (zh) | 一种基于视频监控的早期烟雾检测方法 | |
| CN111832450B (zh) | 基于图像识别的持刀检测方法 | |
| CN113191273A (zh) | 基于神经网络的油田井场视频目标检测与识别方法及系统 | |
| CN112488213A (zh) | 一种基于多尺度特征学习网络的火灾图片分类方法 | |
| CN116994209A (zh) | 基于人工智能的图像数据处理系统及其方法 | |
| Altowairqi et al. | A Review of the Recent Progress on Crowd Anomaly Detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |