CN112329549A - 一种用于水电厂区的火焰识别方法 - Google Patents

一种用于水电厂区的火焰识别方法 Download PDF

Info

Publication number
CN112329549A
CN112329549A CN202011107574.0A CN202011107574A CN112329549A CN 112329549 A CN112329549 A CN 112329549A CN 202011107574 A CN202011107574 A CN 202011107574A CN 112329549 A CN112329549 A CN 112329549A
Authority
CN
China
Prior art keywords
flame
area
picture
power plant
moving target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011107574.0A
Other languages
English (en)
Inventor
严映峰
蒋敏
靳帅
郭司亮
江杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guodian Dadu River Zhentouba Power Generation Co ltd
Original Assignee
Guodian Dadu River Zhentouba Power Generation Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guodian Dadu River Zhentouba Power Generation Co ltd filed Critical Guodian Dadu River Zhentouba Power Generation Co ltd
Priority to CN202011107574.0A priority Critical patent/CN112329549A/zh
Publication of CN112329549A publication Critical patent/CN112329549A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06Energy or water supply
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00Fire alarms; Alarms responsive to explosion
    • G08B17/12Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
    • G08B17/125Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种用于水电厂区的火焰识别方法,包括:S10、实时获取水电厂区内各个摄像头的视频流,利用KNN背景建模,对运动目标检测,并提取运动目标区域存储为区域图片;S20、对提取的运动目标区域的区域图片进行图像缩放处理,输入火焰分类模型,判断其是否为火焰,若是,则发出火焰报警;其中,所述火焰分类模型由轻量级神经网络MobileNetV3对预先收集的火焰数据进行火焰特征深度学习后获得。该方法不需要对每帧图进行检测,火焰分类的样本数据不必依赖厂区背景因此容易收集,此方法能准确检测大、小火焰,精确率高、召回率高,速度快。

Description

一种用于水电厂区的火焰识别方法
技术领域
本发明涉及水电站安全监测技术,具体地讲,是涉及一种用于水电厂区的火焰识别方法。
背景技术
水电厂区内通常会安装很多摄像头,用于安防监控,由相关工作人员值守,并由工作人员去实时监控发现问题,及时报警。由于摄像头多,视频多,人工去看实时视频发现问题显得效率低,而且长时间人员视觉容易疲劳,突发事件可能没及时发现或遗漏,造成损失。
其中火源火焰是可能危及水电厂区生产运行安全的一个重要因素。现有技术有基于火焰的特征如频闪、尖角、圆形度、颜色、闪烁移动等特征融合的方法,但这种传统方法需要人工去定义火焰的特征,容易受到外部环境如光照、人员走动、图片背景等的干扰,而且容易遗漏,召回率较低,而对于水电场景下要求火焰检测精确率高、召回率高,发生火警一定要及时报出,不能遗漏,这种传统提取火焰特征的方法就有很大局限性。也有基于深度学习的火焰目标检测方法,针对视频中的每一帧图像进行目标检测,这种方法要求足够多的样本进行训练,但水电厂的火焰样本非常少;再加上视频图片尺寸较大,监控拍摄存在一定距离,火焰有时在图像中面积占比较小,而基于深度学习的目标检测往往对小目标的检测准确率不高;另外对每一帧都进行目标检测,资源消耗大。还有基于视频流的运动目标检测加火焰特征识别的方法,虽然减少了不必要的检测,但使用传统图像特征漏检多,厂区内人员走动,与火焰特征相似的安全帽或服装等都容易造成误判。
发明内容
针对上述现有技术中的上述问题,本发明提供一种精确率高、召回率高的用于水电厂区的火焰识别方法。
为了实现上述目的,本发明采用的技术方案如下:
一种用于水电厂区的火焰识别方法,包括以下步骤:
S10、实时获取水电厂区内各个摄像头的视频流,利用KNN背景建模,对运动目标检测,并提取运动目标区域存储为区域图片;其中,KNN是指K Nearest Neighbors算法;
S20、对提取的运动目标区域的区域图片进行图像缩放处理,输入火焰分类模型,判断其是否为火焰,若是,则发出火焰报警;
其中,所述火焰分类模型由轻量级神经网络MobileNetV3对预先收集的火焰数据进行火焰特征深度学习后获得。
具体地,所述步骤S10具体包括:
S11、实时获取水电厂区内各个摄像头的视频流;
S12、采用OPENCV2软件的createBackgroundSubtractorKNN函数,通过设置训练的帧数、阴影检测获得背景,再计算获得当前图片的前景掩码;
S13、对前景区域二值化,将非白色的非前景区域均设置为0,白色的前景区域设置为255;
S14、对二值化后的前景区域进行图像形态上的处理,通过腐蚀、膨胀操作,消除噪声;
S15、对二值化后的图片利用cv2.findContours函数获得矩形轮廓坐标,该获得的矩形轮廓对象即为图片中的运动目标;
S16、根据矩形轮廓坐标从原图中提取对应的矩形区域,形成运动目标区域的区域图片。
所述步骤S12中,训练的帧数为15-30帧。
所述步骤S13中,定义非白色的像素值为0-244,白色的像素值为244-255。
所述步骤S16中,提取出矩形区域的图片后,先根据该图片的宽高对图片周围进行填充,使用像素值为0的黑色进行填充,然后将其缩放为指定尺寸,形式所述区域图片。
所述指定尺寸为(200~240)*(200~240)像素点。
并且,所述获得区域图片后,对应视频流将其以矩阵形式存储。
具体地,所述火焰分类模型建立时,预先收集大量的任何环境下的火焰数据,将其中80%的火焰数据组成训练数据集,剩余的火焰数据作为测试数据集。
具体地,所述轻量级神经网络MobileNetV3采用h-swish激活函数进行训练:
Figure BDA0002727470620000031
其损失函数采用交叉熵损失函数,公式如下:
Figure BDA0002727470620000032
该式中,p表示真实值,是one-hot向量形式,q是预测值并且q是经过softmax函数处理后的值;
根据预先收集的火焰数据进行深度学习训练后,确定出该火焰分类模型。
与现有技术相比,本发明具有以下有益效果:
本发明对于水电厂区实时提取的视频流,先利用KNN背景建模,做运动目标检测,完成初筛,如有运动目标提取运动目标区域,然后对运动目标进行深度学习图片分类,判断其是否为火焰,本发明方法不需要对每帧图进行检测,火焰分类的样本数据不必依赖水电厂区背景因此容易收集,此方法能准确检测大、小火焰,精确率高、召回率高,速度快。
附图说明
图1为本发明-实施例的流程示意图。
图2为本发明-实施例中运动目标检测的流程示意图。
图3为本发明-实施例中火焰分类模型训练流程图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明,本发明的实施方式包括但不限于下列实施例。
实施例
如图1至图3所示,该用于水电厂区的火焰识别方法,包括以下步骤:
S10、实时获取水电厂区内各个摄像头的视频流,利用KNN背景建模,对运动目标检测,并提取运动目标区域存储为区域图片;
S11、读取视频:实时获取水电厂区内各个摄像头的视频流;
S12、背景建模,计算前景掩码:采用OPENCV2软件的createBackgroundSubtractorKNN函数,通过设置训练的帧数、阴影检测获得背景,再计算获得当前图片的前景掩码;其中,训练的帧数为15-30帧,可优选为20帧;
S13、对前景区域二值化:将非白色的非前景区域均设置为0,白色的前景区域设置为255;其中,非白色的像素值为0-244,白色的像素值为244-255,所述非前景区域包含背景及阴影;
S14、形态学处理:对二值化后的前景区域进行图像形态上的处理,通过腐蚀、膨胀操作,消除噪声;
S15、获得轮廓坐标:对二值化后的图片利用cv2.findContours函数获得矩形轮廓坐标,该获得的矩形轮廓对象即为图片中的运动目标;
S16、轮廓区域处理:根据矩形轮廓坐标从原图中提取对应的矩形区域,该区域是一张图片,为保证图片缩放不变型,先根据该图片的宽高对图片周围进行填充,使用像素值为0的黑色进行填充,然后将其缩放为指定尺寸,如(200~240)*(200~240)像素点,形成运动目标区域的区域图片;并对应视频流将其以矩阵形式存储。
S20、对提取的运动目标区域的区域图片进行图像缩放处理,输入火焰分类模型,判断其是否为火焰,若是,则发出火焰报警。由于输入的运动目标区域是原图中的一部分,尺寸较小,不需要专门水电厂内的火焰数据集,任何环境下的火焰数据集都有效,因此数据集更容易收集,同时相较于传统基于特征的火焰分类方法,深度学习能更好的提取火焰特征,识别精度高。
其中,预先收集大量的任何环境下的火焰数据,将其中80%的火焰数据组成训练数据集,剩余的火焰数据作为测试数据集;
所述火焰分类模型由轻量级神经网络MobileNetV3对预先收集的火焰数据进行火焰特征深度学习后获得。
具体地,所述轻量级神经网络MobileNetV3采用h-swish激活函数进行训练:
Figure BDA0002727470620000051
其损失函数采用交叉熵损失函数,公式如下:
Figure BDA0002727470620000052
该式中,p表示真实值,是one-hot向量形式,q是预测值并且q是经过softmax函数处理后的值;
根据预先收集的火焰数据进行深度学习训练后,确定出该火焰分类模型。
测试中,共收集到火焰19620张,非火焰41060张,分别从火焰和非火焰集中选取80%组成训练数据集,其余作为测试数据集。MobileNetV3网络训练后,利用测试数据集对模型进行测试,精确率达到99.9%,召回率为95%。
上述实施例仅为本发明的优选实施例,并非对本发明保护范围的限制,但凡采用本发明的设计原理,以及在此基础上进行非创造性劳动而做出的变化,均应属于本发明的保护范围之内。

Claims (9)

1.一种用于水电厂区的火焰识别方法,其特征在于,包括以下步骤:
S10、实时获取水电厂区内各个摄像头的视频流,利用KNN背景建模,对运动目标检测,并提取运动目标区域存储为区域图片;
S20、对提取的运动目标区域的区域图片进行图像缩放处理,输入火焰分类模型,判断其是否为火焰,若是,则发出火焰报警;
其中,所述火焰分类模型由轻量级神经网络MobileNetV3对预先收集的火焰数据进行火焰特征深度学习后获得。
2.根据权利要求1所述的用于水电厂区的火焰识别方法,其特征在于,所述步骤S10具体包括:
S11、实时获取水电厂区内各个摄像头的视频流;
S12、采用OPENCV2软件的createBackgroundSubtractorKNN函数,通过设置训练的帧数、阴影检测获得背景,再计算获得当前图片的前景掩码;
S13、对前景区域二值化,将非白色的非前景区域均设置为0,白色的前景区域设置为255;
S14、对二值化后的前景区域进行图像形态上的处理,通过腐蚀、膨胀操作,消除噪声;
S15、对二值化后的图片利用cv2.findContours函数获得矩形轮廓坐标,该获得的矩形轮廓对象即为图片中的运动目标;
S16、根据矩形轮廓坐标从原图中提取对应的矩形区域,形成运动目标区域的区域图片。
3.根据权利要求2所述的用于水电厂区的火焰识别方法,其特征在于,所述步骤S12中,训练的帧数为15-30帧。
4.根据权利要求2所述的用于水电厂区的火焰识别方法,其特征在于,所述步骤S13中,定义非白色的像素值为0-244,白色的像素值为244-255。
5.根据权利要求2所述的用于水电厂区的火焰识别方法,其特征在于,所述步骤S16中,提取出矩形区域的图片后,先根据该图片的宽高对图片周围进行填充,使用像素值为0的黑色进行填充,然后将其缩放为指定尺寸,形式所述区域图片。
6.根据权利要求5所述的用于水电厂区的火焰识别方法,其特征在于,所述指定尺寸为(200~240)*(200~240)像素点。
7.根据权利要求4所述的用于水电厂区的火焰识别方法,其特征在于,所述获得区域图片后,对应视频流将其以矩阵形式存储。
8.根据权利要求1~7任一项所述的用于水电厂区的火焰识别方法,其特征在于,所述火焰分类模型建立时,预先收集大量的任何环境下的火焰数据,将其中80%的火焰数据组成训练数据集,剩余的火焰数据作为测试数据集。
9.根据权利要求8所述的用于水电厂区的火焰识别方法,其特征在于,所述轻量级神经网络MobileNetV3采用h-swish激活函数进行训练:
Figure FDA0002727470610000021
其损失函数采用交叉熵损失函数,公式如下:
Figure FDA0002727470610000022
该式中,p表示真实值,是one-hot向量形式,q是预测值并且q是经过softmax函数处理后的值;
根据预先收集的火焰数据进行深度学习训练后,确定出该火焰分类模型。
CN202011107574.0A 2020-10-16 2020-10-16 一种用于水电厂区的火焰识别方法 Pending CN112329549A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011107574.0A CN112329549A (zh) 2020-10-16 2020-10-16 一种用于水电厂区的火焰识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011107574.0A CN112329549A (zh) 2020-10-16 2020-10-16 一种用于水电厂区的火焰识别方法

Publications (1)

Publication Number Publication Date
CN112329549A true CN112329549A (zh) 2021-02-05

Family

ID=74313944

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011107574.0A Pending CN112329549A (zh) 2020-10-16 2020-10-16 一种用于水电厂区的火焰识别方法

Country Status (1)

Country Link
CN (1) CN112329549A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090315722A1 (en) * 2008-06-20 2009-12-24 Billy Hou Multi-wavelength video image fire detecting system
CN105788142A (zh) * 2016-05-11 2016-07-20 中国计量大学 一种基于视频图像处理的火灾检测系统及检测方法
CN108052865A (zh) * 2017-07-06 2018-05-18 同济大学 一种基于卷积神经网络和支持向量机的火焰检测方法
CN111310662A (zh) * 2020-02-17 2020-06-19 淮阴工学院 一种基于集成深度网络的火焰检测识别方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090315722A1 (en) * 2008-06-20 2009-12-24 Billy Hou Multi-wavelength video image fire detecting system
CN105788142A (zh) * 2016-05-11 2016-07-20 中国计量大学 一种基于视频图像处理的火灾检测系统及检测方法
CN108052865A (zh) * 2017-07-06 2018-05-18 同济大学 一种基于卷积神经网络和支持向量机的火焰检测方法
CN111310662A (zh) * 2020-02-17 2020-06-19 淮阴工学院 一种基于集成深度网络的火焰检测识别方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
卢鹏 等: "复杂背景环境下基于SSD_MobileNet深度学习模型的火焰图像识别研究", 《火灾科学》, vol. 29, no. 3, pages 142 - 148 *

Similar Documents

Publication Publication Date Title
CN107194559B (zh) 一种基于三维卷积神经网络的工作流识别方法
CN107123131B (zh) 一种基于深度学习的运动目标检测方法
CN105096321B (zh) 一种基于图像边缘的低复杂度视频移动侦测方法
CN112396658B (zh) 一种基于视频的室内人员定位方法及定位系统
CN104966304A (zh) 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法
CN113239822A (zh) 基于时空双流卷积神经网络的危险行为检测方法及系统
CN110610150A (zh) 一种目标运动物体的跟踪方法、装置、计算设备和介质
CN103093198A (zh) 一种人群密度监测方法及装置
CN104811586A (zh) 场景变换视频智能分析方法、装置、网络摄像机及监控系统
CN113052876A (zh) 一种基于深度学习的视频接力跟踪方法及系统
CN108229524A (zh) 一种基于遥感图像的烟囱和冷凝塔检测方法
CN106023249A (zh) 一种基于局部二值相似性模式的运动目标检测方法
CN102663362A (zh) 一种基于灰度特征的运动目标检测方法
CN108830161B (zh) 基于视频流数据的烟雾识别方法
CN113658131A (zh) 一种基于机器视觉巡游式环锭纺断纱检测方法
CN114885119A (zh) 一种基于计算机视觉的智能监控报警系统及方法
CN107045630B (zh) 一种基于rgbd的行人检测和身份识别方法及系统
CN115311623A (zh) 一种基于红外热成像的设备漏油检测方法及系统
CN111460964A (zh) 一种广电传输机房低照度条件下运动目标检测方法
CN107729811B (zh) 一种基于场景建模的夜间火焰检测方法
Wu et al. Video surveillance object recognition based on shape and color features
KR102171384B1 (ko) 영상 보정 필터를 이용한 객체 인식 시스템 및 방법
CN116109954B (zh) 房屋安全隐患识别方法、装置及存储介质
CN112329549A (zh) 一种用于水电厂区的火焰识别方法
CN106603888A (zh) 图像颜色提取处理结构

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 614000 No. 1, No. 4 Binhe Road, Jinkouhe District, Leshan City, Sichuan Province

Applicant after: Guoneng Dadu River Zhentouba Power Generation Co.,Ltd.

Address before: 614000 No. 1, No. 4 Binhe Road, Jinkouhe District, Leshan City, Sichuan Province

Applicant before: GUODIAN DADU RIVER ZHENTOUBA POWER GENERATION Co.,Ltd.

CB02 Change of applicant information