CN110991242A - 一种负样本挖掘的深度学习烟雾识别方法 - Google Patents
一种负样本挖掘的深度学习烟雾识别方法 Download PDFInfo
- Publication number
- CN110991242A CN110991242A CN201911057852.3A CN201911057852A CN110991242A CN 110991242 A CN110991242 A CN 110991242A CN 201911057852 A CN201911057852 A CN 201911057852A CN 110991242 A CN110991242 A CN 110991242A
- Authority
- CN
- China
- Prior art keywords
- smoke
- negative sample
- neural network
- data set
- identification method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
- G06V20/38—Outdoor scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种负样本挖掘的深度学习烟雾识别方法,包括:收集烟雾场景图像集,从烟雾场景图像集中提取出多个烟雾模板;将检测分类为有烟雾的无烟雾图像作为负样本;将烟雾模板融合到负样本图像中能产生烟雾的区域,生成负样本挖掘的烟雾数据集;将负样本挖掘的烟雾数据集与烟雾场景图像集合并,形成烟雾数据集;采用烟雾数据集训练烟雾检测神经网络模型,将训练得到的烟雾检测神经网络模型用于对场景图像进行烟雾检测。本发明的烟雾识别方法准确率高,鲁棒性好;采用少量样本进行训练即能保证烟雾识别的准确率,又解决了样本不充足的问题。
Description
技术领域
本发明属于烟雾检测领域,具体涉及一种负样本挖掘的深度学习烟雾识别方法。
背景技术
秸秆的露天焚烧属于低温焚烧,燃烧不完全,其烟气中含有大量的一氧化碳、二氧化碳、氮氧化物、光化学氧化剂和悬浮颗粒物等造成大气污染,且会在一定程度上加重雾霾的发生。
计算机视觉技术飞速发展,计算机能够识别的场景越来越多,因此越来越多的场合开始使用基于视频分析的检测技术。近年来,出现了基于视频分析的烟雾检测方法。公开号为CN109977790A的中国专利“一种基于迁移学习的视频烟雾检测与识别方法”公开的烟雾检测方法,使用了迁移学习的方法,可能会产生欠适配和负迁移等问题对模型的性能产生影响,且需要大量样本进行训练,样本不充足时烟雾检测方法的准确率难以保证。
发明内容
本发明的技术问题是现有的采用神经网络的烟雾识别模型性能不佳,误报率高,依赖大量的训练样本,样本不充足时烟雾检测方法的准确率难以保证。
本发明的目的是解决上述问题,提供一种负样本挖掘的深度学习烟雾识别方法,将检测出错的识别为有烟雾的无烟雾图像作为负样本,将烟雾模板融合到负样本中的能产生烟雾的区域,形成负样本挖掘的烟雾数据集,再对烟雾检测神经网络模型进行训练,提高烟雾检测神经网络模型的识别准确率,在样本不充足的情况下降低烟雾检测神经网络模型的误报率。
本发明的技术方案是一种负样本挖掘的深度学习烟雾识别方法,包括以下步骤,
步骤1:收集烟雾场景图像集,从烟雾场景图像集中提取出多个烟雾模板;
步骤2:训练烟雾检测神经网络模型,对场景数据集进行烟雾检测分类,将检测分类为有烟雾的无烟雾图像作为负样本;
步骤3:将烟雾模板融合到负样本图像中能产生烟雾的区域,生成负样本挖掘的烟雾数据集;
步骤4:将负样本挖掘的烟雾数据集与烟雾场景图像集合并,形成烟雾数据集;
步骤5:采用烟雾数据集训练烟雾检测神经网络模型,将训练得到的烟雾检测神经网络模型用于实时烟雾检测。
进一步地,所述烟雾检测神经网络模型采用Faster R-CNN深度神经网络。
优选地,所述烟雾检测神经网络模型采用改进的Faster R-CNN深度神经网络,所述改进的Faster R-CNN深度神经网络将Faster R-CNN深度神经网络的13层卷积和13层RELU,精减为10层卷积层和10层RELU。
所述步骤3,对于每个负样本,从多个烟雾模板中随机抽取出一个烟雾模板,将烟雾模板的烟雾融合在负样本图像中可能产生烟雾的区域,可能产生烟雾的区域不包括河流、路面、池塘,融合了烟雾的负样本形成负样本挖掘的烟雾数据集。
优选地,所述烟雾模板为20个,包括底部小上方大的薄烟、透明度极低的浓烟。
相比现有技术,本发明的有益效果:
1)本发明的烟雾识别方法准确率高,鲁棒性好;
2)本发明的烟雾识别方法采用少量样本进行训练即能保证烟雾识别的准确率,解决了样本不充足的问题;
3)烟雾检测神经网络模型采用改进的Faster R-CNN深度神经网络,特征提取的效果没变,计算量大幅度变小。
附图说明
下面结合附图和实施例对本发明作进一步说明。
图1为负样本挖掘的深度学习烟雾识别方法的流程图。
图2为负样本图。
图3为融合了烟雾的负样本图。
图4为实施例一的改进的Faster R-CNN深度神经网络的结构示意图。
图5为实施例二的Faster R-CNN深度神经网络的结构示意图。
具体实施方式
实施例一
如图1所示,一种负样本挖掘的深度学习烟雾识别方法,包括以下步骤,
步骤1:收集烟雾场景图像集,从烟雾场景图像集中提取出20个烟雾模板,包括底部小上方大的薄烟、透明度极低的浓烟;
步骤2:采用改进的Faster R-CNN深度神经网络,建立烟雾检测神经网络模型并进行训练,对场景数据集进行烟雾检测分类,将检测分类为有烟雾的无烟雾图像作为负样本;
步骤3:将烟雾模板融合到负样本图像中能产生烟雾的区域,生成负样本挖掘的烟雾数据集;
步骤4:将负样本挖掘的烟雾数据集与烟雾场景图像集合并,形成烟雾数据集;
步骤5:采用烟雾数据集训练烟雾检测神经网络模型,将训练得到的烟雾检测神经网络模型用于实时烟雾检测。
步骤3中,对于每个负样本,从20个烟雾模板中随机抽取出一个烟雾模板,将烟雾模板的烟雾融合在负样本图像中可能产生烟雾的区域,可能产生烟雾的区域不包括河流、路面、池塘,融合了烟雾的负样本形成负样本挖掘的烟雾数据集。
步骤5中,将神经网络模型的初始学习率设置为0.001,将一次迭代样本数batch_size设置为256,迭代次数设置为20000,采用烟雾数据集对烟雾检测神经网络模型进行训练。
如图4所示,改进的Faster R-CNN深度神经网络将Faster R-CNN深度神经网络的13层卷积和13层RELU,精减为10层卷积层和10层RELU,精减后的模型包括10个卷积层,10个激励层和4个池化层,精减后的模型特征提取的效果没变,但是计算量大幅度变小。
本发明方法的采用负样本挖掘的烟雾数据集训练得到的烟雾检测神经网络模型相比不采用负样本训练的烟雾检测神经网络模型,误报率从53.4%降低为18.5%。
实施例二
如图1所示,一种负样本挖掘的深度学习烟雾识别方法,包括以下步骤,
步骤1:收集烟雾场景图像集,从烟雾场景图像集中提取出20个烟雾模板,包括底部小上方大的薄烟、透明度极低的浓烟;
步骤2:采用Faster R-CNN深度神经网络,建立烟雾检测神经网络模型并进行训练,对场景数据集进行烟雾检测分类,将检测分类为有烟雾的无烟雾图像作为负样本;
步骤3:将烟雾模板融合到负样本图像中能产生烟雾的区域,生成负样本挖掘的烟雾数据集;
步骤4:将负样本挖掘的烟雾数据集与烟雾场景图像集合并,形成烟雾数据集;
步骤5:采用烟雾数据集训练烟雾检测神经网络模型,将训练得到的烟雾检测神经网络模型用于实时烟雾检测。
步骤3中,对于每个负样本,从20个烟雾模板中随机抽取出一个烟雾模板,将烟雾模板的烟雾融合在负样本图像中可能产生烟雾的区域,可能产生烟雾的区域不包括河流、路面、池塘,融合了烟雾的负样本形成负样本挖掘的烟雾数据集。
烟雾检测神经网络模型的Faster R-CNN深度神经网络结构如图5所示。
步骤5中,将神经网络模型的初始学习率设置为0.001,将一次迭代样本数batch_size设置为256,迭代次数设置为20000,采用烟雾数据集对烟雾检测神经网络模型进行训练。
Claims (5)
1.一种负样本挖掘的深度学习烟雾识别方法,其特征在于,包括以下步骤,
步骤1:收集烟雾场景图像集,从烟雾场景图像集中提取出多个烟雾模板;
步骤2:训练烟雾检测神经网络模型,对场景数据集进行烟雾检测分类,将检测分类为有烟雾的无烟雾图像作为负样本;
步骤3:将烟雾模板融合到负样本图像中能产生烟雾的区域,生成负样本挖掘的烟雾数据集;
步骤4:将负样本挖掘的烟雾数据集与烟雾场景图像集合并,形成烟雾数据集;
步骤5:采用烟雾数据集训练烟雾检测神经网络模型,将训练得到的烟雾检测神经网络模型用于实时烟雾检测。
2.根据权利要求1所述的负样本挖掘的深度学习烟雾识别方法,其特征在于,所述烟雾检测神经网络模型采用Faster R-CNN深度神经网络。
3.根据权利要求1所述的负样本挖掘的深度学习烟雾识别方法,其特征在于,所述烟雾检测神经网络模型采用改进的Faster R-CNN深度神经网络,所述改进的Faster R-CNN深度神经网络将Faster R-CNN深度神经网络的13层卷积和13层RELU,精减为10层卷积层和10层RELU。
4.根据权利要求1所述的负样本挖掘的深度学习烟雾识别方法,其特征在于,所述步骤3,对于每个负样本,从多个烟雾模板中随机抽取出一个烟雾模板,将烟雾模板的烟雾融合在负样本图像中可能产生烟雾的区域,融合了烟雾的负样本形成负样本挖掘的烟雾数据集。
5.根据权利要求1-5任意一项所述的负样本挖掘的深度学习烟雾识别方法,其特征在于,所述烟雾模板为20个。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911057852.3A CN110991242B (zh) | 2019-11-01 | 2019-11-01 | 一种负样本挖掘的深度学习烟雾识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911057852.3A CN110991242B (zh) | 2019-11-01 | 2019-11-01 | 一种负样本挖掘的深度学习烟雾识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110991242A true CN110991242A (zh) | 2020-04-10 |
CN110991242B CN110991242B (zh) | 2023-02-21 |
Family
ID=70082849
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911057852.3A Active CN110991242B (zh) | 2019-11-01 | 2019-11-01 | 一种负样本挖掘的深度学习烟雾识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110991242B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113128422A (zh) * | 2021-04-23 | 2021-07-16 | 重庆市海普软件产业有限公司 | 一种深度神经网络的图像烟火检测方法及系统 |
CN113378953A (zh) * | 2021-06-22 | 2021-09-10 | 徐州才聚智能科技有限公司 | 火灾检测模型的训练样本制作方法、装置、设备及介质 |
CN113869164A (zh) * | 2021-09-18 | 2021-12-31 | 的卢技术有限公司 | 一种基于深度学习的烟雾检测方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140294271A1 (en) * | 2013-03-29 | 2014-10-02 | Case Western Reserve University | Image Similarity-Based Finite Element Model Registration |
CN108564030A (zh) * | 2018-04-12 | 2018-09-21 | 广州飒特红外股份有限公司 | 面向车载热成像行人检测的分类器训练方法和装置 |
CN109522819A (zh) * | 2018-10-29 | 2019-03-26 | 西安交通大学 | 一种基于深度学习的火灾图像识别方法 |
CN109977790A (zh) * | 2019-03-04 | 2019-07-05 | 浙江工业大学 | 一种基于迁移学习的视频烟雾检测与识别方法 |
WO2019149071A1 (zh) * | 2018-01-30 | 2019-08-08 | 华为技术有限公司 | 目标检测的方法、装置及系统 |
CN110163053A (zh) * | 2018-08-02 | 2019-08-23 | 腾讯科技(深圳)有限公司 | 生成人脸识别的负样本的方法、装置及计算机设备 |
-
2019
- 2019-11-01 CN CN201911057852.3A patent/CN110991242B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140294271A1 (en) * | 2013-03-29 | 2014-10-02 | Case Western Reserve University | Image Similarity-Based Finite Element Model Registration |
WO2019149071A1 (zh) * | 2018-01-30 | 2019-08-08 | 华为技术有限公司 | 目标检测的方法、装置及系统 |
CN108564030A (zh) * | 2018-04-12 | 2018-09-21 | 广州飒特红外股份有限公司 | 面向车载热成像行人检测的分类器训练方法和装置 |
CN110163053A (zh) * | 2018-08-02 | 2019-08-23 | 腾讯科技(深圳)有限公司 | 生成人脸识别的负样本的方法、装置及计算机设备 |
CN109522819A (zh) * | 2018-10-29 | 2019-03-26 | 西安交通大学 | 一种基于深度学习的火灾图像识别方法 |
CN109977790A (zh) * | 2019-03-04 | 2019-07-05 | 浙江工业大学 | 一种基于迁移学习的视频烟雾检测与识别方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113128422A (zh) * | 2021-04-23 | 2021-07-16 | 重庆市海普软件产业有限公司 | 一种深度神经网络的图像烟火检测方法及系统 |
CN113128422B (zh) * | 2021-04-23 | 2024-03-29 | 重庆市海普软件产业有限公司 | 一种深度神经网络的图像烟火检测方法及系统 |
CN113378953A (zh) * | 2021-06-22 | 2021-09-10 | 徐州才聚智能科技有限公司 | 火灾检测模型的训练样本制作方法、装置、设备及介质 |
CN113869164A (zh) * | 2021-09-18 | 2021-12-31 | 的卢技术有限公司 | 一种基于深度学习的烟雾检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110991242B (zh) | 2023-02-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110991242B (zh) | 一种负样本挖掘的深度学习烟雾识别方法 | |
CN108804608B (zh) | 一种基于层次attention的微博谣言立场检测方法 | |
Gu et al. | Vision-based monitoring of flare soot | |
CN103984943B (zh) | 一种基于贝叶斯概率框架的场景文本识别方法 | |
CN106599133B (zh) | 一种基于草图交互的监控视频可视分析方法 | |
CN105608454A (zh) | 基于文字结构部件检测神经网络的文字检测方法及系统 | |
CN106127222B (zh) | 一种基于视觉的字符串相似度计算方法及相似性判断方法 | |
CN103699874A (zh) | 基于surf流和lle稀疏表示的人群异常行为识别方法 | |
Rong et al. | Scene text recognition in multiple frames based on text tracking | |
CN113723330A (zh) | 一种图表文档信息理解的方法及系统 | |
Khan et al. | Text non-text classification based on area occupancy of equidistant pixels | |
CN110826559B (zh) | 基于视觉感知的火炬烟尘监测方法 | |
CN109241315B (zh) | 一种基于深度学习的快速人脸检索方法 | |
Chen et al. | Fresh tea sprouts detection via image enhancement and fusion SSD | |
Bi et al. | HGR-Net: Hierarchical graph reasoning network for arbitrary shape scene text detection | |
CN102609727A (zh) | 基于无量纲特征提取的火灾火焰检测方法 | |
CN113792811B (zh) | 一种基于混沌特性分析的火焰燃烧稳定性识别方法 | |
CN113128461B (zh) | 基于人体关键点挖掘全尺度特征的行人重识别性能提升方法 | |
CN110298377A (zh) | 基于深层人工神经网络的数字图像中烟火检测方法 | |
Qiu et al. | A Post-processing method for text detection based on geometric features | |
Fan et al. | BURSTS: A bottom-up approach for robust spotting of texts in scenes | |
Mosannafat et al. | Farsi text detection and localization in videos and images | |
CN103902905B (zh) | 基于软件结构聚类的恶意代码生成器识别方法及系统 | |
CN111125699B (zh) | 基于深度学习的恶意程序可视化检测方法 | |
CN110705462B (zh) | 基于Hadoop的分布式视频关键帧提取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |