CN110991242B - 一种负样本挖掘的深度学习烟雾识别方法 - Google Patents

一种负样本挖掘的深度学习烟雾识别方法 Download PDF

Info

Publication number
CN110991242B
CN110991242B CN201911057852.3A CN201911057852A CN110991242B CN 110991242 B CN110991242 B CN 110991242B CN 201911057852 A CN201911057852 A CN 201911057852A CN 110991242 B CN110991242 B CN 110991242B
Authority
CN
China
Prior art keywords
smoke
negative sample
neural network
data set
layers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911057852.3A
Other languages
English (en)
Other versions
CN110991242A (zh
Inventor
姜明华
马佩
余锋
周昌龙
宋坤芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Textile University
Original Assignee
Wuhan Textile University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Textile University filed Critical Wuhan Textile University
Priority to CN201911057852.3A priority Critical patent/CN110991242B/zh
Publication of CN110991242A publication Critical patent/CN110991242A/zh
Application granted granted Critical
Publication of CN110991242B publication Critical patent/CN110991242B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/38—Outdoor scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种负样本挖掘的深度学习烟雾识别方法，包括：收集烟雾场景图像集，从烟雾场景图像集中提取出多个烟雾模板；将检测分类为有烟雾的无烟雾图像作为负样本；将烟雾模板融合到负样本图像中能产生烟雾的区域，生成负样本挖掘的烟雾数据集；将负样本挖掘的烟雾数据集与烟雾场景图像集合并，形成烟雾数据集；采用烟雾数据集训练烟雾检测神经网络模型，将训练得到的烟雾检测神经网络模型用于对场景图像进行烟雾检测。本发明的烟雾识别方法准确率高，鲁棒性好；采用少量样本进行训练即能保证烟雾识别的准确率，又解决了样本不充足的问题。

Description

一种负样本挖掘的深度学习烟雾识别方法
技术领域
本发明属于烟雾检测领域，具体涉及一种负样本挖掘的深度学习烟雾识别方法。
背景技术
秸秆的露天焚烧属于低温焚烧，燃烧不完全，其烟气中含有大量的一氧化碳、二氧化碳、氮氧化物、光化学氧化剂和悬浮颗粒物等造成大气污染，且会在一定程度上加重雾霾的发生。
计算机视觉技术飞速发展，计算机能够识别的场景越来越多，因此越来越多的场合开始使用基于视频分析的检测技术。近年来，出现了基于视频分析的烟雾检测方法。公开号为CN109977790A的中国专利“一种基于迁移学习的视频烟雾检测与识别方法”公开的烟雾检测方法，使用了迁移学习的方法，可能会产生欠适配和负迁移等问题对模型的性能产生影响，且需要大量样本进行训练，样本不充足时烟雾检测方法的准确率难以保证。
发明内容
本发明的技术问题是现有的采用神经网络的烟雾识别模型性能不佳，误报率高，依赖大量的训练样本，样本不充足时烟雾检测方法的准确率难以保证。
本发明的目的是解决上述问题，提供一种负样本挖掘的深度学习烟雾识别方法，将检测出错的识别为有烟雾的无烟雾图像作为负样本，将烟雾模板融合到负样本中的能产生烟雾的区域，形成负样本挖掘的烟雾数据集，再对烟雾检测神经网络模型进行训练，提高烟雾检测神经网络模型的识别准确率，在样本不充足的情况下降低烟雾检测神经网络模型的误报率。
本发明的技术方案是一种负样本挖掘的深度学习烟雾识别方法，包括以下步骤，
步骤1：收集烟雾场景图像集，从烟雾场景图像集中提取出多个烟雾模板；
步骤2：训练烟雾检测神经网络模型，对场景数据集进行烟雾检测分类，将检测分类为有烟雾的无烟雾图像作为负样本；
步骤3：将烟雾模板融合到负样本图像中能产生烟雾的区域，生成负样本挖掘的烟雾数据集；
步骤4：将负样本挖掘的烟雾数据集与烟雾场景图像集合并，形成烟雾数据集；
步骤5：采用烟雾数据集训练烟雾检测神经网络模型，将训练得到的烟雾检测神经网络模型用于实时烟雾检测。
进一步地，所述烟雾检测神经网络模型采用Faster R-CNN深度神经网络。
优选地，所述烟雾检测神经网络模型采用改进的Faster R-CNN深度神经网络，所述改进的Faster R-CNN深度神经网络将Faster R-CNN深度神经网络的13层卷积和13层RELU，精减为10层卷积层和10层RELU。
所述步骤3，对于每个负样本，从多个烟雾模板中随机抽取出一个烟雾模板，将烟雾模板的烟雾融合在负样本图像中可能产生烟雾的区域，可能产生烟雾的区域不包括河流、路面、池塘，融合了烟雾的负样本形成负样本挖掘的烟雾数据集。
优选地，所述烟雾模板为20个，包括底部小上方大的薄烟、透明度极低的浓烟。
相比现有技术，本发明的有益效果：
1）本发明的烟雾识别方法准确率高，鲁棒性好；
2）本发明的烟雾识别方法采用少量样本进行训练即能保证烟雾识别的准确率，解决了样本不充足的问题；
3）烟雾检测神经网络模型采用改进的Faster R-CNN深度神经网络，特征提取的效果没变，计算量大幅度变小。
附图说明
下面结合附图和实施例对本发明作进一步说明。
图1为负样本挖掘的深度学习烟雾识别方法的流程图。
图2为负样本图。
图3为融合了烟雾的负样本图。
图4为实施例一的改进的Faster R-CNN深度神经网络的结构示意图。
图5为实施例二的Faster R-CNN深度神经网络的结构示意图。
具体实施方式
实施例一
如图1所示，一种负样本挖掘的深度学习烟雾识别方法，包括以下步骤，
步骤1：收集烟雾场景图像集，从烟雾场景图像集中提取出20个烟雾模板，包括底部小上方大的薄烟、透明度极低的浓烟；
步骤2：采用改进的Faster R-CNN深度神经网络，建立烟雾检测神经网络模型并进行训练，对场景数据集进行烟雾检测分类，将检测分类为有烟雾的无烟雾图像作为负样本；
步骤3：将烟雾模板融合到负样本图像中能产生烟雾的区域，生成负样本挖掘的烟雾数据集；
步骤4：将负样本挖掘的烟雾数据集与烟雾场景图像集合并，形成烟雾数据集；
步骤5：采用烟雾数据集训练烟雾检测神经网络模型，将训练得到的烟雾检测神经网络模型用于实时烟雾检测。
步骤3中，对于每个负样本，从20个烟雾模板中随机抽取出一个烟雾模板，将烟雾模板的烟雾融合在负样本图像中可能产生烟雾的区域，可能产生烟雾的区域不包括河流、路面、池塘，融合了烟雾的负样本形成负样本挖掘的烟雾数据集。
步骤5中，将神经网络模型的初始学习率设置为0.001，将一次迭代样本数batch_size设置为256，迭代次数设置为20000，采用烟雾数据集对烟雾检测神经网络模型进行训练。
如图4所示，改进的Faster R-CNN深度神经网络将Faster R-CNN深度神经网络的13层卷积和13层RELU，精减为10层卷积层和10层RELU，精减后的模型包括10个卷积层，10个激励层和4个池化层，精减后的模型特征提取的效果没变，但是计算量大幅度变小。
本发明方法的采用负样本挖掘的烟雾数据集训练得到的烟雾检测神经网络模型相比不采用负样本训练的烟雾检测神经网络模型，误报率从53.4%降低为18.5%。
实施例二
如图1所示，一种负样本挖掘的深度学习烟雾识别方法，包括以下步骤，
步骤1：收集烟雾场景图像集，从烟雾场景图像集中提取出20个烟雾模板，包括底部小上方大的薄烟、透明度极低的浓烟；
步骤2：采用Faster R-CNN深度神经网络，建立烟雾检测神经网络模型并进行训练，对场景数据集进行烟雾检测分类，将检测分类为有烟雾的无烟雾图像作为负样本；
步骤3：将烟雾模板融合到负样本图像中能产生烟雾的区域，生成负样本挖掘的烟雾数据集；
步骤4：将负样本挖掘的烟雾数据集与烟雾场景图像集合并，形成烟雾数据集；
步骤5：采用烟雾数据集训练烟雾检测神经网络模型，将训练得到的烟雾检测神经网络模型用于实时烟雾检测。
步骤3中，对于每个负样本，从20个烟雾模板中随机抽取出一个烟雾模板，将烟雾模板的烟雾融合在负样本图像中可能产生烟雾的区域，可能产生烟雾的区域不包括河流、路面、池塘，融合了烟雾的负样本形成负样本挖掘的烟雾数据集。
烟雾检测神经网络模型的Faster R-CNN深度神经网络结构如图5所示。
步骤5中，将神经网络模型的初始学习率设置为0.001，将一次迭代样本数batch_size设置为256，迭代次数设置为20000，采用烟雾数据集对烟雾检测神经网络模型进行训练。

Claims (3)

1.一种负样本挖掘的深度学习烟雾识别方法，其特征在于，包括以下步骤，
步骤1：收集烟雾场景图像集，从烟雾场景图像集中提取出多个烟雾模板；
步骤2：训练烟雾检测神经网络模型，对场景数据集进行烟雾检测分类，将检测分类为有烟雾的无烟雾图像作为负样本；
步骤3：将烟雾模板融合到负样本图像中能产生烟雾的区域，生成负样本挖掘的烟雾数据集；
步骤4：将负样本挖掘的烟雾数据集与烟雾场景图像集合并，形成烟雾数据集；
步骤5：采用烟雾数据集训练烟雾检测神经网络模型，将训练得到的烟雾检测神经网络模型用于实时烟雾检测；
所述烟雾检测神经网络模型采用改进的Faster R-CNN深度神经网络，所述改进的Faster R-CNN深度神经网络将Faster R-CNN深度神经网络的13层卷积和13层RELU，精减为10层卷积层和10层RELU，精减后的模型包括10个卷积层，10个激励层和4个池化层。
2.根据权利要求1所述的负样本挖掘的深度学习烟雾识别方法，其特征在于，所述步骤3，对于每个负样本，从多个烟雾模板中随机抽取出一个烟雾模板，将烟雾模板的烟雾融合在负样本图像中可能产生烟雾的区域，融合了烟雾的负样本形成负样本挖掘的烟雾数据集。
3.根据权利要求1或2所述的负样本挖掘的深度学习烟雾识别方法，其特征在于，所述烟雾模板为20个。
CN201911057852.3A 2019-11-01 2019-11-01 一种负样本挖掘的深度学习烟雾识别方法 Active CN110991242B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911057852.3A CN110991242B (zh) 2019-11-01 2019-11-01 一种负样本挖掘的深度学习烟雾识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911057852.3A CN110991242B (zh) 2019-11-01 2019-11-01 一种负样本挖掘的深度学习烟雾识别方法

Publications (2)

Publication Number Publication Date
CN110991242A CN110991242A (zh) 2020-04-10
CN110991242B true CN110991242B (zh) 2023-02-21

Family

ID=70082849

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911057852.3A Active CN110991242B (zh) 2019-11-01 2019-11-01 一种负样本挖掘的深度学习烟雾识别方法

Country Status (1)

Country Link
CN (1) CN110991242B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113128422B (zh) * 2021-04-23 2024-03-29 重庆市海普软件产业有限公司 一种深度神经网络的图像烟火检测方法及系统
CN113378953A (zh) * 2021-06-22 2021-09-10 徐州才聚智能科技有限公司 火灾检测模型的训练样本制作方法、装置、设备及介质
CN113869164A (zh) * 2021-09-18 2021-12-31 的卢技术有限公司 一种基于深度学习的烟雾检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109522819A (zh) * 2018-10-29 2019-03-26 西安交通大学 一种基于深度学习的火灾图像识别方法
CN109977790A (zh) * 2019-03-04 2019-07-05 浙江工业大学 一种基于迁移学习的视频烟雾检测与识别方法
CN110163053A (zh) * 2018-08-02 2019-08-23 腾讯科技（深圳）有限公司 生成人脸识别的负样本的方法、装置及计算机设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9177105B2 (en) * 2013-03-29 2015-11-03 Case Western Reserve University Quantitatively characterizing disease morphology with co-occurring gland tensors in localized subgraphs
CN110096933B (zh) * 2018-01-30 2023-07-18 华为技术有限公司 目标检测的方法、装置及系统
CN108564030A (zh) * 2018-04-12 2018-09-21 广州飒特红外股份有限公司 面向车载热成像行人检测的分类器训练方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163053A (zh) * 2018-08-02 2019-08-23 腾讯科技（深圳）有限公司 生成人脸识别的负样本的方法、装置及计算机设备
CN109522819A (zh) * 2018-10-29 2019-03-26 西安交通大学 一种基于深度学习的火灾图像识别方法
CN109977790A (zh) * 2019-03-04 2019-07-05 浙江工业大学 一种基于迁移学习的视频烟雾检测与识别方法

Also Published As

Publication number Publication date
CN110991242A (zh) 2020-04-10

Similar Documents

Publication Publication Date Title
CN110991242B (zh) 一种负样本挖掘的深度学习烟雾识别方法
CN108446700B (zh) 一种基于对抗攻击的车牌攻击生成方法
CN106778757B (zh) 基于文本显著性的场景文本检测方法
CN108090429B (zh) 一种分级前脸卡口车型识别方法
CN108804608B (zh) 一种基于层次attention的微博谣言立场检测方法
CN111222471B (zh) 基于自监督域感知网络的零样本训练及相关分类方法
CN104778470B (zh) 基于组件树和霍夫森林的文字检测和识别方法
CN109063649B (zh) 基于孪生行人对齐残差网络的行人重识别方法
CN103942550A (zh) 一种基于稀疏编码特征的场景文本识别方法
Gu et al. Vision-based monitoring of flare soot
CN111191695A (zh) 一种基于深度学习的网站图片篡改检测方法
CN110276351B (zh) 多语言场景文本检测与识别方法
Zhang et al. Automatic discrimination of text and non-text natural images
Rong et al. Scene text recognition in multiple frames based on text tracking
Khan et al. Text non-text classification based on area occupancy of equidistant pixels
Rigaud et al. What do we expect from comic panel extraction?
CN109241315B (zh) 一种基于深度学习的快速人脸检索方法
Rahnama et al. An adversarial approach for explaining the predictions of deep neural networks
Kumar et al. Scene text recognition using artificial neural network: a survey
CN113128461B (zh) 基于人体关键点挖掘全尺度特征的行人重识别性能提升方法
CN109409224A (zh) 一种自然场景火焰检测的方法
Qiu et al. A Post-processing method for text detection based on geometric features
Fan et al. BURSTS: A bottom-up approach for robust spotting of texts in scenes
Chen et al. Self-intersection attention pooling based classification for rock recognition
Gu et al. A critical analysis of out-of-distribution detection for document understanding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant