CN111046728A - 一种基于特征金字塔网络的秸秆燃烧检测方法 - Google Patents
一种基于特征金字塔网络的秸秆燃烧检测方法 Download PDFInfo
- Publication number
- CN111046728A CN111046728A CN201911057945.6A CN201911057945A CN111046728A CN 111046728 A CN111046728 A CN 111046728A CN 201911057945 A CN201911057945 A CN 201911057945A CN 111046728 A CN111046728 A CN 111046728A
- Authority
- CN
- China
- Prior art keywords
- image
- data set
- smoke
- cnn
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 66
- 239000010902 straw Substances 0.000 title claims abstract description 50
- 238000002485 combustion reaction Methods 0.000 title claims abstract description 26
- 239000000779 smoke Substances 0.000 claims abstract description 63
- 238000012545 processing Methods 0.000 claims abstract description 45
- 238000000034 method Methods 0.000 claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 23
- 230000008569 process Effects 0.000 claims abstract description 12
- 238000011176 pooling Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 230000009471 action Effects 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 4
- 230000019771 cognition Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 description 52
- 238000000605 extraction Methods 0.000 description 4
- 238000011897 real-time detection Methods 0.000 description 4
- MWUXSHHQAYIFBG-UHFFFAOYSA-N Nitric oxide Chemical compound O=[N] MWUXSHHQAYIFBG-UHFFFAOYSA-N 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 2
- UGFAIRIUMAVXCW-UHFFFAOYSA-N Carbon monoxide Chemical compound [O+]#[C-] UGFAIRIUMAVXCW-UHFFFAOYSA-N 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 229910002092 carbon dioxide Inorganic materials 0.000 description 1
- 239000001569 carbon dioxide Substances 0.000 description 1
- 229910002091 carbon monoxide Inorganic materials 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000003546 flue gas Substances 0.000 description 1
- 238000003306 harvesting Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 239000007800 oxidant agent Substances 0.000 description 1
- 230000001590 oxidative effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000001179 sorption measurement Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
- G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于特征金字塔网络的秸秆燃烧检测方法，包括数据集采集模块、数据集处理模块、图像处理模块和图像显示及报警模块，数据集采集模块获取烟雾检测的视频帧数据集，数据集处理模块对标准数据集中标准图像注释的数据集进行处理，图像处理模块对FPN和Faster R‑CNN模型结构进行训练后对摄像头实时获取的图像进行检测，图像显示及报警模块对显示有烟雾的区域进行报警。本发明极大地降低了人力成本，提高识别准确率，减少了计算量和计算成本，降低了对图像处理性能的要求，并可提高实时性，是检测秸秆燃烧的最高效的技术方案，具有极大的价值。
Description
技术领域
本发明涉及图像识别技术进行秸秆燃烧检测领域，特别是一种基于特征金字塔网络的秸秆燃烧检测方法。
背景技术
中国作为农业大国，随着农作物的产量提高，秸秆的总量迅速增加，多数地区仍采用秸秆焚烧的方式进行处理。秸秆焚烧属于低温焚烧，其烟气中含有大量的一氧化碳、二氧化碳、氮氧化物、光化学氧化剂和悬浮颗粒物等造成大气污染，且会在一定程度上加重雾霾的发生。不仅如此，各地区每到收获的季节因为焚烧秸秆而引发火灾的事情时有发生。因此，对秸秆燃烧情况进行实时检测十分之必要，但是人力检测费时费力，且不能实时检测。
随着近年来机器学习技术的发展，通过神经网络算法对摄像头获取的视频进行秸秆燃烧实时检测，现有技术关于秸秆燃烧产生的烟雾检测的方法主要包含两个方向，一方面是传统的视频烟雾检测方法，主要是根据烟雾的颜色，纹理和运动等特征进行提取，然后使用分类器对特征向量进行训练和分类。然而，由于烟雾的形态多变，并且检测的环境比较复杂，人工设计的特征提取和识别的效果并不理想，很难达到实际需求；另一方面，现有的基于深度卷积神经网络进行秸秆燃烧产生的烟雾检测，如利用高斯混合模型对烟雾图像进行处理，得到烟雾图像的运动区域，利用暗通道去雾算法对图像进行处理，以得到无烟图像模型，获取烟雾图像和无烟图像模型之间的差值图像，对差值图像进行二值化处理，以得到疑似烟雾区域，获取运动区域和疑似烟雾区域之间的交集区域，将交集区域输入训练好的深度学习分类模型中，以得到最终的烟雾识别结果，方法比较繁琐，耗时较长，难以进行实时的检测和报警。
中国专利CN109100467A“一种基于低空遥感的秸秆焚烧监控装置和系统”是通过蓄电池向压缩机供电，通过检测棒对吸附块上吸附的秸秆焚烧物质进行检测，分析模块进行分析，把信号传递给数据处理模块，判断是否为秸秆焚烧产生的粉尘空气。这种方法使用比较局限，室外的空间很大，并且焚烧秸秆的区域不固定，到处安装这种设备的成本较高，准确率不高，难以达到实时报警。中国专利CN109389185A“使用三维卷积神经网络的视频烟雾识别方法”通过利用预训练好的Faster R-CNN模型对目标帧进行烟雾的初步识别定位，得到疑似烟雾区域的结果框及其烟雾评分，并提取目标帧前后一定数量的视频帧组成视频序列，再进行三维特征提取输入至SVM分类器，由SVM分类器判断为烟雾或非烟雾的分类结果。这种方法比较繁琐，还要提取一定数量的视频帧，耗费计算资源，难以达到实时检测的效果。随着近年来对Faster R-CNN的深入研究，Tsung-Yi Lin、Kaiming He等人在论文《Feature Pyramid Networks for Object Detection》中介绍了FPN(Feature PyramidNetwork)，即特征金字塔网络，把低分辨率、高语义信息的高层特征和高分辨率、低语义信息的低层特征进行自上而下的侧边连接，使得所有尺度下的特征都有丰富的语义信息，极大地提高了小目标的检测精度。
发明内容
本发明所要解决的技术问题是提供一种基于特征金字塔网络的秸秆燃烧检测方法，能够通过摄像头拍摄的视频实时检测秸秆燃烧情况，并及时发出警告。解决了秸秆燃烧检测准确率不高、不能实时报警的问题。
为解决上述技术问题，本发明所采用的技术方案是：一种基于特征金字塔网络的秸秆燃烧检测方法，包括数据集采集模块、数据集处理模块、图像处理模块和图像显示及报警模块，实现的步骤为：
S1.数据集采集模块通过摄像头获取烟雾检测的视频帧数据集；
S2.数据集处理模块对标准数据集中标准图像注释的数据集进行处理；
S3.图像处理模块包括模型训练模块和图像检测模块，其中模型训练模块对FPN和Faster R-CNN模型结构进行训练；
图像检测模块将训练后的FPN+Faster R-CNN模型对摄像头实时获取的图像进行检测；
S4.图像显示及报警模块通过图像处理模块将检测的结果进行显示，对显示有烟雾的区域进行报警。
优选的方案中，步骤S2中数据集处理模块处理数据集的具体实现步骤为：
S21.对采集的图片进行挑选，挑选出有烟雾的图像；
S22.对挑选出的图像进行规范化命名；
S23.采用标准数据集中标准图像注释的方法进行处理。
优选的方案中，步骤S3中模型训练模块训练FPN+Faster R-CNN模型的具体实现步骤为：
S311.将由CNN+RPN+Fast R-CNN组成的Faster R-CNN网络中的CNN结构替换成FPN；
S312.RPN对FPN结构中的不同特征层的输出进行候选区域的选取；
S313.将候选区域通过Fast R-CNN网络进行特征的提取，最终得到最优的模型；
模型训练模块用于将FPN结构融入到Faster R-CNN模型结构中，增加检测器对全图信息的认知，提取多层卷积特征。
优选的方案中，步骤S3中图像检测模块的具体实现步骤为：
S321.根据训练好的FPN+Faster R-CNN对数据集进行烟雾的实时检测；
S322.对疑似烟雾区域的结果框进行分类和得到相应的烟雾评分，并判断其烟雾评分是否高于阈值；
S323.若高于阈值，则判断该图像包含烟雾；若低于阈值，则判断该图像不包含烟雾。
优选的方案中，步骤313中对数据集进行训练的具体实现步骤为：
S1.选择有烟雾的图片，然后对该图片进行预处理操作；
S2.将处理过的图片送入特征网络中，构建从底向上网络；
S3.构建对应的自顶向下网络，即对顶层进行上采样操作，先对中间层进行降维处理，然后对应元素相加，再进行卷积操作；
S4.从顶向下分别进行RPN操作；
S5.将步骤S4获得的候选ROI分别输入到从顶向下每一层上面分别进行ROIPooling操作；
S6.在步骤S5的基础上面连接两个1024层的全连接网络层，然后分两个支路，连接对应的分类层和回归层。
优选的方案中，使用ROIAlign优化步骤S5中的ROI Pooling，用于解决Faster R-CNN在语义分割中的区域不匹配问题，具体的实现步骤为:
S1.计算ROI区域的边长，边长不取整；
S2.将ROI区域均匀分成n×n个单元，每个单元的大小不取整；
S3.每个单元的值为其最邻近的Feature Map的四个值通过双线性插值得到；
S4.使用最大池化或者平均池化得到长度固定的特征向量。
优选的方案中，根据
图像宽高为w和h的ROI被映射到的特征级别为k。
优选的方案中，FPN通过结合从底向上路径、自顶向下路径和中间连接路径获得较强的语义特征，检测小目标的秸秆燃烧；
用于提取图像更深层的特征语义信息，提高目标检测和实例分割在多个数据集上面的性能表现，从而避免了现有处理过程信息的流失。
优选的方案中，构建损失函数Focal Loss或单阶段的目标检测器RetinaNet，用于提高检测的精确度。
优选的方案中，Faster R-CNN还使用时序动作定位网络，将2-D空间结构检测转换为1-D时间维的处理，用于Faster R-CNN实时捕获烟雾时序信息。
本发明提供了一种基于特征金字塔网络的秸秆燃烧检测方法，通过采用以上的方案，具有以下有益效果：
1、极大地降低了人力成本。本发明利用图像识别技术对摄像头采集的视频中是否存在秸秆燃烧情况进行判断，无需人力进行巡逻检测，仅需要根据检测到秸秆燃烧的警告情况进行处理，极大地减少了人力物力，节约了社会资源。
2、提高识别准确率，能够检测小范围的秸秆燃烧情况。本发明通过利用摄像头采集数据集，并对数据集进行挑选和注释，再将FPN融入到Faster R-CNN网络模型中，FPN网络通过对数据集中的图像进行金字塔特征的提取，将底层的特征语义信息和高层的特征语义融合，并且不同特征层独立的输出，然后RPN对FPN结构中的不同特征层的输出进行候选区域的选取，提取出的候选区域在通过Fast R-CNN网络进行特征的提取和最终模型的形成，FPN对图像中小目标的识别精准度高，能够在秸秆燃烧的初期便发现目标，并发出警告，能够在最短的时间内采取有效措施。
3、提高了视频的实时处理能力。本发明无需对图像进行一系列的处理，极大减少了计算量和计算成本，降低了对图像处理性能的要求，并可提高实时性，是检测秸秆燃烧的最高效的技术方案，具有极大的价值。
附图说明
下面结合附图和实施例对本发明作进一步说明：
图1为本发明的整体流程示意图。
图2为本发明中FPN特征提取示意图。
图3为本发明中FPN+Faster R-CNN特征提取示意图。
图4为本发明中用Faster R-CNN进行秸秆燃烧检测的图像。
图5为本发明中用FPN+Faster R-CNN进行秸秆燃烧检测的图像。
具体实施方式
实施例1：
如图1所示，一种基于特征金字塔网络的秸秆燃烧检测方法，包括数据集采集模块、数据集处理模块、图像处理模块和图像显示及报警模块，实现的步骤为：
S1.数据集采集模块通过摄像头获取烟雾检测的视频帧数据集，在需要进行秸秆燃烧检测的区域安装摄像头，或者通过已有的摄像头获取秸秆燃烧检测的视频帧数据集，从摄像头设备中采集到的图像传回到计算机设备中，在计算机设备中进行收集和整理。
S2.数据集处理模块对标准数据集中标准图像注释的数据集进行处理，如使用PASCAL VOC 2007标准图像注释的数据集或PASCAL VOC 2012标准图像注释的数据集，用标准的数据集进行图像的训练，训练检测目标对象的边界框、分类和特征，PASCAL VOC为图像识别和分类提供了一整套标准化的优秀的数据集，用于识别真实场景中一些类别的物体，训练集以带标签的图片的形式给出。
S3.图像处理模块包括模型训练模块和图像检测模块，其中模型训练模块对FPN(Feature Pyramid Network，特征金字塔网络)和Faster R-CNN模型结构进行训练，
图像检测模块将训练后的FPN+Faster R-CNN模型对摄像头实时获取的图像进行检测；
S4.图像显示及报警模块通过图像处理模块将检测的结果进行显示，对显示有烟雾的区域进行报警，图像显示及报警模块通过图像处理模块产生实时检测结果进行显示和报警，若检测的图像是包含烟雾，则显示并进行报警；若检测的图像不包含烟雾，则不显示和报警。
可以实时准确的通过监控设备传入图像信息，进行图像检测模块的操作，并判断监控范围是否存在着秸秆燃烧的情况，若存在，则进行实时的报警，如果存在秸秆燃烧的情况，则根据图像显示及报警模块显示的获取时间和地点及时下发通知，联系相关人员以便采取措施。
实施例2：
优选的方案中，步骤S2中数据集处理模块对采集的图片进行挑选，挑选出有烟雾的图像，对挑选出的图像进行规范化命名，采用标准数据集中标准图像注释的方法进行处理，采用labelImg工具对每个图像数据进行烟雾区域的标注，保存成xml文件，最后按照PASCAL COV2007数据集格式要求形成最终的数据集。
实施例3：
优选的方案如图3～5所示，步骤S3中模型训练模块训练FPN+Faster R-CNN模型的具体实现步骤为：
S311.将由CNN+RPN+Fast R-CNN组成的Faster R-CNN网络中的CNN结构替换成FPN；
S312.RPN对FPN结构中的不同特征层的输出进行候选区域的选取；
S313.将候选区域通过Fast R-CNN网络进行特征的提取，最终得到最优的模型；
模型训练模块用于将FPN结构融入到Faster R-CNN模型结构中，增加检测器对全图信息的认知，提取多层卷积特征。
Faster R-CNN网络包含三个部分，CNN(Convolutional Neural Network，卷积神经网络)用于提取图片特征获得特征图，RPN(Region Proposal Network，区域候选网络)用于在特征图上提取目标框，再通过Fast R-CNN网络域RPN网络进行权值共享，提取候选区域的特征，采用softmax用于分类，即根据目标框内的特征图给出相应目标框的烟雾评分，其值在0至1之间。将FPN网络融入在Faster R-CNN网络模型中的RPN网络结构之前，替换Faster R-CNN网络模型中的CNN卷积神经网络结构，从而形成多层单独的特征向量输出，在和RPN网络进行结合，对多层特征向量输出进行候选区域的选取，最后通过Fast R-CNN网络进行模型的训练学习，通过调节网络结构中的参数，如学习率，迭代次数等，最终得到最优的网络模型。在实施的过程中，模型采用的学习率为0.001，每批次训练的个数是256，迭代的次数是20000，同时在RPN网络中，设置IOU的阈值：若高于0.7的，作为选取候选区域的正样本，再根据RPN网络的规则，使用NMS非极大值抑制最终选取300个候选区；若低于0.3的，则作为候选区域的负样本。FPN网络的基础结构是VGG16，通过VGG16网络结构融于FPN网络算法的思想，将底层的特征语义信息和高层的特征语义融合，并且不同特征层独立的输出。图4采用Faster R-CNN进行秸秆燃烧检测，并未检测出烟雾，图5采用FPN+Faster R-CNN进行检测，检测出烟雾。FPN+Faster R-CNN检测准确率极大地优于Faster R-CNN。
实施例4：
优选的方案如图3所示，步骤S3中图像检测模块的具体实现步骤为：
S321.根据训练好的FPN+Faster R-CNN对数据集进行烟雾的实时检测；
S322.对疑似烟雾区域的结果框进行分类和得到相应的烟雾评分，并判断其烟雾评分是否高于阈值；
S323.若高于阈值，则判断该图像包含烟雾；若低于阈值，则判断该图像不包含烟雾。
图像检测模块通过使用最优的网络模型对摄像头实时产生的图像进行检测。FPN+Faster R-CNN模型对检测的图片给出了疑似烟雾的结果框，及各结果框对应的烟雾评分(类别概率)，用以判断是否存在秸秆燃烧的情形，在实施的过程中，设置的阈值是0.8，若检测的过程中，检测区域的阈值高于或等于0.8，则框出烟雾的区域；若检测区域的阈值低于0.8，则表明该图像不包含烟雾区域。
实施例5：
优选的方案如图2所示，步骤313中对数据集进行训练的具体实现步骤为：
S1.选择有烟雾的图片，然后对该图片进行预处理操作，利用图像金字塔对原始图像进行分层，从底至上分为1、2、3层。
S2.将处理过的图片送入特征网络中，构建从底向上网络，依次为层1、层2和层3，在图像金字塔的每一层中提取烟雾的特征，进行预测。
S3.构建对应的自顶向下网络，依次为层4、层5和层6，即对顶层进行上采样操作，先对中间层进行降维处理，然后对应元素相加，再进行卷积操作，即对层4进行上采样操作，再用1×1的卷积对层2进行降维处理，并将对应的元素相加，最后进行3×3的卷积操作。
S4.从顶向下分别进行RPN操作，即对层4、层5和层6分别卷积操作，3×3的卷积操作分别连接1×1的卷积进行分类和回归。
S5.将步骤S4获得的候选ROI分别输入到从顶向下每一层上面分别进行ROIPooling操作，ROI Pooling能够根据输入的图像将ROI映射到Feature Map对应位置，可以从不同大小的方框得到固定大小的相应的Feature Maps，极大地提高了处理速度。
S6.在步骤S5的基础上面连接两个1024层的全连接网络层，然后分两个支路，连接对应的分类层和回归层，通过1x1卷积并与经过上采样的从上到下连接的结果相加求和。自上而下的部分生成粗粒度特征，自下而上的部分通过侧向连接加入细粒度特征。
实施例6：
使用ROIAlign优化步骤S5中的ROI Pooling，用于解决Faster R-CNN在语义分割中的区域不匹配问题，具体的实现步骤为:
S1.计算ROI区域的边长，边长不取整，遍历每一个候选区域，保持浮点数边界不做量化。
S2.将ROI区域均匀分成n×n个单元，每个单元的大小不取整，保持浮点数边界不做量化。
S3.每个单元的值为其最邻近的Feature Map的四个值通过双线性插值得到，ROIAlign取消量化操作，使用双线性内插的方法获得坐标为浮点数的像素点上的图像数值,从而将整个特征聚集过程转化为一个连续的操作。例如，采样点数为4，单元平均分割成四个小方块分别为各自的中心点。
S4.使用最大池化或者平均池化得到长度固定的特征向量，得到固定输出的Feature Map。
实施例7：
优选的方案如图2所示，根据
图像宽高为w和h的ROI被映射到的特征级别为k，在ResNet中，k0值为4，对应长宽为224的框所在的层次。如果框的长宽相对于224分别除以2，那么k的值将减1，以此类推。在Faster R-CNN中，ResNet的层4被用来提取RoI，经过RoI Pooling后映射到14x14的大小。经过RoI Pooling后的特征再进入原来的层5，进而得到最终的分类和边框回归结果。在FPN中，层5已经被用来作为特征提取器得到P5层；因此，这里单独设计两个1024维的全连接层作为检测网络的网络头部。新的网络头部是随机初始化的，它相比于原来的层5更加轻量级。
实施例8：
FPN通过结合从底向上路径、自顶向下路径和中间连接路径获得较强的语义特征，检测小目标的秸秆燃烧，用于提取图像更深层的特征语义信息，提高目标检测和实例分割在多个数据集上面的性能表现，从而避免了现有处理过程信息的流失。自底向上的路径是卷积神经网络的前馈计算，计算由不同比例的特征映射组成的特征层级，对于特征图金字塔，为每个阶段定义一个金字塔等级，然后选择每个阶段的最后一层的输出作为特征图的参考集，每个阶段的最深层具有最强的特征。自顶向下的路径通过对在空间上更抽象但语义更强高层特征图进行上采样来幻化高分辨率的特征。随后通过侧向连接从底向上的路径，使得高层特征得到增强。每个横向连接自底向上路径和自顶向下路径的特征图具有相同的尺寸。
实施例9：
构建损失函数Focal Loss或单阶段的目标检测器RetinaNet，用于提高检测的精确度。
Focal Loss函数的表达式为：FL(pt)＝-αt(1-pt)γlog(pt)，在交叉熵损失函数的前面成了一个权重，通过损失函数Focal Loss对简单样本进行抑制，着重处理难分的样本，同时用α来调节样本比例的不均衡。RetinaNet同样通过增加交叉熵损失函数权重的方式对简单样本进行抑制，使难分的样本得到着重处理。
实施例10：
Faster R-CNN还使用时序动作定位网络，将2-D空间结构检测转换为1-D时间维的处理，用于Faster R-CNN实时捕获烟雾时序信息，将Faster R-CNN网络应用于视频时序动作定位中，通过扩展生成候选片段和动作分类的感受野来显性地对时序上下文进行编码，融合多流特征，能够对摄像头采集的视频进行实时的跟踪并进行反馈，确定秸秆燃烧产生的烟雾的时间区间和类别，极大提高了处理的时序性。
上述的实施例仅为本发明的优选技术方案，而不应视为对于本发明的限制，本申请中的实施例及实施例中的特征在不冲突的情况下，可以相互任意组合。本发明的保护范围应以权利要求记载的技术方案，包括权利要求记载的技术方案中技术特征的等同替换方案为保护范围。即在此范围内的等同替换改进，也在本发明的保护范围之内。
Claims (10)
1.一种基于特征金字塔网络的秸秆燃烧检测方法，其特征是：包括数据集采集模块、数据集处理模块、图像处理模块和图像显示及报警模块，实现的步骤为：
S1.数据集采集模块通过摄像头获取烟雾检测的视频帧数据集；
S2.数据集处理模块对标准数据集中标准图像注释的数据集进行处理；
S3.图像处理模块包括模型训练模块和图像检测模块，其中模型训练模块对FPN和Faster R-CNN模型结构进行训练；
图像检测模块将训练后的FPN+Faster R-CNN模型对摄像头实时获取的图像进行检测；
S4.图像显示及报警模块通过图像处理模块将检测的结果进行显示，对显示有烟雾的区域进行报警。
2.根据权利要求1所述的一种基于特征金字塔网络的秸秆燃烧检测方法，其特征是：步骤S2中数据集处理模块处理数据集的具体实现步骤为：
S21.对采集的图片进行挑选，挑选出有烟雾的图像；
S22.对挑选出的图像进行规范化命名；
S23.采用标准数据集中标准图像注释的方法进行处理。
3.根据权利要求1所述的一种基于特征金字塔网络的秸秆燃烧检测方法，其特征是：步骤S3中模型训练模块训练FPN+Faster R-CNN模型的具体实现步骤为：
S311.将由CNN+RPN+Fast R-CNN组成的Faster R-CNN网络中的CNN结构替换成FPN；
S312.RPN对FPN结构中的不同特征层的输出进行候选区域的选取；
S313.将候选区域通过Fast R-CNN网络进行特征的提取，最终得到最优的模型；
模型训练模块用于将FPN结构融入到Faster R-CNN模型结构中，增加检测器对全图信息的认知，提取多层卷积特征。
4.根据权利要求1所述的一种基于特征金字塔网络的秸秆燃烧检测方法，其特征是：步骤S3中图像检测模块的具体实现步骤为：
S321.根据训练好的FPN+Faster R-CNN对数据集进行烟雾的实时检测；
S322.对疑似烟雾区域的结果框进行分类和得到相应的烟雾评分，并判断其烟雾评分是否高于阈值；
S323.若高于阈值，则判断该图像包含烟雾；若低于阈值，则判断该图像不包含烟雾。
5.根据权利要求3所述的一种基于特征金字塔网络的秸秆燃烧检测方法，其特征是：步骤313中对数据集进行训练的具体实现步骤为：
S1.选择有烟雾的图片，然后对该图片进行预处理操作；
S2.将处理过的图片送入特征网络中，构建从底向上网络；
S3.构建对应的自顶向下网络，即对顶层进行上采样操作，先对中间层进行降维处理，然后对应元素相加，再进行卷积操作；
S4.从顶向下分别进行RPN操作；
S5.将步骤S4获得的候选ROI分别输入到从顶向下每一层上面分别进行ROI Pooling操作；
S6.在步骤S5的基础上面连接两个1024层的全连接网络层，然后分两个支路，连接对应的分类层和回归层。
6.根据权利要求5所述的一种基于特征金字塔网络的秸秆燃烧检测方法，其特征是：使用ROIAlign优化步骤S5中的ROI Pooling，用于解决Faster R-CNN在语义分割中的区域不匹配问题，具体的实现步骤为:
S1.计算ROI区域的边长，边长不取整；
S2.将ROI区域均匀分成n×n个单元，每个单元的大小不取整；
S3.每个单元的值为其最邻近的Feature Map的四个值通过双线性插值得到；
S4.使用最大池化或者平均池化得到长度固定的特征向量。
7.根据权利要求5所述的一种基于特征金字塔网络的秸秆燃烧检测方法，其特征是：根据
图像宽高为w和h的ROI被映射到的特征级别为k。
8.根据权利要求1所述的一种基于特征金字塔网络的秸秆燃烧检测方法，其特征是：FPN通过结合从底向上路径、自顶向下路径和中间连接路径获得较强的语义特征，检测小目标的秸秆燃烧；
用于提取图像更深层的特征语义信息，提高目标检测和实例分割在多个数据集上面的性能表现，从而避免了现有处理过程信息的流失。
9.根据权利要求1所述的一种基于特征金字塔网络的秸秆燃烧检测方法，其特征是：构建损失函数Focal Loss或单阶段的目标检测器RetinaNet，用于提高检测的精确度。
10.根据权利要求1所述的一种基于特征金字塔网络的秸秆燃烧检测方法，其特征是：Faster R-CNN还使用时序动作定位网络，将2-D空间结构检测转换为1-D时间维的处理，用于Faster R-CNN实时捕获烟雾时序信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911057945.6A CN111046728A (zh) | 2019-11-01 | 2019-11-01 | 一种基于特征金字塔网络的秸秆燃烧检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911057945.6A CN111046728A (zh) | 2019-11-01 | 2019-11-01 | 一种基于特征金字塔网络的秸秆燃烧检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111046728A true CN111046728A (zh) | 2020-04-21 |
Family
ID=70232773
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911057945.6A Pending CN111046728A (zh) | 2019-11-01 | 2019-11-01 | 一种基于特征金字塔网络的秸秆燃烧检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111046728A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111767875A (zh) * | 2020-07-06 | 2020-10-13 | 中兴飞流信息科技有限公司 | 一种基于实例分割的隧道烟雾检测方法 |
| CN111784954A (zh) * | 2020-07-09 | 2020-10-16 | 国网江苏省电力有限公司无锡供电分公司 | 一种架空输电线路防外破报警装置及方法 |
| CN112733958A (zh) * | 2021-01-22 | 2021-04-30 | 北京农业信息技术研究中心 | 一种温室臭氧浓度控制方法及系统 |
| CN112949614A (zh) * | 2021-04-29 | 2021-06-11 | 成都市威虎科技有限公司 | 一种自动分配候选区域的人脸检测方法及装置和电子设备 |
| CN114742204A (zh) * | 2022-04-08 | 2022-07-12 | 黑龙江惠达科技发展有限公司 | 检测秸秆覆盖率的方法和装置 |
| US11587302B2 (en) * | 2019-12-17 | 2023-02-21 | X Development Llc | Shared dense network with robot task-specific heads |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109376681A (zh) * | 2018-11-06 | 2019-02-22 | 广东工业大学 | 一种多人姿态估计方法及系统 |
| CN109800802A (zh) * | 2019-01-10 | 2019-05-24 | 深圳绿米联创科技有限公司 | 视觉传感器及应用于视觉传感器的物体检测方法和装置 |
| CN110147758A (zh) * | 2019-05-17 | 2019-08-20 | 电子科技大学成都学院 | 一种基于深度学习的森林防火方法 |
-
2019
- 2019-11-01 CN CN201911057945.6A patent/CN111046728A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109376681A (zh) * | 2018-11-06 | 2019-02-22 | 广东工业大学 | 一种多人姿态估计方法及系统 |
| CN109800802A (zh) * | 2019-01-10 | 2019-05-24 | 深圳绿米联创科技有限公司 | 视觉传感器及应用于视觉传感器的物体检测方法和装置 |
| CN110147758A (zh) * | 2019-05-17 | 2019-08-20 | 电子科技大学成都学院 | 一种基于深度学习的森林防火方法 |
Non-Patent Citations (2)
| Title |
|---|
| YU-WEI CHAO等: "《Rethinking the Faster R-CNN Architecture for Temporal Action Localization》", 《ARXIV》 * |
| 张怡晨: "《基于卷积神经网络的舰船检测研究》", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11587302B2 (en) * | 2019-12-17 | 2023-02-21 | X Development Llc | Shared dense network with robot task-specific heads |
| US11945106B2 (en) | 2019-12-17 | 2024-04-02 | Google Llc | Shared dense network with robot task-specific heads |
| CN111767875A (zh) * | 2020-07-06 | 2020-10-13 | 中兴飞流信息科技有限公司 | 一种基于实例分割的隧道烟雾检测方法 |
| CN111767875B (zh) * | 2020-07-06 | 2024-05-10 | 中兴飞流信息科技有限公司 | 一种基于实例分割的隧道烟雾检测方法 |
| CN111784954A (zh) * | 2020-07-09 | 2020-10-16 | 国网江苏省电力有限公司无锡供电分公司 | 一种架空输电线路防外破报警装置及方法 |
| CN111784954B (zh) * | 2020-07-09 | 2023-12-05 | 国网江苏省电力有限公司无锡供电分公司 | 一种架空输电线路防外破报警装置及方法 |
| CN112733958A (zh) * | 2021-01-22 | 2021-04-30 | 北京农业信息技术研究中心 | 一种温室臭氧浓度控制方法及系统 |
| CN112733958B (zh) * | 2021-01-22 | 2024-06-07 | 北京农业信息技术研究中心 | 一种温室臭氧浓度控制方法及系统 |
| CN112949614A (zh) * | 2021-04-29 | 2021-06-11 | 成都市威虎科技有限公司 | 一种自动分配候选区域的人脸检测方法及装置和电子设备 |
| CN114742204A (zh) * | 2022-04-08 | 2022-07-12 | 黑龙江惠达科技发展有限公司 | 检测秸秆覆盖率的方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111046728A (zh) | 一种基于特征金字塔网络的秸秆燃烧检测方法 | |
| CN110598736B (zh) | 一种电力设备红外图像故障定位、识别与预测方法 | |
| CN109166094B (zh) | 一种基于深度学习的绝缘子故障定位识别方法 | |
| Tao et al. | Smoke detection based on deep convolutional neural networks | |
| CN113065558A (zh) | 一种结合注意力机制的轻量级小目标检测方法 | |
| CN111784633B (zh) | 一种面向电力巡检视频的绝缘子缺损自动检测算法 | |
| CN112418117A (zh) | 一种基于无人机图像的小目标检测方法 | |
| CN113536972B (zh) | 一种基于目标域伪标签的自监督跨域人群计数方法 | |
| CN111738218B (zh) | 人体异常行为识别系统及方法 | |
| CN110852179B (zh) | 基于视频监控平台的可疑人员入侵的检测方法 | |
| CN112115775A (zh) | 一种基于计算机视觉的监控场景下的吸烟行为检测方法 | |
| Yandouzi et al. | Investigation of combining deep learning object recognition with drones for forest fire detection and monitoring | |
| CN113469050A (zh) | 基于图像细分类的火焰检测方法 | |
| CN115761537B (zh) | 一种面向动态特征补充机制的输电线路异物入侵识别方法 | |
| CN114842503B (zh) | 基于YOLOv5网络的头盔检测方法 | |
| CN108664875A (zh) | 基于图像识别的井下皮带运输监控方法 | |
| CN112084928A (zh) | 基于视觉注意力机制和ConvLSTM网络的道路交通事故检测方法 | |
| CN112633180B (zh) | 一种基于对偶记忆模块的视频异常检测方法及系统 | |
| CN114648714A (zh) | 一种基于yolo的车间规范行为的监测方法 | |
| CN114170672A (zh) | 一种基于计算机视觉的课堂学生行为识别的方法 | |
| CN112862849A (zh) | 一种基于图像分割和全卷积神经网络的田间稻穗计数方法 | |
| CN111339950B (zh) | 一种遥感图像目标检测方法 | |
| CN107545281B (zh) | 一种基于深度学习的单一有害气体红外图像分类识别方法 | |
| CN115719475A (zh) | 一种基于深度学习的三阶段轨旁设备故障自动检测方法 | |
| CN117437562A (zh) | 一种基于无人机遥感图像的野外烟火快速检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200421 |