CN111985365A - 一种基于目标检测技术的秸秆焚烧监测方法和系统 - Google Patents

一种基于目标检测技术的秸秆焚烧监测方法和系统 Download PDF

Info

Publication number
CN111985365A
CN111985365A CN202010784840.7A CN202010784840A CN111985365A CN 111985365 A CN111985365 A CN 111985365A CN 202010784840 A CN202010784840 A CN 202010784840A CN 111985365 A CN111985365 A CN 111985365A
Authority
CN
China
Prior art keywords
straw
smoke
fire
data set
detection model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010784840.7A
Other languages
English (en)
Inventor
吕刚
柳同军
年福东
戴淮初
蒋鹏飞
吴超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University
Original Assignee
Hefei University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University filed Critical Hefei University
Priority to CN202010784840.7A priority Critical patent/CN111985365A/zh
Publication of CN111985365A publication Critical patent/CN111985365A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Fire-Detection Mechanisms (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于目标检测技术的秸秆焚烧监测方法和系统,方法包括以下步骤:建立烟火数据集和秸秆数据集,并进行数据增强;确认数据集中图像是否存在烟火或秸秆,并标注出它们的具体位置;使用目标检测算法分别训练出烟火检测模型和秸秆检测模型,并通过模型融合形成最终的秸秆焚烧检测模型;利用融合后的秸秆检测模型对指定图像进行检测,确认图像中是否存在秸秆焚烧现象,并定位它们的位置。系统通过部署前端、网络传输、图像处理中心、监控平台四个功能模块并联合调用,来实现对重点区域的秸秆焚烧现象的实时监控和预警。本发明的秸秆焚烧监测方法和系统,对秸秆焚烧现象进行有效的监测,且监测的时效性更好,准确率更高。

Description

一种基于目标检测技术的秸秆焚烧监测方法和系统
技术领域
本发明涉及计算机视觉、深度学习和环境保护的交叉研究领域,特别涉及一种基于目标检测技术的秸秆焚烧监测方法和系统。
背景技术
当前的秸秆焚烧监测方法主要有三种:人工监测方法、基于传感器的监测方法和基于卫星遥感或无人机的监测方法。但以上三种方法,各有弊端。
采用人工监测的方法,要耗费大量的人力资源,需要人员按照设定的区域定时巡检,监控的效率低,而且时效性差。巡检人员有时需要负责的管控区域较大,有时需要很长的时间才能实现一轮巡检,有时发现秸秆焚烧的时候,可能已经焚烧很久,或者已经焚烧完毕,很难达到实时管控的目的。
采用基于传感器的监测方法时,存在距离障碍等技术限制,时效性差,无法达到早期预警的目的。
采用基于卫星遥感或无人机的监测方法时,卫星遥感或无人机采集到的图像易受到环境因素等的干扰,对遥感图像的处理不够智能化,且实时性较差。
发明内容
本发明的目的是提供一种基于目标检测技术的秸秆焚烧监测方法和系统,能够通过采集柱体的图像和对图像的处理、通过图像对比实现柱体的外形检测。
本发明解决上述技术问题的技术方案如下:
一种基于目标检测技术的秸秆焚烧监测方法,其特征在于:包括如下步骤:
步骤1:利用监控视频和数据挖掘技术收集包含烟火和包含秸秆的图像,分别建立初始的烟火数据集和秸秆数据集;
步骤2:分别对上述的烟火数据集和秸秆数据集进行旋转、平移、缩放、翻转、裁剪、添加适量噪声等方式进行数据增强,扩充数据集;对扩充后的数据集进行图像标注,生成VOC格式的烟火数据集和秸秆数据集;分别从VOC格式的烟火数据集和秸秆数据集中随机选择s%作为烟火测试数据集和秸秆测试数据集,对应VOC数据集的剩余部分则作为训练验证集;从训练验证集中随机选择80%作为烟火训练数据集和秸秆训练数据集,对应的剩余部分则作为烟火验证数据集和秸秆验证数据集;
步骤3:基于烟火训练验证集和秸秆训练验证集,利用YOLOv4目标检测算法,分别训练出烟火检测模型和秸秆检测模型,并对模型进行融合得到融合后的秸秆焚烧检测模型;
步骤4:利用融合的秸秆焚烧检测模型对指定图像进行检测分析,判断该图像中是否存在秸秆焚烧的现象。若存在,则对它们的位置进行定位并标出来;
步骤5:将对图像的检测结果传回终端,并进行相应告警。
所述步骤1中包括如下步骤,
步骤101:通过监控视频抽取相应场景数据、拍摄和数据挖掘技术来获得相应的包含烟火和秸秆的图像和视频
步骤102:利用ffmpeg和(或)opencv从视频中提取出烟火和秸秆的图像帧,对所有图像进行标注,存在烟火或秸秆时标注出它们的位置,生成VOC格式的烟火数据集和秸秆数据集。
所述步骤3包括如下步骤:
步骤301:基于Darknet深度学习框架,利用烟火训练验证集和秸秆训练验证集分别训练YOLOv4模型;选择CSPDarknet53主干、SPP附加模块、PANET路径聚合Neck和YOLOv3头部作为YOLOv4的体系结构;YOLOv4网络结构以数据集中的图像作为输入,以与输入图像中对应目标的位置和类别预测置信度为输出;
步骤302:根据选定的损失函数,利用梯度下降反向传播的方法,对YOLOv4模型中的卷积神经网络的参数进行迭代更新,迭代至设定的最大迭代次数后停止迭代,结束训练,此时得到的网络参数作为最优的网络参数,分别得到初步的烟火检测模型和秸秆检测模型;接着利用烟火验证数据集和秸秆验证数据集,对模型进行微调,得到优化后的烟火检测模型和秸秆检测模型;
步骤303:利用测试集对上述的烟火检测模型和秸秆检测模型分别进行测试,根据测试结果对模型进行调整,将误检和漏检的图片加入训练集,并以先前训练的模型作为预训练模型,重新训练模型,直至测试结果达到要求,此时的模型即为最终的烟火检测模型和秸秆检测模型;
步骤304:对烟火检测模型和秸秆检测模型进行融合,若在图像中检测到的秸秆位置的邻近区域同时检测到烟火现象,则判定图像中存在秸秆焚烧现象,达到融合后的秸秆焚烧检测模型。
所述步骤301中,所述的YOLOv4网络结构,选择CSPDarknet53主干、SPP附加模块、PANET路径聚合Neck和YOLOv3头部作为体系结构,所述的YOLOv4卷积神经网络,使用CSPDarknet53基础卷积网络。
所述步骤301中,所述的YOLOv4模型的卷积神经网络,输出大小不一的三个特征图进行预测。
所述步骤301中,所述YOLOv4模型的卷积神经网络,使用了9个尺度的先验框。
所述步骤3中,利用YOLOv4目标检测算法,YOLOv4训练过程中,损失函数Loss的表达式如下:
Figure BDA0002621564580000031
公式(1)中,K表示一张图像中的目标总数,λobj表示区域中是否含有目标,当区域中有目标时,λobj取1,不含时,λobj取0;Lcl表示类别预测损失,Lreg表示位置回归损失,Lconf表示置信度损失。
所述类别预测损失Lcl的计算公式如下:
Figure BDA0002621564580000041
公式(2)中,M表示类别数;Ij表示类别j是否为真实目标的类别,当类别j是真实目标类别时,Ij取1,不是时,Ij取0;clj表示类别j的类别。
所述位置回归损失Lreg的计算公式如下:
Figure BDA0002621564580000042
公式(3)中,v是衡量预测框长宽比一致性的参数,α是用于做权衡的参数,d表示预测框和真实框的中心点之间的欧式距离,c表示预测框和真实框的最小外接矩形的对角线的距离,IoU表示预测框和真实框的交并集的比值,gt表示标注的真实框,b表示预测框的中心点,bgt表示真实框的中心点,w和h表示预测框的宽和高,wgt和hgt表示真实框的宽和高,ρ(b,bgt)表示计算预测框和真实框的中心点之间的欧式距离的函数。
所述置信度损失Lconf的计算公式如下:
Lconf=(Pconf-Tconf)2 (4)
公式(4)中,P表示预测值,T表示真实值,conf表示置信度。
本发明还公开了一种基于秸秆焚烧检测模型的秸秆焚烧监测系统,包括:前端模块、网络传输模块、图像处理中心和监控平台;
所述前端模块,用于通过对重点区域部署红外摄像机来实现监控,并收集图像,上传到监控平台和图片识别中心;
所述网络传输模块,用于通过VPN的方式连接前端和监控平台以及图像处理中心,进行数据传输;
所述图像处理中心,用于利用ffmpeg框架,且通过抽帧的方式提取前端传来的视频中的部分帧的图像,通过结合上述的秸秆焚烧检测方法,对提取出来的图像进行算法分析,判断这些图像中是否存在秸秆焚烧现象;
所述监控平台,用于接受前端传来的数据,进行备份,方便用户查看,同时接受图像识别中心传来的检测结果,经过监控人员确认后分配相关人员去存在秸秆焚烧现象的区域现场进行管控。
采用本发明的方案的有益效果是:
本发明涉及一种基于目标检测技术的秸秆焚烧监测方法和系统,基于目标检测技术的秸秆焚烧监测方法包括以下步骤:建立烟火数据集和秸秆数据集,并使用平移、缩放、裁剪、翻转、旋转、添加高斯噪声的方式进行数据增强;确认数据集中图像是否存在烟火或秸秆,并标注出它们的具体位置;使用目标检测算法分别训练出烟火检测模型和秸秆检测模型,并通过模型融合形成最终的秸秆焚烧检测模型;利用融合后的秸秆检测模型对指定图像进行检测,确认图像中是否存在秸秆焚烧现象,并定位它们的位置。
基于目标检测技术的秸秆焚烧监测系统通过部署前端、网络传输、图像处理中心、监控平台四个功能模块并联合调用,来实现对重点区域的秸秆焚烧现象的实时监控和预警。
本发明的秸秆焚烧监测方法和系统,对秸秆焚烧现象进行有效的监测,且监测的时效性更好,准确率更高。
附图说明
图1为本发明的方法的流程图。
图2为本发明的系统的框图。
图3为本发明的烟火图像样例。
图4为图3的烟火图像的检测结果。
图5为本发明的秸秆图像样例。
图6为图5的秸秆图像的检测结果。
图7为本发明的秸秆焚烧图像样例。
图8为图7的秸秆焚烧图像的检测结果。
具体实施方式
以下结合附图对本发明的原理和特征进行描述,所举实例只用于解释本发明,并非用于限定本发明的范围。
如图1-2所示,本发明公开了一种基于目标检测技术的秸秆焚烧监测方法,包括如下步骤:
步骤1:利用监控视频和数据挖掘技术收集包含烟火和包含秸秆的图像,分别建立初始的烟火数据集和秸秆数据集;
步骤2:分别对上述的烟火数据集和秸秆数据集进行旋转、平移、缩放、翻转、裁剪、添加适量噪声等方式进行数据增强,扩充数据集;对扩充后的数据集进行图像标注,生成VOC格式的烟火数据集和秸秆数据集;分别从VOC格式的烟火数据集和秸秆数据集中随机选择s%(s的取值范围为10-25)作为烟火测试数据集和秸秆测试数据集,对应VOC数据集的剩余部分则作为训练验证集;从训练验证集中随机选择80%作为烟火训练数据集和秸秆训练数据集,对应的剩余部分则作为烟火验证数据集和秸秆验证数据集;
步骤3:基于烟火训练验证集和秸秆训练验证集,利用YOLOv4目标检测算法,分别训练出烟火检测模型和秸秆检测模型,并对模型进行融合得到融合后的秸秆焚烧检测模型;
步骤4:利用融合的秸秆焚烧检测模型对指定图像进行检测分析,判断该图像中是否存在秸秆焚烧的现象。若存在,则对它们的位置进行定位并标出来;
步骤5:将对图像的检测结果传回终端,并进行相应告警。
所述步骤1中包括如下步骤,
步骤101:通过监控视频抽取相应场景数据、拍摄和数据挖掘技术来获得相应的包含烟火和秸秆的图像和视频
步骤102:利用ffmpeg和(或)opencv从视频中提取出烟火和秸秆的图像帧,对所有图像进行标注,存在烟火或秸秆时标注出它们的位置,生成VOC格式的烟火数据集和秸秆数据集。
所述步骤3包括如下步骤:
步骤301:基于Darknet深度学习框架,利用烟火训练验证集和秸秆训练验证集分别训练YOLOv4模型;选择CSPDarknet53主干、SPP附加模块、PANET路径聚合Neck和YOLOv3头部作为YOLOv4的体系结构;YOLOv4网络结构以数据集中的图像作为输入,以与输入图像中对应目标的位置和类别预测置信度为输出;
步骤302:根据选定的损失函数,利用梯度下降反向传播的方法,对YOLOv4模型中的卷积神经网络的参数进行迭代更新,迭代至设定的最大迭代次数后停止迭代,结束训练,此时得到的网络参数作为最优的网络参数,分别得到初步的烟火检测模型和秸秆检测模型;接着利用烟火验证数据集和秸秆验证数据集,对模型进行微调,得到优化后的烟火检测模型和秸秆检测模型。
步骤303:利用测试集对上述的烟火检测模型和秸秆检测模型分别进行测试,根据测试结果对模型进行调整,将误检和漏检的图片加入训练集,并以先前训练的模型作为预训练模型,重新训练模型,直至测试结果达到要求,此时的模型即为最终的烟火检测模型和秸秆检测模型;
步骤304:对烟火检测模型和秸秆检测模型进行融合,若在图像中检测到的秸秆位置的邻近区域同时检测到烟火现象,则判定图像中存在秸秆焚烧现象,达到融合后的秸秆焚烧检测模型。
对烟火检测模型和秸秆检测模型进行融合,具体为取交集进行模型融合,即在图像中检测到的秸秆位置的邻近区域同时检测到烟火现象,则判定图像中存在秸秆焚烧现象,达到融合后的秸秆焚烧检测模型。
将烟火检测模型和秸秆检测模型融合为秸秆焚烧检测模型,具体步骤如下为:
步骤S1:将数据集中的二维图像作为输入,先利用秸秆检测模型对输入图像进行检测。若图像中存在秸秆,则判定该图像为秸秆图像,定位秸秆位置并输出预测框,若不存在,则不做处理;
步骤S2:利用S1中检测出的秸秆位置,以S1中得到的预测框为基础,进行缩放操作,使新的秸秆区域长宽分别延长为原预测框的2倍,此时新的秸秆区域的面积为原预测框面积的4倍,若扩充秸秆区域某一边时越界,则向相反方向进行延长,若相反方向延伸还越界,则延长至边界即不再延长。利用感兴趣区域对上述图像进行处理,裁剪出新的秸秆区域的图像;
步骤S3:将S2中裁剪出的图像作为输入,利用烟火检测模型对其进行检测,若检测结果为图像中存在烟火现象,则判定为原图像存在秸秆焚烧现象,否则,则判定为不存在秸秆焚烧现象。
所述步骤301中,所述的YOLOv4网络结构,选择CSPDarknet53主干、SPP附加模块、PANET路径聚合Neck和YOLOv3头部作为体系结构,所述的YOLOv4卷积神经网络,使用CSPDarknet53基础卷积网络。
YOLOv4对训练时的输入端进行改进,包括数据增强Mosaic法、cmBN和SAT自对抗训练。Mosaic数据增强采用4张图片,通过随机裁剪、随机缩放、随机排布的方式进行拼接,丰富数据集,增强网络的鲁棒性。
YOLOv4的FPN层输出一个76*76的特征图,分辨率较高,几何细节更丰富,更容易检测较小的烟火或秸秆目标;接着经过两次PAN结构,输出预测的38*38和19*19的特征图,其中38*38的特征图具有中等尺度的感受野,更容易检测中等的烟火或秸秆目标,19*19的特征图具有更大的感受野,语义更清晰,更容易检测大面积的烟火或秸秆目标。
所述步骤301中,所述的YOLOv4模型的卷积神经网络,输出大小不一的三个特征图进行预测。
所述步骤301中,所述YOLOv4模型的卷积神经网络,使用了9个尺度的先验框。
所述9个尺度的先验框,分别是(116×90),(156×198),(373×326),(30×61),(62×45),(59×119),(10×13),(16×30),(33×23)。
所述YOLOv4卷积神经网络,在预测目标类别时使用Logistic函数的输出进行预测,可同时对拥有多个标签的对象进行预测,在火焰、烟雾和秸秆混杂的情况下同时检出三类目标。
所述步骤3中,利用YOLOv4目标检测算法,YOLOv4训练过程中,损失函数Loss的表达式如下:
Figure BDA0002621564580000091
公式(1)中,K表示一张图像中的目标总数,λobj表示区域中是否含有目标,当区域中有目标时,λobj取1,不含时,λobj取0;Lcl表示类别预测损失,Lreg表示位置回归损失,Lconf表示置信度损失。
YOLOv4训练过程中的损失函数Loss是通过类别预测损失、位置回归损失和置信度损失计算得出的。
所述类别预测损失Lcl的计算公式如下:
Figure BDA0002621564580000092
公式(2)中,M表示类别数;Ij表示类别j是否为真实目标的类别,当类别j是真实目标类别时,Ij取1,不是时,Ij取0;clj表示类别j的类别。
所述位置回归损失Lreg的计算公式如下:
Figure BDA0002621564580000093
Figure BDA0002621564580000094
公式(3)中,v是衡量预测框长宽比一致性的参数,α是用于做权衡的参数,d表示预测框和真实框的中心点之间的欧式距离,c表示预测框和真实框的最小外接矩形的对角线的距离,IoU表示预测框和真实框的交并集的比值,gt表示标注的真实框,b表示预测框的中心点,bgt表示真实框的中心点,w和h表示预测框的宽和高,wgt和hgt表示真实框的宽和高,ρ(b,bgt)表示计算预测框和真实框的中心点之间的欧式距离的函数。
所述置信度损失Lconf的计算公式如下:
Lconf=(Pconf-Tconf)2 (4)
公式(4)中,P表示预测值,T表示真实值,conf表示置信度。
本发明还公开了一种基于秸秆焚烧检测模型的秸秆焚烧监测系统,包括:前端模块、网络传输模块、图像处理中心和监控平台;
所述前端模块,用于通过对重点区域部署红外摄像机来实现监控,并收集图像,上传到监控平台和图片识别中心;
所述网络传输模块,用于通过VPN的方式连接前端和监控平台以及图像处理中心,进行数据传输;
所述图像处理中心,用于利用ffmpeg框架,且通过抽帧的方式提取前端传来的视频中的部分帧的图像,通过结合上述的秸秆焚烧检测方法,对提取出来的图像进行算法分析,判断这些图像中是否存在秸秆焚烧现象;
所述监控平台,用于接受前端传来的数据,进行备份,方便用户查看,同时接受图像识别中心传来的检测结果,经过监控人员确认后分配相关人员去存在秸秆焚烧现象的区域现场进行管控。
本发明的系统中,通过对前端、网络传输、图像处理中心、监控平台等四个功能模块的联合调用,来实现对指定区域的秸秆焚烧监测的目的。
本发明的方法中,YOLOv4卷积神经网络的参数设置如下:训练时,设定的网络的初始学习率为0.01,每当迭代到50000次时学习率衰减10倍,直至迭代完成;动量参数为0.9;批处理大小为64;子批处理大小为32;权重衰减正则项参数为0.0001;最大迭代次数为500000次。
本发明公开了一种基于目标监测技术的秸秆焚烧检测方法。该方法包括以下步骤:利用监控视频数据及数据挖掘技术分别建立烟火数据集和秸秆数据集,并使用平移、缩放、裁剪、翻转、旋转、添加噪声的方式进行数据增强;确认数据集中图像是否存在烟火或秸秆,并标注出它们的具体位置;使用目标检测算法分别训练出烟火检测模型和秸秆检测模型,并通过模型融合形成最终的秸秆焚烧检测模型;利用融合后的秸秆检测模型对指定图像进行检测,确认图像中是否存在秸秆焚烧现象,并定位它们的位置。
本发明还公开了一种秸秆焚烧监测系统,通过部署前端、网络传输、图像处理中心、监控平台四个功能模块并联合调用,来实现对重点区域的秸秆焚烧现象的实时监控和预警。
如图3-8,分别是烟火、未焚烧的秸秆、秸秆状态的焚烧的图像的样例及检测结果的样例。由以上几幅图像,可以看出本发明的方法和系统,检测的效果非常明显、准确。
在现有技术中,Pu Li和Wangda Zhao等在期刊Case Studies in ThermalEngineering的2020年第19期公开了名称为“Image fire detection algorithms basedon convolutional neural networks”的论文,其中给出了采用YOLOv3算法模型的检测效果。如下表1为采用本发明的YOLOv4模型的检测效果与现有技术中YOLOv3模型的相关数据对比,能够看出本发明的技术效果明显要比YOLOv3模型的技术效果好。尤其是在帧速率方面,有着非常明显的提高,大大提高了检测的效率。
表1
Figure BDA0002621564580000121
表1中,AP(Average Precision,平均精准度),是行业内评估目标检测性能的标准。
由表1中的基于YOLOv3和YOLOv4的烟火检测模型、秸秆检测模型和秸秆焚烧检测模型的检测性能,可以看出本发明的YOLOv4模型检测的准确性更优,且检测效率有较大的提高。此外,可以看出融合后的YOLOv4秸秆焚烧检测模型的检测性能较好,满足实时检测的要求。通过大量的数据对秸秆焚烧检测模型进行训练以后,随机抽取了1000幅图像进行试验。试验数据证明,其中963幅图像的识别是完全准确的。故此,本发明在秸秆焚烧测试数据集下测试的秸秆焚烧检测模型的准确率为96.3%,而且帧速率达到35fps,检测速度和精度均较优,可用于后续的实时秸秆焚烧监测系统中。
相比于现有技术,本发明利用图像的深度特征对秸秆焚烧现象进行有效的监测,且监测的时效性更好,准确率更高。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外,应当理解,虽然本说明书按照实施方式加以描述,但并非每个实施方式仅包含一个独立的技术方案,说明书的这种叙述方式仅仅是为清楚起见,本领域技术人员应当将说明书作为一个整体,各实施例中的技术方案也可以经适当组合,形成本领域技术人员可以理解的其他实施方式。

Claims (9)

1.一种基于目标检测技术的秸秆焚烧监测方法,其特征在于:
步骤1:利用监控视频和数据挖掘技术收集包含烟火和包含秸秆的图像,分别建立初始的烟火数据集和秸秆数据集;
步骤2:分别对上述的烟火数据集和秸秆数据集进行数据增强,扩充数据集;对扩充后的数据集进行图像标注,生成VOC格式的烟火数据集和秸秆数据集;分别从VOC格式的烟火数据集和秸秆数据集中随机选择出s%的数据作为烟火测试数据集和秸秆测试数据集,对应VOC数据集的剩余部分则作为训练验证集;从训练验证集中随机选择一部分数据作为烟火训练数据集和秸秆训练数据集,剩余部分数据则作为烟火验证数据集和秸秆验证数据集;
步骤3:基于烟火训练验证集和秸秆训练验证集,利用YOLOv4目标检测算法,分别训练出烟火检测模型和秸秆检测模型,并对模型进行融合得到融合后的秸秆焚烧检测模型;
步骤4:利用融合的秸秆焚烧检测模型对指定图像进行检测分析,判断该图像中是否存在秸秆焚烧的现象。若存在,则对它们的位置进行定位并标出来;
步骤5:将对图像的检测结果传回终端,并进行相应告警。
2.根据权利要求1所述的一种基于目标检测技术的秸秆焚烧监测方法,其特征在于:所述步骤1中包括如下步骤,
步骤101:从监控视频中获得包含烟火和秸秆的图像和视频;
步骤102:从视频中提取出烟火和秸秆的图像帧,对所有图像进行标注,存在烟火或秸秆时标注出烟火或秸秆的位置,生成VOC格式的烟火数据集和秸秆数据集。
3.根据权利要求1所述的一种基于目标检测技术的秸秆焚烧监测方法,其特征在于:所述步骤3包括如下步骤:
步骤301:基于Darknet深度学习框架,利用烟火训练验证集和秸秆训练验证集分别训练YOLOv4模型;
步骤302:根据选定的损失函数,对YOLOv4模型中的卷积神经网络的参数进行迭代更新,迭代至设定的最大迭代次数后停止迭代,结束训练;得到初步的烟火检测模型和秸秆检测模型后,对初步的烟火检测模型和秸秆检测模型进行微调,得到优化后的烟火检测模型和秸秆检测模型;
步骤303:利用测试集对上述的烟火检测模型和秸秆检测模型分别进行测试,根据测试结果对模型进行调整,将误检和漏检的图片加入训练集,并以先前训练的模型作为预训练模型,重新训练模型,直至测试结果达到要求,此时的模型即为最终的烟火检测模型和秸秆检测模型;
步骤304:对烟火检测模型和秸秆检测模型进行融合,若在图像中检测到的秸秆位置的邻近区域同时检测到烟火现象,则判定图像中存在秸秆焚烧现象,达到融合后的秸秆焚烧检测模型。
4.根据权利要求3所述的一种基于目标检测技术的秸秆焚烧监测方法,其特征在于:所述步骤301中,所述的YOLOv4网络结构,选择CSPDarknet53主干、SPP附加模块、PANET路径聚合Neck和YOLOv3头部作为体系结构,所述的YOLOv4卷积神经网络,使用CSPDarknet53基础卷积网络。
5.根据权利要求3所述的一种基于目标检测技术的秸秆焚烧监测方法,其特征在于:所述步骤301中,所述YOLOv4模型的卷积神经网络,使用了9个尺度的先验框。
6.根据权利要求1所述的一种基于目标检测技术的秸秆焚烧监测方法,其特征在于:所述步骤3中,利用YOLOv4目标检测算法,YOLOv4训练过程中,损失函数Loss的表达式如下:
Figure FDA0002621564570000021
公式(1)中,K表示一张图像中的目标总数,λobj表示区域中是否含有目标,当区域中有目标时,λobj取1,不含时,λobj取0;Lcl表示类别预测损失,Lreg表示位置回归损失,Lconf表示置信度损失。
7.根据权利要求6所述的一种基于目标检测技术的秸秆焚烧监测方法,其特征在于:所述类别预测损失Lcl的计算公式如下:
Figure FDA0002621564570000031
公式(2)中,M表示类别数;Ij表示类别j是否为真实目标的类别,当类别j是真实目标类别时,Ij取1,不是时,Ij取0;clj表示类别j的类别。
8.根据权利要求6所述的一种基于目标检测技术的秸秆焚烧监测方法,其特征在于:所述置信度损失Lconf的计算公式如下:
Lconf=(Pconf-Tconf)2 (4)
公式(4)中,P表示预测值,T表示真实值,conf表示置信度。
9.一种基于秸秆焚烧检测模型的秸秆焚烧监测系统,包括:前端模块、网络传输模块、图像处理中心和监控平台;
所述前端模块,用于通过对重点区域部署红外摄像机来实现监控,并收集图像,上传到监控平台和图片识别中心;
所述网络传输模块,用于通过VPN的方式连接前端和监控平台以及图像处理中心,进行数据传输;
所述图像处理中心,用于利用ffmpeg框架,且通过抽帧的方式提取前端传来的视频中的部分帧的图像,通过结合上述的秸秆焚烧检测方法,对提取出来的图像进行算法分析,判断这些图像中是否存在秸秆焚烧现象;
所述监控平台,用于接受前端传来的数据,进行备份,方便用户查看,同时接受图像识别中心传来的检测结果,经过监控人员确认后分配相关人员去存在秸秆焚烧现象的区域现场进行管控。
CN202010784840.7A 2020-08-06 2020-08-06 一种基于目标检测技术的秸秆焚烧监测方法和系统 Pending CN111985365A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010784840.7A CN111985365A (zh) 2020-08-06 2020-08-06 一种基于目标检测技术的秸秆焚烧监测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010784840.7A CN111985365A (zh) 2020-08-06 2020-08-06 一种基于目标检测技术的秸秆焚烧监测方法和系统

Publications (1)

Publication Number Publication Date
CN111985365A true CN111985365A (zh) 2020-11-24

Family

ID=73446047

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010784840.7A Pending CN111985365A (zh) 2020-08-06 2020-08-06 一种基于目标检测技术的秸秆焚烧监测方法和系统

Country Status (1)

Country Link
CN (1) CN111985365A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112633174A (zh) * 2020-12-23 2021-04-09 电子科技大学 一种基于改进的YOLOv4高穹顶场景下火灾检测方法、存储介质
CN112651966A (zh) * 2021-01-18 2021-04-13 厦门大学嘉庚学院 一种基于acyolov4_csp的印刷电路板微小缺陷检测方法
CN112750117A (zh) * 2021-01-15 2021-05-04 重庆邮电大学 一种基于卷积神经网络的血液细胞图像检测与计数方法
CN112785561A (zh) * 2021-01-07 2021-05-11 天津狮拓信息技术有限公司 一种基于改进Faster RCNN预测模型的二手商用车车况检测方法
CN113033529A (zh) * 2021-05-27 2021-06-25 北京德风新征程科技有限公司 基于图像识别的预警方法、装置、电子设备和介质
CN113792638A (zh) * 2021-09-07 2021-12-14 上海电力大学 基于Parallelogram-YOLOv4的火电厂雨排口污染物识别方法
CN114985305A (zh) * 2022-05-27 2022-09-02 安徽国祯生态科技有限公司 一种秸秆质量检测分类系统及方法
CN115100587A (zh) * 2022-05-25 2022-09-23 水利部珠江水利委员会水文局 基于多元数据的区域乱采监测方法及装置
CN115294456A (zh) * 2022-08-23 2022-11-04 山东巍然智能科技有限公司 一种建筑物亮化工程检测方法、设备及存储介质
CN115410099A (zh) * 2022-07-12 2022-11-29 东莞理工学院 基于xml位置信息的高分辨率图像小目标训练方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019144575A1 (zh) * 2018-01-24 2019-08-01 中山大学 一种快速行人检测方法及装置
CN111091072A (zh) * 2019-11-29 2020-05-01 河海大学 一种基于YOLOv3的火焰及浓烟检测方法
CN111462451A (zh) * 2019-11-01 2020-07-28 武汉纺织大学 基于视频信息的秸秆焚烧检测报警系统
US20200242202A1 (en) * 2019-01-29 2020-07-30 Shenzhen Fugui Precision Ind. Co., Ltd. Fire development situation prediction device and method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019144575A1 (zh) * 2018-01-24 2019-08-01 中山大学 一种快速行人检测方法及装置
US20200242202A1 (en) * 2019-01-29 2020-07-30 Shenzhen Fugui Precision Ind. Co., Ltd. Fire development situation prediction device and method
CN111462451A (zh) * 2019-11-01 2020-07-28 武汉纺织大学 基于视频信息的秸秆焚烧检测报警系统
CN111091072A (zh) * 2019-11-29 2020-05-01 河海大学 一种基于YOLOv3的火焰及浓烟检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ALEXEY BOCHKOVSKIY等: ""YOLOv4: Optimal Speed and Accuracy of Object Detection"", 《HTTPS://ARXIV.ORG/ABS/2004.10934》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112633174A (zh) * 2020-12-23 2021-04-09 电子科技大学 一种基于改进的YOLOv4高穹顶场景下火灾检测方法、存储介质
CN112785561A (zh) * 2021-01-07 2021-05-11 天津狮拓信息技术有限公司 一种基于改进Faster RCNN预测模型的二手商用车车况检测方法
CN112750117B (zh) * 2021-01-15 2024-01-26 河南中抗医学检验有限公司 一种基于卷积神经网络的血液细胞图像检测与计数方法
CN112750117A (zh) * 2021-01-15 2021-05-04 重庆邮电大学 一种基于卷积神经网络的血液细胞图像检测与计数方法
CN112651966A (zh) * 2021-01-18 2021-04-13 厦门大学嘉庚学院 一种基于acyolov4_csp的印刷电路板微小缺陷检测方法
CN113033529A (zh) * 2021-05-27 2021-06-25 北京德风新征程科技有限公司 基于图像识别的预警方法、装置、电子设备和介质
CN113792638A (zh) * 2021-09-07 2021-12-14 上海电力大学 基于Parallelogram-YOLOv4的火电厂雨排口污染物识别方法
CN113792638B (zh) * 2021-09-07 2024-03-05 上海电力大学 基于Parallelogram-YOLOv4的火电厂雨排口污染物识别方法
CN115100587A (zh) * 2022-05-25 2022-09-23 水利部珠江水利委员会水文局 基于多元数据的区域乱采监测方法及装置
CN114985305A (zh) * 2022-05-27 2022-09-02 安徽国祯生态科技有限公司 一种秸秆质量检测分类系统及方法
CN114985305B (zh) * 2022-05-27 2024-04-26 安徽国祯生态科技有限公司 一种秸秆质量检测分类系统及方法
CN115410099B (zh) * 2022-07-12 2023-09-05 东莞理工学院 基于xml位置信息的高分辨率图像小目标训练方法及系统
CN115410099A (zh) * 2022-07-12 2022-11-29 东莞理工学院 基于xml位置信息的高分辨率图像小目标训练方法及系统
CN115294456A (zh) * 2022-08-23 2022-11-04 山东巍然智能科技有限公司 一种建筑物亮化工程检测方法、设备及存储介质

Similar Documents

Publication Publication Date Title
CN111985365A (zh) 一种基于目标检测技术的秸秆焚烧监测方法和系统
WO2020078229A1 (zh) 目标对象的识别方法和装置、存储介质、电子装置
CN112068111A (zh) 一种基于多传感器信息融合的无人机目标侦测方法
KR102203135B1 (ko) 드론을 이용한 인공지능 기반 재난 피해정보 탐지 방법 및 시스템
CN111091072A (zh) 一种基于YOLOv3的火焰及浓烟检测方法
CN112001339A (zh) 一种基于YOLO v4的行人社交距离实时监测方法
CN105930822A (zh) 一种人脸抓拍方法及系统
CN104463869B (zh) 一种视频火焰图像复合识别方法
CN111723656B (zh) 一种基于YOLO v3与自优化的烟雾检测方法及装置
CN113284144B (zh) 一种基于无人机的隧道检测方法及装置
CN114399734A (zh) 一种基于视觉信息的森林火灾预警方法
CN113281780B (zh) 对图像数据进行标注的方法、装置及电子设备
CN105139429A (zh) 一种基于火焰显著图和空间金字塔直方图的火灾检测方法
KR102559586B1 (ko) 인공지능을 이용한 구조물 외관 점검 시스템 및 방법
CN112465854A (zh) 基于无锚点检测算法的无人机跟踪方法
CN114120171A (zh) 基于视频帧的火灾烟雾检测方法、装置、设备及存储介质
CN111898427A (zh) 一种基于特征融合深度神经网络的多光谱行人检测方法
Kaliyev et al. Computer Vision-based Fire Detection using Enhanced Chromatic Segmentation and Optical Flow Model
CN105869184A (zh) 基于路径分析的林火烟雾图像检测方法
CN117392495A (zh) 一种基于特征融合的视频火焰检测方法及系统
CN111860646A (zh) 基于神经网络的森林火灾检测方法
CN112422895A (zh) 基于无人机的图像分析跟踪、定位系统及方法
CN111428695A (zh) 一种基于深度学习与地域特征的秸秆燃烧检测方法
CN113627493A (zh) 一种基于卷积神经网络模型的火灾检测方法
Zhu et al. Research on Violence Detection Algorithm based on Multi-UAV

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201124