CN111462451B - 基于视频信息的秸秆焚烧检测报警系统 - Google Patents
基于视频信息的秸秆焚烧检测报警系统 Download PDFInfo
- Publication number
- CN111462451B CN111462451B CN202010393464.9A CN202010393464A CN111462451B CN 111462451 B CN111462451 B CN 111462451B CN 202010393464 A CN202010393464 A CN 202010393464A CN 111462451 B CN111462451 B CN 111462451B
- Authority
- CN
- China
- Prior art keywords
- image
- smoke
- area
- suspected
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 77
- 239000010902 straw Substances 0.000 title claims abstract description 53
- 239000000779 smoke Substances 0.000 claims abstract description 154
- 238000010801 machine learning Methods 0.000 claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 24
- 238000000034 method Methods 0.000 claims description 41
- 230000000007 visual effect Effects 0.000 claims description 36
- 238000003062 neural network model Methods 0.000 claims description 31
- 238000013527 convolutional neural network Methods 0.000 claims description 25
- 238000002485 combustion reaction Methods 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 18
- 238000010586 diagram Methods 0.000 claims description 13
- 238000004458 analytical method Methods 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 8
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 5
- 238000012706 support-vector machine Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 238000003066 decision tree Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 claims description 3
- 229910052742 iron Inorganic materials 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 abstract description 4
- 230000006399 behavior Effects 0.000 abstract description 2
- 239000000284 extract Substances 0.000 abstract 1
- 230000004044 response Effects 0.000 abstract 1
- MWUXSHHQAYIFBG-UHFFFAOYSA-N Nitric oxide Chemical compound O=[N] MWUXSHHQAYIFBG-UHFFFAOYSA-N 0.000 description 3
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 2
- UGFAIRIUMAVXCW-UHFFFAOYSA-N Carbon monoxide Chemical compound [O+]#[C-] UGFAIRIUMAVXCW-UHFFFAOYSA-N 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010304 firing Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 229910002092 carbon dioxide Inorganic materials 0.000 description 1
- 239000001569 carbon dioxide Substances 0.000 description 1
- 229910002091 carbon monoxide Inorganic materials 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000009264 composting Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000003546 flue gas Substances 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000002309 gasification Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 244000005700 microbiome Species 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 239000007800 oxidant agent Substances 0.000 description 1
- 230000001590 oxidative effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/12—Alarms for ensuring the safety of persons responsive to undesired emission of substances, e.g. pollution alarms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
- G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Emergency Management (AREA)
- Business, Economics & Management (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Environmental & Geological Engineering (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Toxicology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Fire-Detection Mechanisms (AREA)
Abstract
本发明属于环保领域，公开了一种基于视频信息的秸秆焚烧检测报警系统，包括视频采集单元、图像处理单元和显示报警单元。视频采集单元通过架设在高处的云台摄像机采集实时的视频信息，并利用网络传输至服务器；图像处理单元首先从服务器的视频流中提取待检测的图像，然后通过机器学习算法识别烟雾来判断是否有焚烧秸秆的行为；显示报警单元当检测到有疑似焚烧秸秆行为时，会保存当前时刻的图像信息，可视化显示并及时发出可视化的报警信息。本发明通过对焚烧秸秆产生的烟雾利用机器学习算法进行识别，能做有效地对秸秆焚烧实时报警，同时还能对森林火灾进行及时预警，采用固定在高处的摄像机，还拥有运行可靠、检测范围广、响应速度快等优点。
Description
技术领域
本发明属于环保领域，具体涉及一种基于视频信息的秸秆焚烧检测报警系统。
背景技术
秸秆的露天焚烧属于低温焚烧，不能够完全燃烧，其烟气中含有大量的一氧化碳、二氧化碳、氮氧化物、光化学氧化剂和悬浮颗粒物等，不仅会造成大气污染，而且在一定程度上加重雾霾的发生，不仅如此，各地区每到收获的季节因为焚烧秸秆而引发火灾的事情时有发生。为保护生态环境，防止秸秆焚烧污染，保障人体健康，维护公共安全，早在1999年环保部就发布了《秸秆禁烧和综合利用管理办法》，设立禁烧区的同时大力推广机械化秸秆还田、秸秆饲料开发、秸秆气化、秸秆微生物高温快速沤肥和秸秆工业原料开发等多种形式的综合利用。而如今政府每天都会用卫星监测秸秆焚烧情况，并对监测到的火点进行汇总发布，各地环保局也出台了相应的焚烧管理办法，对焚烧工作极为重视，每年夏秋季收获时节，环保部、农业部及各地政府都会投入大量的人力监控焚烧秸秆的情况。但秸秆焚烧现象仍然屡禁不止，每年的秸秆中仍有3亿多吨被当作废弃物直接焚烧或扔掉，给大气质量、生态环境和火灾防护都造成了极大的危害。
公开号为CN107977018A的中国专利“基于双目立体视觉和无人机的秸秆焚烧监测方法”是通过无人机检测红外热源异常区域并用计算机对图像进行三维重建，这种方式存在无人机成本高，稳定性差，需要经常对无人机进行维护，三维重建需要大量的计算资源，检测准确率也远不如机器学习方法等缺陷。公开号为CN109100467A的中国专利“一种基于低空遥感的秸秆焚烧监控装置和系统”是通过对空气进行检测，分析判断是否为秸秆焚烧产生的粉尘空气，但是这种装置可测面积很小，远不如摄像机所能监测的范围。
发明内容
本发明的目的是提供一种基于视频信息的秸秆焚烧检测报警系统，能够利用视频采集单元对田间进行监测，实现烟雾识别的智能化，从而提高烟雾识别的准确率，降低模型的误报率。
为了解决上述技术问题，本发明的技术方案是：一种基于视频信息的秸秆焚烧检测报警系统，它包括图像处理单元、与图像处理单元输入端连接的视频采集单元，与图像处理单元输出端连接的显示报警单元；
视频采集单元用于采集检测地的实时视频信息并通过网络传输至服务器；
图像处理单元用于从采集到的视频中提取待检测的图像，通过机器学习算法进行分析判断是否存在燃烧产生的烟雾；
显示报警单元用于当检测到有疑似焚烧秸秆图像时，保存疑似的图像并在网页或终端上可视化显示，并发出报警信息。
优选的方案中，所述视频采集单元包括摄像机和云台；
摄像机种类包括枪机摄像机、半球摄像机、球机摄像机、定焦摄像机或变焦摄像机；
摄像机和云台架设在铁塔或其他高处，通过云台定时转动实现大范围无死角监控；
所述视频采集单元采集视频后，通过通信基站的有线或无线网络将视频流传输至服务器中。
优选的方案中，所述图像处理单元包括图像获取和算法分析两个步骤；
所述图像获取是从服务器的视频流中每隔一段时间取出一帧图像；
所述的算法分析是通过机器学习算法，对燃烧产生的烟雾提前进行训练，然后测试取出的图像中是否存在疑似燃烧产生的烟雾。
优选的方案中，所述的机器学习算法，对燃烧产生的烟雾提前进行训练，采用的具体步骤如下：
S01、采集数据集，包括有秸秆焚烧烟雾的图像和没有烟雾的图像，其中有烟雾的作为正样本，没有烟雾的作为负样本；
S02、根据不同机器学习算法需求，对样本进行裁剪、标注处理,然后输入到机器算法进行训练，并分别使用正样本和负样本数据集测试模型准确率；
S03、当准确率符合预期要求时，保存训练模型，测试时调用训练模型进行识别。
优选的方案中，在进行机器学习算法时，包括支持向量机、决策树、卷积神经网络、RCNN、Fast RCNN、YOLO、Mask RCNN、Cascade RCNN中的一种或多种机器学习算法的结合；
其中一种结合的步骤如下：
S11、使用深度学习算法对采集到的图像进行第一次检测；
S12、筛选出步骤S11检测中误报的图像，构成新的数据集，然后选用其他算法训练新的数据集，并保存训练模型；
S13、利用步骤S12中保存的训练模型对步骤S11的检测结果再次检测，若两次结果均包含烟雾区域则视为检测到有疑似焚烧秸秆图像。
优选的方案中，所述的算法分析采用帧差法与神经网络结合的烟雾检测方法，对秸秆燃烧的烟雾进行检测，包括以下步骤：
S21、利用帧差法，对烟雾检测区域采集的实时视频中的前后连续的图像帧进行处理，得到差值图像；
S22、对差值图像进行特征强化，得到强化后的特征图；
所述特征强化采用最大类间方差法；
S23、根据特征图，获取疑似烟雾候选区；
S24、将疑似烟雾候选区作为烟雾检测神经网络模型的输入，进行烟雾检测；
所述烟雾检测神经网络模型包括依次连接的卷积神经网络、RPN网络、全连接层，卷积神经网络用于提取输入图片的特征，RPN网络用于推荐候选区域，并利用RoI Pooling层将输出转换为固定大小。
优选的方案中，所述的步骤S21中，帧差法为改进的帧差法，包括以下步骤：
S211、将连续的两帧图像分别沿像素坐标系的横轴、纵轴切分，切分成固定大小的像素块，计算像素块的所有像素点各个通道的像素值的均值，逐个将像素块的像素点各通道的像素值更新为所有像素点的像素值的均值；
像素值的计算式如下：
i＝1,2…,M，
式中i代表第i个像素块，Block(i)代表第i个像素块的像素点的像素值，Ri，Gi和Bi分别代表第i个像素块中所有像素点R分量，G分量和B分量的总和；N为像素块的像素点的数量；M为图像切分的像素块的数量；
S212、将经过步骤S211处理的两帧图像的相同坐标的像素块的像素点的像素值求差，对差值取绝对值，得到差值图像。
优选的方案中，所述的算法分析采用基于地域特征的烟雾检测神经网络模型算法，具体步骤为：
S31、视频采集单元采集不同视角的场景的图像，并对每个视角的场景的图像中不可能出现烟雾的区域进行标定，设为无烟区；
S32、从拍摄的实时图像序列中获取图像；利用烟雾检测神经网络模型对获取的图像进行烟雾识别并定位出图像中的疑似烟雾区域；
烟雾检测神经网络模型包括依次连接的卷积神经网络、RPN网络和全连接层，卷积神经网络用于提取输入图片的特征，RPN网络用于推荐候选区域，并利用RoI Pooling层将输出转换为固定大小；
S33、将包含有疑似烟雾区域的图像进行视角识别，确定视角后，相对于相同视角的无烟区进行位置重合率计算，从而进行疑似烟雾候选区的过滤；
所述视角识别，是将包含有疑似烟雾区域的图像与步骤S31的每个视角的场景的图像进行匹配，利用像素点的对比度和亮度，进行相似度计算，找到最相似的场景的图像，确定包含有疑似烟雾区域的图像的视角；
所述位置重合率计算，若疑似烟雾候选区与无烟区的重合率超过阈值R，则判断疑似烟雾候选区为无效的候选区。
优选的方案中，所述的重合率计算，是利用疑似烟雾区域的坐标值与相同视角的无烟区的坐标值进行计算，得到重合区域的坐标值，根据重合区域的面积与无烟区面积的比值即重合区域的占比进行重合率的计算；
所述阈值R为0.3。
优选的方案中，当检测到图像中存在燃烧产生的烟雾时，框选出烟雾的区域并保存图像并存入数据库中，通过网页或App可视化显示报警的图像和详细信息，同时发出报警信息。
本发明提供的一种基于视频信息的秸秆焚烧检测报警系统，与现有技术相比，具有以下的有益效果：
1、本发明提供的秸秆焚烧检测报警系统通过对焚烧秸秆产生的烟雾进行检测，能够及早的预警焚烧秸秆行为，同时还能预防火灾的发生。
2、本发明采用的摄像机加云台进行视频采集，具有采集范围大、运行稳定可靠、全方位无死角等优点。
3、本发明采用机器学习算法进行检测，测试准确度高，能够实现实时检测和预警。
4、优选的方案中，本发明的方法利用帧差法、图像增强技术确定图像中是否有疑似烟雾候选区对实时图像进行筛选，再利用神经网络模型对疑似烟雾候选区进行烟雾检测，减小了神经网络模型的计算量，有效提高了秸秆燃烧检测的实时性。
5、本发明对实时图像进行筛选，确定疑似烟雾候选区，再利用神经网络模型进行烟雾识别，有效提高了烟雾检测的准确率，降低了误报率；采用改进的帧差法，确定差值图像中的连通域，在保证烟雾检测效率的前提下，简化了计算，降低了复杂度，使得本发明的方法省时、高效；本发明的烟雾检测神经网络模型，比Faster R-CNN神经网络模型更加精简，降低了神经网络的复杂度，实现了对秸秆燃烧烟雾的准确检测。
6、在另一优选的方案中，本发明对神经网络识别出的疑似烟雾候选区进行无烟区过滤，提高了烟雾检测的效率，减小了误报率；利用卷积神经网络提取特征图，利用RPN网络进行推荐候选区域，优化了烟雾检测神经网络模型的结构，使得烟雾检测神经网络模型的烟雾检测更高效、可靠；采用少量样本对烟雾检测神经网络模型进行训练即能保证秸秆燃烧的烟雾识别的准确率，解决了样本不充足的问题。
7、本发明采用多种渠道的报警，可以有效减少报警被人为遗漏的几率。提示相关单位及时干预，对减少环境污染具有重要意义。利用人工智能代替人工，节省人力。
附图说明
下面结合附图和实施例对本发明作进一步说明。
图1为本发明的结构框图。
图2为本发明图像处理单元从视频流中抽取的图片示意图。
图3为本发明的网页可视化显示报警信息示意图。
图4为本发明的帧差法烟雾检测方法的流程示意图。
图5a为本发明的帧差法中对实时图像划分像素块的示意图。
图5b为本发明的帧差法中划分像素块并对像素块取均值后的图像示意图
图6为本发明的帧差法中确定疑似烟雾候选区的示意图。
图7为本发明的基于地域特征的检测方法的流程示意图。
图8为本发明的场景图像包括无烟区房屋的示意图。
图9为本发明的场景图像中检测出的疑似烟雾区域与无烟区重合的示意图。
图10为本发明的烟雾检测神经网络模型的结构示意图。
具体实施方式
实施例1：
如图1～3中，一种基于视频信息的秸秆焚烧检测报警系统，它包括图像处理单元、与图像处理单元输入端连接的视频采集单元，与图像处理单元输出端连接的显示报警单元；
视频采集单元用于采集检测地的实时视频信息并通过网络传输至服务器；
图像处理单元用于从采集到的视频中提取待检测的图像，通过机器学习算法进行分析判断是否存在燃烧产生的烟雾；
显示报警单元用于当检测到有疑似焚烧秸秆图像时，保存疑似的图像并在网页或终端上可视化显示，并发出报警信息。
优选的方案中，所述视频采集单元包括摄像机和云台；
摄像机种类包括枪机摄像机、半球摄像机、球机摄像机、定焦摄像机或变焦摄像机；
摄像机和云台架设在铁塔或其他高处，通过云台定时转动实现大范围无死角监控；
所述视频采集单元(1)采集视频后，通过通信基站的有线或无线网络将视频流传输至服务器中。
实施例2：
优选的方案中，所述图像处理单元(2)包括图像获取和算法分析两个步骤；
所述图像获取是从服务器的视频流中每隔一段时间取出一帧图像；
所述的算法分析是通过机器学习算法，对燃烧产生的烟雾提前进行训练，然后测试取出的图像中是否存在疑似燃烧产生的烟雾。
优选的方案中，所述的机器学习算法，对燃烧产生的烟雾提前进行训练，采用的具体步骤如下：
S01、采集数据集，包括有秸秆焚烧烟雾的图像和没有烟雾的图像，其中有烟雾的作为正样本，没有烟雾的作为负样本；
S02、根据不同机器学习算法需求，对样本进行裁剪、标注等方式处理,然后输入到机器算法进行训练，并分别使用正样本和负样本数据集测试其准确率；
S03、当准确率符合预期要求时，保存训练模型，测试时调用训练模型进行识别。
优选的方案中，在进行机器学习算法时，包括支持向量机、决策树、卷积神经网络、RCNN、Fast RCNN、YOLO、Mask RCNN、Cascade RCNN中的一种或多种机器学习算法的结合；
其中一种结合的步骤如下：
S11、使用如图10中深度学习算法对采集到的图像进行第一次检测；
S12、筛选出步骤S11检测中误报的图像，构成新的数据集，然后选用支持向量机算法训练新的数据集，并保存训练模型；
S13、利用支持向量机的训练模型对第一步的检测结果再次检测，若两次结果均包含烟雾区域则视为检测到有疑似焚烧秸秆图像。如图3中所示。
实施例3：
在实施例1的基础上，优选的方案如图4～6中，所述的算法分析采用帧差法与神经网络结合的烟雾检测方法，对秸秆燃烧的烟雾进行检测，包括以下步骤：
S21、利用帧差法，对烟雾检测区域采集的实时视频中的前后连续的图像帧进行处理，得到差值图像；
S22、采用最大类间方差法对差值图像进行特征强化，得到强化后的特征图；
S23、根据特征图，获取疑似烟雾候选区；
获取特征图中面积大于12×12的连通域，保持连通域中心点不变，将连通域扩充到80×80的方形区，根据连通域的位置坐标，框定实时图像帧的相同区域作为疑似烟雾候选区，如图4所示；
S24、将疑似烟雾候选区作为烟雾检测神经网络模型的输入，进行烟雾检测；
S25、将烟雾检测的结果通过网页或手机终端app向管理人员或工作人员发布、报警。
所述烟雾检测神经网络模型包括依次连接的卷积神经网络、RPN网络、全连接层，卷积神经网络用于提取输入图片的特征，RPN网络用于推荐候选区域，并利用RoI Pooling层将输出转换为固定大小。
优选的方案中，所述的步骤S21中，采用改进的帧差法，改进的帧差法包括以下步骤：
S211、将连续的两帧图像分别沿像素坐标系的横轴、纵轴切分，切分成固定大小的像素块，计算像素块的所有像素点各个通道的像素值的均值，逐个将像素块的像素点各通道的像素值更新为所有像素点的像素值的均值；如图5a，图5b所示。
像素值的计算式如下：
i＝1,2…,M，
式中i代表第i个像素块，Block(i)代表第i个像素块的像素点的像素值，Ri，Gi和Bi分别代表第i个像素块中所有像素点R分量，G分量和B分量的总和；N为像素块的像素点的数量；M为图像切分的像素块的数量；
S212、将经过步骤S211处理的两帧图像的相同坐标的像素块的像素点的像素值求差，对差值取绝对值，得到差值图像。
最大类间方差法由日本学者大津(Nobuyuki Otsu)提出，是一种自适应的阈值分割方法，在间类方差最大的情况下，选取最佳阈值，达到最佳分割，将图像上的像素进行二分类，分类后分别进行强化。
如图10中所示，烟雾检测神经网络模型包括依次连接的卷积神经网络、RPN网络和全连接层，卷积神经网络用于提取输入图片的特征，RPN网络用于推荐候选区域，并利用RoIPooling层将输出转换为固定大小。卷积神经网络包括10个conv层、10个rule层，4个Pooling层。优选的烟雾检测神经网络模型比Faster R-CNN神经网络模型更加精简，降低了模型的复杂度。
采用上述烟雾检测方法的烟雾检测系统，包括依次连接的候选区生成单元、烟雾检测单元、烟雾报警单元。候选区生成单元，利用改进的帧差法、最大类间方差法从实时的图像序列中获取含有疑似烟雾图像的候选区；烟雾检测单元，利用烟雾检测神经网络模型对疑似烟雾图像的候选区进行检测，确定含有烟雾的图像；烟雾报警单元，对疑似烟雾检测单元处理结果的进行应答，检测出秸秆燃烧的烟雾时，向管理人员发出报警信息。烟雾报警单元将报警信息通过短信、邮件发送给管理人员。本例中的帧差法与神经网络结合的烟雾检测系统，可以实时准确的对秸秆燃烧的情况进行检测。且相比于现有技术而言，极大减少了计算量和计算成本，降低了对图像处理单元处理性能的要求，可提高实时性。
实施例4：
在实施例1的基础上，优选的方案如图7～10中，所述的算法分析采用基于地域特征的烟雾检测神经网络模型算法，具体步骤为：
S31、视频采集单元采集不同视角的场景的图像，并对每个视角的场景的图像中不可能出现烟雾的区域进行标定，设为无烟区；本例中选择30米高的通信塔塔顶作为观测处，在通信塔塔顶安装摄像机，摄像机的镜头可围绕摄像机云台的纵轴水平地旋转以改变摄像机拍摄的视角，摄像机的镜头一次旋转60°，6次旋转回归到初始视角，拍摄时通过旋转摄像机镜头采集6个不同的视角的场景的图像，摄像机拍摄时采用固定焦距。
S32、从拍摄的实时图像序列中获取图像；利用烟雾检测神经网络模型对获取的图像进行烟雾识别并定位出图像中的疑似烟雾区域；
烟雾检测神经网络模型包括依次连接的卷积神经网络、RPN网络和全连接层，卷积神经网络用于提取输入图片的特征，RPN网络用于推荐候选区域，并利用RoI Pooling层将输出转换为固定大小；
S33、将包含有疑似烟雾区域的图像进行视角识别，确定视角后，相对于相同视角的无烟区进行位置重合率计算，从而进行疑似烟雾候选区的过滤；
所述视角识别，是将包含有疑似烟雾区域的图像与步骤S31的每个视角的场景的图像进行匹配，利用像素点的对比度和亮度，进行相似度计算，找到最相似的场景的图像，确定包含有疑似烟雾区域的图像的视角；利用像素点的方法如峰值信噪比、结构相似性、直方图方法、矩阵分解法。
所述位置重合率计算，若疑似烟雾候选区与无烟区的重合率超过阈值R，则判断疑似烟雾候选区为无效的候选区。
优选的方案中，所述的重合率计算，是利用疑似烟雾区域的坐标值与相同视角的无烟区的坐标值进行计算，得到重合区域的坐标值，根据重合区域的面积与无烟区面积的比值即重合区域的占比进行重合率的计算；所述阈值R为0.3。即疑似烟雾候选区与无烟对象的目标框的重合率超过0.3，则判断疑似烟雾候选区为无效的候选区。无烟区的对象包括房屋、湖泊、河流。
如图10中，烟雾检测神经网络模型包括依次连接的卷积神经网络、RPN网络和全连接层，卷积神经网络用于提取输入图片的特征，RPN网络用于推荐候选区域，并利用RoIPooling层将输出转换为固定大小。卷积神经网络包括10个conv层、10个rule层，4个Pooling层。实施例的烟雾检测神经网络模型比Faster R-CNN神经网络模型更加精简，降低了模型的复杂度。
优选的方案中，当检测到图像中存在燃烧产生的烟雾时，框选出烟雾的区域并保存图像并存入数据库中，通过网页或App可视化显示报警的图像和详细信息，同时发出报警信息。
本例中采用本发明的疑似烟雾候选区过滤的烟雾检测方法相比不采用疑似烟雾候选区过滤的烟雾检测方法，误报率从77.2％降低为26.1％。
上述的实施例仅为本发明的优选技术方案，而不应视为对于本发明的限制，本申请中的实施例及实施例中的技术特征在不冲突的情况下，可以相互任意组合。本发明的保护范围应以权利要求记载的技术方案，包括权利要求记载的技术方案中技术特征的等同替换方案为保护范围。即在此范围内的等同替换改进，也在本发明的保护范围之内。
Claims (5)
1.一种基于视频信息的秸秆焚烧检测报警系统，其特征是：它包括图像处理单元、与图像处理单元输入端连接的视频采集单元，与图像处理单元输出端连接的显示报警单元；
视频采集单元用于采集检测地的实时视频信息并通过网络传输至服务器；
图像处理单元用于从采集到的视频中提取待检测的图像，通过机器学习算法进行分析判断是否存在燃烧产生的烟雾；
所述图像处理单元包括图像获取和算法分析两个步骤；
所述图像获取是从服务器的视频流中每隔一段时间取出一帧图像；
所述的算法分析是通过机器学习算法，对燃烧产生的烟雾提前进行训练，然后测试取出的图像中是否存在疑似燃烧产生的烟雾；
所述的机器学习算法，对燃烧产生的烟雾提前进行训练，采用的具体步骤如下：
S01、采集数据集，包括有秸秆焚烧烟雾的图像和没有烟雾的图像，其中有烟雾的作为正样本，没有烟雾的作为负样本；
S02、根据不同机器学习算法需求，对样本进行裁剪、标注处理,然后输入到机器算法进行训练，并分别使用正样本和负样本数据集测试模型准确率；
S03、当准确率符合预期要求时，保存训练模型，测试时调用训练模型进行识别；
所述的算法分析采用基于地域特征的烟雾检测神经网络模型算法，具体步骤为：
S31、视频采集单元采集不同视角的场景的图像，并对每个视角的场景的图像中不可能出现烟雾的区域进行标定，设为无烟区；
S32、从拍摄的实时图像序列中获取图像；利用烟雾检测神经网络模型对获取的图像进行烟雾识别并定位出图像中的疑似烟雾区域；
烟雾检测神经网络模型包括依次连接的卷积神经网络、RPN网络和全连接层，卷积神经网络用于提取输入图片的特征，RPN网络用于推荐候选区域，并利用RoI Pooling层将输出转换为固定大小；
S33、将包含有疑似烟雾区域的图像进行视角识别，确定视角后，相对于相同视角的无烟区进行位置重合率计算，从而进行疑似烟雾候选区的过滤；
所述视角识别，是将包含有疑似烟雾区域的图像与步骤S31的每个视角的场景的图像进行匹配，利用像素点的对比度和亮度，进行相似度计算，找到最相似的场景的图像，确定包含有疑似烟雾区域的图像的视角；
所述位置重合率计算，若疑似烟雾候选区与无烟区的重合率超过阈值R，则判断疑似烟雾候选区为无效的候选区；
所述的算法分析采用帧差法与神经网络结合的烟雾检测方法，对秸秆燃烧的烟雾进行检测，包括以下步骤：
S21、利用帧差法，对烟雾检测区域采集的实时视频中的前后连续的图像帧进行处理，得到差值图像；
S22、对差值图像进行特征强化，得到强化后的特征图；
所述特征强化采用最大类间方差法；
S23、根据特征图，获取疑似烟雾候选区；
S24、将疑似烟雾候选区作为烟雾检测神经网络模型的输入，进行烟雾检测；
所述烟雾检测神经网络模型包括依次连接的卷积神经网络、RPN网络、全连接层，卷积神经网络用于提取输入图片的特征，RPN网络用于推荐候选区域，并利用RoI Pooling层将输出转换为固定大小；
所述的步骤S21中，帧差法为改进的帧差法，包括以下步骤：
S211、将连续的两帧图像分别沿像素坐标系的横轴、纵轴切分，切分成固定大小的像素块，计算像素块的所有像素点各个通道的像素值的均值，逐个将像素块的像素点各通道的像素值更新为所有像素点的像素值的均值；
像素值的计算式如下：
i＝1,2…,M，
式中i代表第i个像素块，Block(i)代表第i个像素块的像素点的像素值，Ri，Gi和Bi分别代表第i个像素块中所有像素点R分量，G分量和B分量的总和；N为像素块的像素点的数量；M为图像切分的像素块的数量；
S212、将经过步骤S211处理的两帧图像的相同坐标的像素块的像素点的像素值求差，对差值取绝对值，得到差值图像；
显示报警单元用于当检测到有疑似焚烧秸秆图像时，保存疑似的图像并在网页或终端上可视化显示，并发出报警信息。
2.根据权利要求1所述的秸秆焚烧检测报警系统，其特征是：所述视频采集单元包括摄像机和云台；
摄像机种类包括枪机摄像机、半球摄像机、球机摄像机、定焦摄像机或变焦摄像机；
摄像机和云台架设在铁塔或其他高处，通过云台定时转动实现大范围无死角监控；
所述视频采集单元采集视频后，通过通信基站的有线或无线网络将视频流传输至服务器中。
3.根据权利要求1所述的秸秆焚烧检测报警系统，其特征是：在进行机器学习算法时，包括支持向量机、决策树、卷积神经网络、RCNN、Fast RCNN、YOLO、Mask RCNN、Cascade RCNN中的一种或多种机器学习算法的结合；
其中一种结合的步骤如下：
S11、使用深度学习算法对采集到的图像进行第一次检测；
S12、筛选出步骤S11检测中误报的图像，构成新的数据集，然后选用其他算法训练新的数据集，并保存训练模型；
S13、利用步骤S12中保存的训练模型对步骤S11的检测结果再次检测，若两次结果均包含烟雾区域则视为检测到有疑似焚烧秸秆图像。
4.根据权利要求1所述的秸秆焚烧检测报警系统，其特征是：所述的重合率计算，是利用疑似烟雾区域的坐标值与相同视角的无烟区的坐标值进行计算，得到重合区域的坐标值，根据重合区域的面积与无烟区面积的比值即重合区域的占比进行重合率的计算；
所述阈值R为0.3。
5.根据权利要求1～4任一项所述的秸秆焚烧检测报警系统，其特征是，当检测到图像中存在燃烧产生的烟雾时，框选出烟雾的区域并保存图像并存入数据库中，通过网页或App可视化显示报警的图像和详细信息，同时发出报警信息。
Applications Claiming Priority (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2019110578701 | 2019-11-01 | ||
| CN2019110578716 | 2019-11-01 | ||
| CN2019110579210 | 2019-11-01 | ||
| CN201911057921 | 2019-11-01 | ||
| CN201911057871 | 2019-11-01 | ||
| CN201911057870 | 2019-11-01 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111462451A CN111462451A (zh) | 2020-07-28 |
| CN111462451B true CN111462451B (zh) | 2022-04-26 |
Family
ID=71681384
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010393464.9A Active CN111462451B (zh) | 2019-11-01 | 2020-05-11 | 基于视频信息的秸秆焚烧检测报警系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111462451B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111985365A (zh) * | 2020-08-06 | 2020-11-24 | 合肥学院 | 一种基于目标检测技术的秸秆焚烧监测方法和系统 |
| CN112213244B (zh) * | 2020-10-27 | 2023-10-10 | 中国科学院合肥物质科学研究院 | 基于机器学习的机动车尾气林格曼黑度测量装置及方法 |
| CN112396023A (zh) * | 2020-11-30 | 2021-02-23 | 北京华正明天信息技术股份有限公司 | 基于机器学习的火灾检测方法 |
| CN112945394B (zh) * | 2021-01-21 | 2023-08-29 | 国网北京市电力公司 | 一种热成像多点测温装置及方法 |
| CN112818886A (zh) * | 2021-02-09 | 2021-05-18 | 广州富港万嘉智能科技有限公司 | 飘尘检测方法、可读存储介质、飘尘检测机及智能食品机 |
| CN112927198B (zh) * | 2021-02-22 | 2024-02-02 | 浙江华感科技有限公司 | 烟雾检测方法及设备 |
| CN113283332A (zh) * | 2021-05-20 | 2021-08-20 | 国电南瑞科技股份有限公司 | 一种消防机器人火焰识别方法、设备及存储介质 |
| CN114566028B (zh) * | 2022-02-21 | 2024-05-07 | 招商蛇口数字城市科技有限公司 | 电动车充电风险监测方法、装置及存储介质 |
| CN114399719B (zh) * | 2022-03-25 | 2022-06-17 | 合肥中科融道智能科技有限公司 | 一种变电站火灾视频监测方法 |
| CN115187929B (zh) * | 2022-08-24 | 2023-03-24 | 长扬科技(北京)股份有限公司 | 一种两级异动策略的ai视觉检测方法及装置 |
| CN116091935B (zh) * | 2023-04-07 | 2023-08-01 | 四川三思德科技有限公司 | 森林防火烟雾报警抗农业作业干扰处理方法及装置和介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102015200784A1 (de) * | 2015-01-20 | 2016-07-21 | Robert Bosch Gmbh | Multi-Kamera-Videobranderkennung |
| CN106339657A (zh) * | 2015-07-09 | 2017-01-18 | 张�杰 | 基于监控视频的秸秆焚烧监测方法、装置 |
| CN106650600A (zh) * | 2016-10-17 | 2017-05-10 | 东南大学 | 一种基于视频图像分析的森林烟火检测方法 |
| CN107067412A (zh) * | 2017-04-01 | 2017-08-18 | 江苏移动信息系统集成有限公司 | 一种多信息融合的视频火焰烟雾检测方法 |
| CN107742307A (zh) * | 2017-10-25 | 2018-02-27 | 哈尔滨理工大学 | 基于改进帧差法的输电线路舞动特征提取及参数分析方法 |
| CN108777777A (zh) * | 2018-05-04 | 2018-11-09 | 江苏理工学院 | 一种基于深度神经网络的监控视频秸秆焚烧巡检方法 |
| CN109598891A (zh) * | 2018-12-24 | 2019-04-09 | 中南民族大学 | 一种利用深度学习分类模型实现烟雾检测的方法和系统 |
| CN110032977A (zh) * | 2019-04-18 | 2019-07-19 | 北京华正明天信息技术股份有限公司 | 一种基于深度学习图像火灾识别的安全预警管理系统 |
| CN110322659A (zh) * | 2019-06-21 | 2019-10-11 | 江西洪都航空工业集团有限责任公司 | 一种烟雾检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104410830A (zh) * | 2014-12-01 | 2015-03-11 | 天津艾思科尔科技有限公司 | 一种基于视频烟雾检测的装置与方法 |
-
2020
- 2020-05-11 CN CN202010393464.9A patent/CN111462451B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102015200784A1 (de) * | 2015-01-20 | 2016-07-21 | Robert Bosch Gmbh | Multi-Kamera-Videobranderkennung |
| CN106339657A (zh) * | 2015-07-09 | 2017-01-18 | 张�杰 | 基于监控视频的秸秆焚烧监测方法、装置 |
| CN106650600A (zh) * | 2016-10-17 | 2017-05-10 | 东南大学 | 一种基于视频图像分析的森林烟火检测方法 |
| CN107067412A (zh) * | 2017-04-01 | 2017-08-18 | 江苏移动信息系统集成有限公司 | 一种多信息融合的视频火焰烟雾检测方法 |
| CN107742307A (zh) * | 2017-10-25 | 2018-02-27 | 哈尔滨理工大学 | 基于改进帧差法的输电线路舞动特征提取及参数分析方法 |
| CN108777777A (zh) * | 2018-05-04 | 2018-11-09 | 江苏理工学院 | 一种基于深度神经网络的监控视频秸秆焚烧巡检方法 |
| CN109598891A (zh) * | 2018-12-24 | 2019-04-09 | 中南民族大学 | 一种利用深度学习分类模型实现烟雾检测的方法和系统 |
| CN110032977A (zh) * | 2019-04-18 | 2019-07-19 | 北京华正明天信息技术股份有限公司 | 一种基于深度学习图像火灾识别的安全预警管理系统 |
| CN110322659A (zh) * | 2019-06-21 | 2019-10-11 | 江西洪都航空工业集团有限责任公司 | 一种烟雾检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111462451A (zh) | 2020-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111462451B (zh) | 基于视频信息的秸秆焚烧检测报警系统 | |
| CN101751744B (zh) | 一种烟雾检测和预警方法 | |
| CN111047818A (zh) | 一种基于视频图像的森林火灾预警系统 | |
| CN112084963B (zh) | 一种监控预警方法、系统及存储介质 | |
| CN107437318B (zh) | 一种可见光智能识别算法 | |
| CN106331636A (zh) | 基于行为事件触发的输油管道智能视频监控系统及方法 | |
| CN113516076A (zh) | 一种基于注意力机制改进的轻量化YOLO v4安全防护检测方法 | |
| CN106339657B (zh) | 基于监控视频的秸秆焚烧监测方法、装置 | |
| CN111985365A (zh) | 一种基于目标检测技术的秸秆焚烧监测方法和系统 | |
| CN111446920A (zh) | 光伏电站监控方法、装置及系统 | |
| CN112863100B (zh) | 一种智能施工安全监测系统及方法 | |
| CN108389359A (zh) | 一种基于深度学习的城市火灾报警方法 | |
| CN111476964A (zh) | 一种远程森林防火监控系统与方法 | |
| CN111899452A (zh) | 基于边缘计算的森林防火预警系统 | |
| CN110473375A (zh) | 森林火灾的监测方法、装置、设备和系统 | |
| CN112188164A (zh) | 一种基于ai视觉的违规行为实时监测系统及方法 | |
| CN109410497A (zh) | 一种基于深度学习的桥洞空间安全监测与报警系统 | |
| CN201091014Y (zh) | 一种火灾探测装置 | |
| CN116846059A (zh) | 一种用于电网巡检和监控的边缘检测系统 | |
| CN111461076A (zh) | 帧差法与神经网络结合的烟雾检测方法和检测系统 | |
| Luo | Research on fire detection based on YOLOv5 | |
| CN110930632A (zh) | 一种基于人工智能的预警系统 | |
| CN114067396A (zh) | 基于视觉学习的居配工程现场试验数字化管理系统及方法 | |
| CN113627321A (zh) | 基于人工智能的图像识别方法、装置及计算机设备 | |
| CN113657201A (zh) | 船员行为监测分析方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |