CN114140732A - 面向小样本条件下的消防火源检测方法、装置及存储介质 - Google Patents
面向小样本条件下的消防火源检测方法、装置及存储介质 Download PDFInfo
- Publication number
- CN114140732A CN114140732A CN202111502053.XA CN202111502053A CN114140732A CN 114140732 A CN114140732 A CN 114140732A CN 202111502053 A CN202111502053 A CN 202111502053A CN 114140732 A CN114140732 A CN 114140732A
- Authority
- CN
- China
- Prior art keywords
- fire source
- fire
- image data
- detection
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 88
- 238000003860 storage Methods 0.000 title claims abstract description 7
- 238000000034 method Methods 0.000 claims abstract description 62
- 238000012549 training Methods 0.000 claims abstract description 19
- 238000004422 calculation algorithm Methods 0.000 claims description 22
- 238000009499 grossing Methods 0.000 claims description 12
- 230000001965 increasing effect Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims description 4
- 238000003331 infrared imaging Methods 0.000 claims description 4
- 238000007500 overflow downdraw method Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 230000002708 enhancing effect Effects 0.000 abstract description 2
- 238000011897 real-time detection Methods 0.000 abstract description 2
- 230000001133 acceleration Effects 0.000 description 14
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 6
- 238000011161 development Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000002265 prevention Effects 0.000 description 3
- 238000003892 spreading Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000002507 cathodic stripping potentiometry Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 101100498818 Arabidopsis thaliana DDR4 gene Proteins 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000017525 heat dissipation Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
- G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
- G08B29/18—Prevention or correction of operating errors
- G08B29/185—Signal analysis techniques for reducing or preventing false alarms or for enhancing the reliability of the system
- G08B29/186—Fuzzy logic; neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Automation & Control Theory (AREA)
- Fuzzy Systems (AREA)
- Computer Security & Cryptography (AREA)
- Fire-Detection Mechanisms (AREA)
Abstract
本发明提供了一种面向小样本条件下的消防火源检测方法、装置及存储介质，属于目标检测及工业部署领域，包括：收集工业现场的火源图像数据；构建火源检测模型；将火源图像数据输入火源检测模型中，通过火源检测模型对火源图像数据进行分析，获得检测结果；所述检测结果包括火源的具体位置、精度和类别。该方法缓解了小样本条件下，数据的样本量不够，训练困难的问题，使用不同的增强方法，大幅增加了样本的数量和质量，提升了模型的过拟合能力；通过本方法解决小目标检测难的问题，提升了小目标的检测精度，实现工业现场端到端实时检测。
Description
技术领域
本发明属于目标检测及工业部署领域，具体涉及一种面向小样本条件下的消防火源检测方法、装置及存储介质。
背景技术
火灾的防控工作一直是广大人民备受关注的公共安全问题之一，火灾带给人类的痛苦和损失是巨大的，对社会产生的破坏都是不可逆的，对于火灾的探测与防控是必不可少的。目前火灾探测器被广泛应用于火灾检测中，但是单一的火灾探测器检测结果往往不够可靠，检测速度也无法达到实时的效果。Ting等提出了多传感器数据融合算法将采集到的火灾物理参数进行融合。但是火灾探测器有很多局限性，设备必须接近火源，属于接触性探测，而且必须等待火灾发生一定时间后产生大量的烟雾，CO等火灾物理参数后才能够触发报警，而且无法清楚地感知到火灾的大小、详细位置信息等，给火灾检测带来了很大的不便。
随着社会经济和技术的不断发展，采用计算机视觉的火灾探测技术得到了广泛的应用，如今视频监控系统遍布工业现场的各个角落，利用现有的视频监控系统实现火灾检测，不仅能够降低成本，而且还能提高检测火灾的能力。卷积神经网络CNN主要实现了火灾图像和非火灾图像的分类，往往没有考虑与火相似的物体，对于类火物体存在很多的误报。到目前为止，各种改进版的CNN相继出现，这些方法主要分为两类：(1)两阶段法(TwoStage)，主要思路是先通过启发式方法或者CNN网络产生一系列稀疏的候选框，然后对这些候选框进行分类和回归。这类方法的优点是准确度高，但往往速度较慢，如FasterR-CNN、Centernet2等。(2)单阶段法(One Stage)，主要思路是均匀地在图片的不同位置上密集抽样，然后利用CNN提取特征后直接分类和回归，输出物体的分类概率和坐标，整个过程只需一步，因此速度较快，如SSD、YOLOv5、RetinaNet等。
在工业应用中通常难以获得大量的可用样本，因此上述方法大多是基于小样本进行检测，小样本之所以称之为小样本就是因为在工业应用中通常很难获得大量的可用样本，同时在工业现场由于所采集的场景幅度巨大，导致检测到目标占原图的比例很少的一部分，目标特性不能充分体现，这也是检测的难点所在。小样本检测比小样本分类的难点在于：首先，不但要识别类别还需要确定目标位置；检测不但要提取关于分类的高层语义信息，还要学习关于定位的低层特征；前景和背景容易混淆；回归参数难以从源数据集中获取。上述检测方法尚未解决该问题。
因此，本申请提出一种面向小样本条件下的消防火源检测方法。
发明内容
为了克服上述现有技术存在的不足，本发明提供了一种面向小样本条件下的消防火源检测方法、装置及存储介质。
为了实现上述目的，本发明提供如下技术方案：
一种面向小样本条件下的消防火源检测方法，包括以下步骤：
收集工业现场的火源图像数据；
构建火源检测模型；
将火源图像数据输入火源检测模型中，通过火源检测模型对火源图像数据进行分析，获得检测结果；所述检测结果包括火源的具体位置、精度和类别；
所述构建火源检测模型具体包括：
将轻量级注意力模块CBAM引入YOLOv5算法的主干网，构建CBAM结构；
在YOLOv5算法的预测层Prediction中引入标签平滑方法Label Smoothing；
在YOLOv5算法中引入数据增强方法Mosaic9，构成YOLOv5改进模型；
利用火源图像数据对所述YOLOv5改进模型进行训练，得到火源检测的模型权重，获得火源检测模型。
优选地，所述收集工业现场的火源图像数据具体为：
采用红外成像和可见光成像摄像头采集不同场景下的火源视频数据，并将火源视频数据进行保存。
优选地，在利用火源图像数据对所述YOLOv5改进模型进行训练之前，对所述火源图像数据进行预处理，包括：
对采集到的火源图像数据进行标注，包括标注图像的目标位置信息和类信息，获得标签文件；
对标签文件进行数据增强，增加火源图像数据的样本量和火源图像中的火源目标个数；
利用数据增强后的火源图像数据对所述YOLOv5改进模型进行训练。
优选地，所述对标签文件进行数据增强包括：
通过对火源图像数据进行翻转、平移、缩放，增加火源图像数据的样本量；
通过填鸭式数据增强方法增加火源图像中的火源目标个数。
优选地，所述填鸭式数据增强方法的处理过程包括：
读取标签文件，判断该文件中是否有需要进行增强的目标；
复制进行增强的目标，对复制出来的目标进行随机转换；
将随机转换后的目标粘贴到原图上或者其它图像上；
若粘贴的新目标与原有目标不重叠，则采用泊松融合的方法，将新目标粘贴到图像上，获得增强后的图像和标签。
优选地，所述填鸭式数据增强方法对目标物体进行随机转换的方式为：大小改变±20％，角度旋转±15°。
优选地，所述标签平滑方法Label Smoothing获得的平滑后的标签为：
其中，qi表示真实标签，ε表示常数，K表示分类的类别数。
根据权利要求4所述的面向小样本条件下的消防火源检测方法，其特征在于，所述数据增强方法Mosaic9指的是对9张图像随机裁剪、随机缩放、随机排列组合成一张图片。
优选地，在互联网端收集其他场景的现有火源图像数据，通过数据增强后的火源图像数据及现有火源图像数据共同对所述YOLOv5改进模型进行训练。
本发明还提供一种检测驾驶员分心的装置，(这里)包括存储器、处理器以及存储在所述存储器中并可以在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述面向小样本条件下的消防火源检测方法。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述面向小样本条件下的消防火源检测方法。
本发明提供的面向小样本条件下的消防火源检测方法具有以下有益效果：
(1)缓解了小样本条件下，数据的样本量不够，训练困难的问题，使用不同的增强方法，大幅增加了样本的数量和质量，提升了模型的过拟合能力。
(2)工业现场采集的图像中小目标情况居多，通过本方法解决小目标检测难的问题，提升了小目标的检测精度。
附图说明
为了更清楚地说明本发明实施例及其设计方案，下面将对本实施例所需的附图作简单地介绍。下面描述中的附图仅仅是本发明的部分实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1的面向小样本条件下的消防火源检测方法的流程图；
图2为数据增强流程图；
图3为YOLOv5的整体架构；
图4为骨干网络嵌入的CBAM结构的示意图；
图5为模型转换流程图；
图6为将本发明的方法应用到工业中的总流程图；
图7为模型推理流程图。
具体实施方式
为了使本领域技术人员更好的理解本发明的技术方案并能予以实施，下面结合附图和具体实施例对本发明进行详细说明。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例1
本发明提供了一种面向小样本条件下的消防火源检测方法，具体如图1所示，包括以下步骤：
步骤1、收集工业现场的火源图像数据，具体为：
采用红外成像和可见光成像摄像头采集不同场景下的火源视频数据，并将火源视频数据进行保存，并将其转换成一张张的图片用于网络模型的训练。
本发明使用的实验数据集为自制的Fire-Detection Dataset，所有图像均取自工业现场采集的图片，选取4783张带有火源(Fire)的图像。
步骤2、构建火源检测模型
步骤2.1、优化YOLOv5算法
(1)将轻量级注意力模块CBAM引入YOLOv5算法的主干网，构建CBAM结构；
本实施例中采用现有的YOLOv5算法，YOLOv5的整体架构如图3所示。YOLOv5算法是一种单阶段目标检测算法，该算法在YOLOv4的基础上添加了一些新的改进思路，使其速度与精度都得到了极大的性能提升。在模型训练阶段，提出了一些改进思路，主要包括Mosaic数据增强、自适应锚框计算、自适应图片缩放。在骨干部分融合其它检测算法中的一些新思路，主要包括：Focus结构与CSP结构。目标检测网络在BackBone与最后的Head输出层之间往往会插入一些层，Yolov5中添加了FPN+PAN结构。输出层的锚框机制与YOLOv4相同，主要改进的是训练时的损失函数GIOU_Loss，以及预测框筛选的DIOU_nms。
从图3可以看出，YOLOv5与YOLOv4在结构上基本相似，YOLOv5在Backbone和Neck中使用了两种不同的CSP。在Backbone中，使用带有残差结构的CSP1_X，因为Backbone网络较深，残差结构的加入使得层和层之间进行反向传播时，梯度值得到增强，有效防止网络加深时所引起的梯度消失，得到的特征粒度更细。在Neck中使用CSP2_X，相对于单纯的CBL将主干网络的输出分成了两个分支后将其concat，使网络对特征的融合能力得到加强，保留了更丰富的特征信息。YOLOv5增加Focus结构，对图片进行切片操作，以3x608x 608的图片作为输入，经过切片操作后，变成12x 304x 304的特征图，最后使用32个卷积核进行一次卷积，变成32x 304x 304的特征图，通过这种切片结构，可以保留更多的细粒度特征。
目前YOLOv5因其快速、准确、轻量化等诸多优点，被广泛使用在工业界。本发明主要集中在以YOLOv5为基准，在此基础上对其算法进行改进并将其应用于实际项目中，达到较好的结果。
在火灾检测中，收集到数据集中存在许多小目标。因此，本发明将轻量级注意力模块CBAM引入主干网，以构建CBAM结构，如图4所示。CBAM是一个结合了通道和空间的注意力模块，它能让网络知道重点去关注哪一部分，相应实现重要特征的突出表现，同时抑制不那么突出的特征。
它依次沿通道和空间的两个独立维度推断注意力权重，然后将注意力权重与输入特征映射相乘以进行自适应特征优化。注意力模块提高了特征提取网络对大场景下的小目标的特征表达能力，提高了对小尺度火源目标的聚焦能力。
(2)在YOLOv5算法的预测层Prediction中引入标签平滑方法LabelSmoothing。
标签平滑最早应用于分类算法中，后引入目标检测算法中。目标检测算法分为分类与回归两个分支，其主要作用于分类分支，属于正则化方法中的一种。它的主要思想是对真实标签(ground truth)的分布进行改造，使其不再遵循one-hot形式，标签平滑方法Label Smoothing获得的平滑后的标签为：
其中表示qi真实标签，ε是一个非常小的常数，K代表分类的类别数。经过LabelSmoothing后能够减少模型过度依赖标签的问题，有效改善标签准确性不高的情况。在YOLOv5的预测层Prediction引入Label Smoothing标签平滑方法，提高检测框标签的准确率。
(3)在YOLOv5算法中引入数据增强方法Mosaic9，构成YOLOv5改进模型。
YOLOv5中除了使用基本的数据增强方法外，还使用了Mosaic数据增强方法，本实施例就是将四张图片，进行随机裁剪、缩放后再随机排布拼接后形成一张图片，实现丰富数据集目标的同时，增加了小目标样本，提升网络训练速度；在进行归一化操作时，也会一次性计算四张图片，mini-batch则不需要很大，使得模型的内存需求降低。由于本发明采集的数据集中目标大小占比都偏少，所以本发明采用Mosaic方法的增强版Mosaic9，即对9张图片随机裁剪、随机缩放、随机排列组合成一张图片，对新合成的图片放入网络中进行训练，该Mosaic9增强方法使目标检测性能更加好，尤其是小目标检测性能提升最多。
步骤2.2、对所述火源图像数据进行预处理，如图2所示，包括：
步骤2.2.1、对采集到的火源图像数据进行标注，包括标注图像的目标位置信息和类信息，获得标签文件。
具体为，使用LabelImg标注软件进行标注，将图像中标注的目标位置信息和类信息存储为训练需要的XML文件，形成标签文件。由于从工业现场上采集到的火灾图像数量有限且场景单一，为了让网络能够更好地学习到目标特征，需要对数据集进行数据拓展。
步骤2.2.2、对标签文件进行数据增强，增加火源图像数据的样本量和火源图像中的火源目标个数。
(1)常用的数据增强方法有翻转、旋转、平移、缩放等。旋转和水平翻转进行数据增强，训练集图像的角度变换增强了训练模型对不同角度图像的鲁棒性，提高了模型的泛化能力。通过常用的数据增强方法，本发明可以线下成倍提高数据集的张数，增加样本量，解决小样本条件下的样本量不足的问题。
(2)在本发明采集到的数据中，不仅样本量偏少同时存在大量的小目标，这是因为起火一般都是由一处小火苗引起的，在工业消防领域中本发明也需要在火势未扩张之前检测到火源的存在并发出报警信息，及时处理，因此对小目标的准确检测就尤为重要。检测小物体可以通过增加输入图像分辨率或通过融合高分辨率特征与低分辨率图像的高维特征来解决。然而，这种使用较高分辨率的方法增加了计算开销，并且没有解决小物体和大物体之间的不平衡。因此本发明决定采用复制粘贴式数据增强，通过填鸭式数据增强方法增加样本中的目标个数。填鸭式数据增强方法是复制图中目标物体，对其进行随机转换(大小改变±20％，角度旋转±15°)，粘贴到新位置，并确保粘贴的对象不与任何现有的对象重叠和距图像边界至少五个像素。
填鸭式数据增强具体处理过程为：
通过读取标签文件，判断是否是要进行增强的目标以及读取是否属于小目标；
满足条件的话就开始复制该个目标，对复制出来的目标进行随机转换，
将随机转换后的目标粘贴到原图上或者其它图像上，并判断粘贴的新目标是否与原有目标重叠(通过IOU阈值判断)；
小于设定的IOU阈值就继续进行下一步，采用泊松融合的方法，将新目标粘贴到图像上(使用该方法是为了粘贴新目标的时候与原图像没有违和感)；
将获得增强后的图像和标签进行保存即可。
该方法解决了少样本条件下样本量少以及小目标位置缺乏多样性，包含信息少等问题，在同一张图上能匹配出更多的小目标的正样本，提高了小目标的检测精度。
步骤2.2.4、在互联网端寻找一些相关火源图像数据集，重新标注并加入到数据集中，增加数据集场景的多样性，提高样本质量，减少训练过程中可能会出现过拟合的现象，提高机器学习模型泛化能力，解决小样本条件下的困局。
步骤2.3、通过数据增强后的火源图像数据及现有火源图像数据共同对所述YOLOv5改进模型进行训练，得到火源检测的模型权重，获得检测精度高的火源检测模型。
在模型训练阶段，将动量(Momentum)设置为0.9，优化器为Adam优化器，衰变值(Decay)为0.0005、批尺寸(Batch size)为2，训练轮数(epoch)为200。使用小批量随机梯度下降进行优化，初始学习率(Learning rate)为0.01。本发明代码训练实验环境为：InterCore i5-10600KF CPU@4.10GHz，32GB内存，NVIDIA GeForce RTX 2060Ti，Windows 10，64位操作系统。编程语言为Python，深度学习框架为pytorch1.7，GPU加速库为CUDA10.2和CUDNN7.6.4。本发明工程应用实验环境为研华工控机和鲲云星空加速卡X3。
步骤3、将实时采集到的火源图像数据输入火源检测模型中，通过火源检测模型对火源图像数据进行分析，获得检测结果。检测结果包括火源的具体位置(左上角坐标和右下角坐标)、精度及类别等。
检测过程具体为通过训练好的模型权重对实时采集的图像进行检测，通过模型权重学习到的火源目标的特征及一系列参数等判断该实时采集的图像上是否有火源以及火源的位置信息等。
在上述检测方法的前提下，本实施例还对模型进行了部署，本发明实现在电脑客户端实现目标检测的功能，在Windows系统下，使用GPU训练神经网络，得到训练好火源检测的模型权重。移动互联网的飞速发展，使得越来越多基于深度学习的应用出现在移动设备上和工业常用的工控机上，为人们生活带来了极大的方便同时也为工业消防提供了实时监测。
下面对本实施例提供的火源检测模型进行工业应用开发工具及环境配置：
研华工控机：工控机(IPC-610L)4U高14槽背板架装工业机箱，配置前置风扇，主要特点有：用户界面友好，带前置过滤网易于维护，支持250WATXPFC PS/2电源，前置电源和HDD状态指示灯，抗振荡抗冲击，能在高温下稳定工作，防震设计的驱动器台可以容下3个5.25寸及1个3.5寸前端驱动器，灵活的机械设计支持PS/2单电源和冗余电源。研华工控机在工业领域被大量使用且性能稳定，备受客户青睐。
鲲云星空加速卡：鲲云星空X3加速卡是全球首款搭载CAISA芯片的数据流架构深度学习推断设备，使用RainBuilder编译工具进行编译部署，鲲云工具链RainBuilder是鲲云CAISA架构对应的开发和部署工具链，包含编译器(RbCompiler)、运行时(RbRuntime)和驱动(RbDriver)三个部分，其中编译器用于将已训练好的深度学习网络转译成CAISA引擎兼容的表达形式，运行和驱动共同组成了CAISA加速处理时的软件层程序。X3加速卡是一款工业级HHHL(半高半长)单槽规格的PCIe板卡，其功耗小于60W。峰值性能达到10.9TOPS，芯片利用率高达95.4％接口采用PCIe 3.0x8，内存板载8GB DDR4，电源PCIe供电，散热方式主动散热(单风扇)工作温度-20℃～70℃，外形尺寸169.5mm x 69.6mm。
得益于其轻量化的规格特点，这款高性能加速卡可以与不同类型的计算机设备进行适配，包括个人电脑、工业计算机、网络视频录像机、工作站、服务器等。鲲云加速卡主芯片为CAISA，由于加速卡主芯片CAISA的独特的数据流架构，X3加速卡可以支持大多数常用的深度学习算子。因此从设计的角度来说，任何搭载该款芯片的设备均可以加速绝大多数主流的深度学习网络，且实现低延迟高芯片使用率(理论上使用率可达95.4％甚至更高)的加速效果。鲲云加速卡有国产GPU之称，在同等性能条件下，鲲云加速卡在推理端有着自己独特的优势，能很好嵌入到各种设备端，实现端到端的推理。
模型转换
本发明的YOLOv5改进算法训练好后得到的是一个yolov5.pt的权重，将其部署到工控机上并使用鲲云加速卡进行推理加速，首先需要完成模型转换，模型转换流程图如图5所示。
Pytorch模型转SG_IR，需提前在运行路径中存放模型文件，文件含有模型的.pt文件和该模型对应的图像前处理文件preprocess.py，使用RbCli指令，将对应的输入模型转换成初始的SG-IR。量化是将初始的SG-IR进行低比特数据压缩的过程，以上一步生成的浮点SG-IR为输入，输出8bit整型SG-IR。流图的量化需要指定图像的预处理程序、量化范围，以及量化数据集路径等。将量化后的SG_IR放入可执行文件中，运行程序即可在鲲云加速卡端做推理应用。
在实际使用时，如图6和图7所示，包括以下实施步骤：
鲲云加速卡运行需提前安装好PCIE驱动并打开device-manager服务。本发明用JS(JavaScript)语言开发一套智能消防可视化平台系统，并将推理端的代码嵌入进去，实现界面可视化操作。
JS语言是一种输入网络的高级脚本语言，已经被广泛用于Web应用开发，为网页添加各式各样的动态功能，为用户提供更流畅美观的浏览效果。
摄像头采用定制的红外成像和可见光成像雄迈摄像头，雄迈摄像头在现场采集到的视频流通过rtsp协议将其传送到工控机上同时开启鲲云加速卡做推理，一台工控机可同时通过网线连入多台摄像头，实现多网口并行做推理。检测结果显示在智能化平台上，该平台会显示当前场景是否有火源，如果检测到火源，会快速准确定位到其位置，并显示到窗口界面上。如果检测到有火源会输出一个报警信号，该信号通过串口传输到报警箱中，发出报警信号提醒用户发现火源，直到火源被扑灭报警箱停止工作，工作流程如图7所示。
本发明针对火灾检测这一特定领域及传统火灾探测器检测范围有限精度低时间长以及工业消防领域样本量少等问题，提出一种基于数据增强的改进的YOLOv5火灾检测方法，对收集到的数据进行一系列增强操作，提高数据集的质量和数量，在YOLOv5结构上微调，添加注意力模块，提高特征提取的表达能力，通过改进的Mosaic9增强，提升了小目标的检测精度，提高了对火灾检测的效果，特别是对小样本条件下的检测。实验表明该模型能够实现精准、快速的火灾检测，将改进的模型移植到研华工控机上并使用鲲云加速卡进行推理加速，实现工业现场端到端实时处理，并配置智能化界面实现可视化效果。与传统的采用传感器检测火灾相比而言，本发明提出火灾检测系统具有实时、直观、便捷等诸多优点，能准确定位起火的源头，尤其在查询火灾发生的原因及责任归属上有着极其显著的作用，并能很好的部署到各种工业现场。
本发明可在边缘端国产鲲云加速卡上部署检测模型，能很好的提升检测性能，同时节约开发成本及提高工业安保性。实现工业现场端到端实时检测，通过智能消防可视化界面监测摄像头、工控机、报警箱等一整套设备，实现智能消防一体化。
以上所述实施例仅为本发明较佳的具体实施方式，本发明的保护范围不限于此，任何熟悉本领域的技术人员在本发明披露的技术范围内，可显而易见地得到的技术方案的简单变化或等效替换，均属于本发明的保护范围。
Claims (10)
1.一种面向小样本条件下的消防火源检测方法，其特征在于，包括以下步骤：
收集工业现场的火源图像数据；
构建火源检测模型；
将火源图像数据输入火源检测模型中，通过火源检测模型对火源图像数据进行分析，获得检测结果；所述检测结果包括火源的具体位置、精度和类别；
所述构建火源检测模型具体包括：
将轻量级注意力模块CBAM引入YOLOv5算法的主干网，构建CBAM结构；
在YOLOv5算法的预测层Prediction中引入标签平滑方法Label Smoothing；
在YOLOv5算法中引入数据增强方法Mosaic9，构成YOLOv5改进模型；
利用火源图像数据对所述YOLOv5改进模型进行训练，得到火源检测的模型权重，获得火源检测模型。
2.根据权利要求1所述的面向小样本条件下的消防火源检测方法，其特征在于，所述收集工业现场的火源图像数据具体为：
采用红外成像和可见光成像摄像头采集不同场景下的火源视频数据，并将火源视频数据进行保存。
3.根据权利要求2所述的面向小样本条件下的消防火源检测方法，其特征在于，在利用火源图像数据对所述YOLOv5改进模型进行训练之前，对所述火源图像数据进行预处理，包括：
对采集到的火源图像数据进行标注，包括标注图像的目标位置信息和类信息，获得标签文件；
对标签文件进行数据增强，增加火源图像数据的样本量和火源图像中的火源目标个数；
利用数据增强后的火源图像数据对所述YOLOv5改进模型进行训练。
4.根据权利要求3所述的面向小样本条件下的消防火源检测方法，其特征在于，所述对标签文件进行数据增强包括：
通过对火源图像数据进行翻转、平移、缩放，增加火源图像数据的样本量；
通过填鸭式数据增强方法增加火源图像中的火源目标个数。
5.根据权利要求4所述的面向小样本条件下的消防火源检测方法，其特征在于，所述填鸭式数据增强方法的处理过程包括：
读取标签文件，判断该文件中是否有需要进行增强的目标；
复制进行增强的目标，对复制出来的目标进行随机转换；
将随机转换后的目标粘贴到原图上或者其它图像上；
若粘贴的新目标与原有目标无重叠，则采用泊松融合的方法，将新目标粘贴到图像上，获得增强后的图像和标签。
6.根据权利要求1所述的面向小样本条件下的消防火源检测方法，其特征在于，所述标签平滑方法Label Smoothing获得的平滑后的标签为：
其中，qi表示真实标签，ε表示常数，K表示分类的类别数。
7.根据权利要求4所述的面向小样本条件下的消防火源检测方法，其特征在于，所述数据增强方法Mosaic9指的是对9张图像随机裁剪、随机缩放、随机排列组合成一张图片。
8.根据权利要求3所述的面向小样本条件下的消防火源检测方法，其特征在于，在互联网端收集其他场景的现有火源图像数据，通过数据增强后的火源图像数据及现有火源图像数据共同对所述YOLOv5改进模型进行训练。
9.一种面向小样本条件下的消防火源检测装置，包括存储器、处理器以及存储在所述存储器中并可以在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111502053.XA CN114140732A (zh) | 2021-12-09 | 2021-12-09 | 面向小样本条件下的消防火源检测方法、装置及存储介质 |
| US17/662,210 US11818493B2 (en) | 2021-12-09 | 2022-05-05 | Fire source detection method and device under condition of small sample size and storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111502053.XA CN114140732A (zh) | 2021-12-09 | 2021-12-09 | 面向小样本条件下的消防火源检测方法、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114140732A true CN114140732A (zh) | 2022-03-04 |
Family
ID=80385542
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111502053.XA Pending CN114140732A (zh) | 2021-12-09 | 2021-12-09 | 面向小样本条件下的消防火源检测方法、装置及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11818493B2 (zh) |
| CN (1) | CN114140732A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114782322A (zh) * | 2022-03-28 | 2022-07-22 | 华中科技大学 | YOLOv5模型的电弧增材制造熔池缺陷检测方法 |
| CN115228092A (zh) * | 2022-09-22 | 2022-10-25 | 腾讯科技（深圳）有限公司 | 游戏战力评估方法、装置以及计算机可读存储介质 |
| CN115797336A (zh) * | 2023-02-01 | 2023-03-14 | 尚特杰电力科技有限公司 | 光伏组件的故障检测方法、装置、电子设备和存储介质 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116645502B (zh) * | 2023-07-27 | 2023-10-13 | 云南大学 | 输电线路图像检测方法、装置及电子设备 |
| CN116678506B (zh) * | 2023-08-02 | 2023-10-10 | 国检测试控股集团南京国材检测有限公司 | 一种无线传输热损检测装置 |
| CN116843999B (zh) * | 2023-09-04 | 2023-12-08 | 四川泓宝润业工程技术有限公司 | 一种基于深度学习的动火作业中气瓶检测方法 |
| CN117953432A (zh) * | 2024-03-26 | 2024-04-30 | 湖北信通通信有限公司 | 一种基于ai算法的烟火智能识别方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112801146A (zh) * | 2021-01-13 | 2021-05-14 | 华中科技大学 | 一种目标检测方法及系统 |
| CN112884090A (zh) * | 2021-04-14 | 2021-06-01 | 安徽理工大学 | 基于改进YOLOv3的火灾检测识别方法 |
| CN112906463A (zh) * | 2021-01-15 | 2021-06-04 | 上海东普信息科技有限公司 | 基于图像的火情检测方法、装置、设备及存储介质 |
| US20210192175A1 (en) * | 2019-12-20 | 2021-06-24 | Volant Aerial, Inc. | System and method for the early visual detection of forest fires using a deep convolutional neural network |
| CN113449588A (zh) * | 2021-05-13 | 2021-09-28 | 上海湃道智能科技有限公司 | 烟火检测方法 |
| CN113469050A (zh) * | 2021-07-01 | 2021-10-01 | 安徽大学 | 基于图像细分类的火焰检测方法 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2689809B1 (en) * | 2012-07-24 | 2019-03-27 | The Boeing Company | Wildfire arrest and prevention system |
| EP3084737B1 (en) * | 2013-12-17 | 2021-03-17 | Tyco Fire Products LP | System and method for monitoring and suppressing fire |
| US10049434B2 (en) * | 2015-10-15 | 2018-08-14 | The Boeing Company | Systems and methods for object detection |
| KR102087000B1 (ko) * | 2019-08-13 | 2020-05-29 | 주식회사 지에스아이엘 | 화재 감지 방법 및 시스템 |
| CN112735083A (zh) * | 2021-01-19 | 2021-04-30 | 齐鲁工业大学 | 一种利用YOLOv5和OpenVINO进行火焰检测的嵌入式网关及其部署方法 |
| CN214912972U (zh) * | 2021-01-22 | 2021-11-30 | 福州大学 | 搭载于机械狗的ai的计算机视觉消防监测和识别系统 |
| CN113139500B (zh) * | 2021-05-10 | 2023-10-20 | 重庆中科云从科技有限公司 | 烟雾检测方法、系统、介质及设备 |
| CN113221838A (zh) * | 2021-06-02 | 2021-08-06 | 郑州大学 | 一种基于深度学习的不文明乘梯检测系统及方法 |
| CN113435373B (zh) * | 2021-07-05 | 2022-12-13 | 西安科技大学 | 一种矿井火灾视频图像智能识别装置及方法 |
| CN113408479A (zh) * | 2021-07-12 | 2021-09-17 | 重庆中科云从科技有限公司 | 火焰检测方法、装置、计算机设备和存储介质 |
| CN113688921A (zh) * | 2021-08-31 | 2021-11-23 | 重庆科技学院 | 一种基于图卷积网络与目标检测的动火作业识别方法 |
| CN113713292A (zh) * | 2021-09-29 | 2021-11-30 | 浙江理工大学 | 一种基于YOLOv5模型进行精准火焰判别、灭火点定位与快速灭火的方法与装置 |
-
2021
- 2021-12-09 CN CN202111502053.XA patent/CN114140732A/zh active Pending
-
2022
- 2022-05-05 US US17/662,210 patent/US11818493B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210192175A1 (en) * | 2019-12-20 | 2021-06-24 | Volant Aerial, Inc. | System and method for the early visual detection of forest fires using a deep convolutional neural network |
| CN112801146A (zh) * | 2021-01-13 | 2021-05-14 | 华中科技大学 | 一种目标检测方法及系统 |
| CN112906463A (zh) * | 2021-01-15 | 2021-06-04 | 上海东普信息科技有限公司 | 基于图像的火情检测方法、装置、设备及存储介质 |
| CN112884090A (zh) * | 2021-04-14 | 2021-06-01 | 安徽理工大学 | 基于改进YOLOv3的火灾检测识别方法 |
| CN113449588A (zh) * | 2021-05-13 | 2021-09-28 | 上海湃道智能科技有限公司 | 烟火检测方法 |
| CN113469050A (zh) * | 2021-07-01 | 2021-10-01 | 安徽大学 | 基于图像细分类的火焰检测方法 |
Non-Patent Citations (5)
| Title |
|---|
| GUIHUI SHI，ET AL: "Combined Channel and Spatial Attention for YOLOv5 during Target Detection", 《2021 IEEE 2ND INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION AND MACHINE LEARNING (PRML)》 * |
| JIANCHEN MIAO，ET AL: "Fire Detection Algorithm Based on Improved YOLOv5", 《2021 INTERNATIONAL CONFERENCE ON CONTROL, AUTOMATION AND INFORMATION SCIENCES (ICCAIS)》 * |
| SONGLIXIANGAIBIN: "一个有效的小目标检测的数据增强方法Mixup及其变体填鸭式", 《HTTPS://BLOG.CSDN.NET/ZENGWUBBB/ARTICLE/DETAILS/113061776》 * |
| 李阿娟: "YOLOv5算法改进及其现实应用", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
| 谢书翰 等: "嵌入通道注意力的YOLOv4火灾烟雾检测模型", 《液晶与显示》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114782322A (zh) * | 2022-03-28 | 2022-07-22 | 华中科技大学 | YOLOv5模型的电弧增材制造熔池缺陷检测方法 |
| CN115228092A (zh) * | 2022-09-22 | 2022-10-25 | 腾讯科技（深圳）有限公司 | 游戏战力评估方法、装置以及计算机可读存储介质 |
| CN115228092B (zh) * | 2022-09-22 | 2022-12-23 | 腾讯科技（深圳）有限公司 | 游戏战力评估方法、装置以及计算机可读存储介质 |
| CN115797336A (zh) * | 2023-02-01 | 2023-03-14 | 尚特杰电力科技有限公司 | 光伏组件的故障检测方法、装置、电子设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20230188671A1 (en) | 2023-06-15 |
| US11818493B2 (en) | 2023-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114140732A (zh) | 面向小样本条件下的消防火源检测方法、装置及存储介质 | |
| Nikouei et al. | Smart surveillance as an edge network service: From harr-cascade, svm to a lightweight cnn | |
| CN111488791A (zh) | 将指尖运动模式实时地设备上分类为手势 | |
| US11145090B2 (en) | Flame finding with automated image analysis | |
| CN112906463A (zh) | 基于图像的火情检测方法、装置、设备及存储介质 | |
| Kanwal et al. | Towards development of a low cost early fire detection system using wireless sensor network and machine vision | |
| Li et al. | Improved YOLOv4 network using infrared images for personnel detection in coal mines | |
| Cao et al. | EFFNet: Enhanced feature foreground network for video smoke source prediction and detection | |
| CN114140745A (zh) | 施工现场人员属性检测方法、系统、装置及介质 | |
| Zhang et al. | MMFNet: Forest fire smoke detection using multiscale convergence coordinated pyramid network with mixed attention and fast-robust NMS | |
| CN115294528A (zh) | 一种行人安全监控方法及装置 | |
| Tao et al. | An adaptive frame selection network with enhanced dilated convolution for video smoke recognition | |
| Wang et al. | Learning precise feature via self-attention and self-cooperation YOLOX for smoke detection | |
| KR20230086457A (ko) | 화재 감지 시스템의 구축을 위한 전차 장치 및 그 방법 | |
| Zheng et al. | A lightweight algorithm capable of accurately identifying forest fires from UAV remote sensing imagery | |
| CN114399734A (zh) | 一种基于视觉信息的森林火灾预警方法 | |
| WO2018210039A1 (zh) | 数据处理方法、数据处理装置及存储介质 | |
| Wen et al. | Improved helmet wearing detection method based on YOLOv3 | |
| Wang et al. | Improving YOLOX network for multi-scale fire detection | |
| Liu | Deep Learning based method for Fire Detection | |
| Liao et al. | A bird species detection method based on YOLO-v5 | |
| Li et al. | Lightweight helmet detection algorithm based on improved YOLOv5 | |
| Shao et al. | Fire detection methods based on an optimized YOLOv5 algorithm | |
| CN116468974B (zh) | 一种基于图像生成的烟雾检测方法、装置及存储介质 | |
| Gao | A Fire and Smoke Detection Model Based on YOLOv8 Improvement. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220304 |