CN116229192A - 一种基于ODConvBS-YOLOv5s的火焰烟雾检测方法 - Google Patents
一种基于ODConvBS-YOLOv5s的火焰烟雾检测方法 Download PDFInfo
- Publication number
- CN116229192A CN116229192A CN202211590733.6A CN202211590733A CN116229192A CN 116229192 A CN116229192 A CN 116229192A CN 202211590733 A CN202211590733 A CN 202211590733A CN 116229192 A CN116229192 A CN 116229192A
- Authority
- CN
- China
- Prior art keywords
- yolov5s
- network
- flame smoke
- smoke detection
- odconvbs
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000000779 smoke Substances 0.000 title claims abstract description 69
- 238000001514 detection method Methods 0.000 title claims abstract description 68
- 238000011176 pooling Methods 0.000 claims abstract description 18
- 102100027557 Calcipressin-1 Human genes 0.000 claims abstract description 5
- 101100247605 Homo sapiens RCAN1 gene Proteins 0.000 claims abstract description 5
- 230000004913 activation Effects 0.000 claims abstract description 5
- 101150064416 csp1 gene Proteins 0.000 claims abstract description 5
- 238000002372 labelling Methods 0.000 claims abstract description 4
- 238000007781 pre-processing Methods 0.000 claims abstract description 3
- 230000007246 mechanism Effects 0.000 claims description 22
- 238000000034 method Methods 0.000 claims description 10
- 230000003993 interaction Effects 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 abstract description 5
- 230000008901 benefit Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 22
- 238000000605 extraction Methods 0.000 description 14
- 230000006872 improvement Effects 0.000 description 14
- 230000000694 effects Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 8
- 239000004973 liquid crystal related substance Substances 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 7
- 239000010410 layer Substances 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 230000003044 adaptive effect Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 230000002068 genetic effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000002679 ablation Methods 0.000 description 2
- 230000008033 biological extinction Effects 0.000 description 2
- 230000037396 body weight Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Fire-Detection Mechanisms (AREA)
Abstract
本发明涉及图像处理技术领域，公开了一种基于ODConvBS‑YOLOv5s的火焰烟雾检测方法。包括：获取火焰烟雾图像，并通过labelimgs对图片进行标注制作成数据集，并对其进行预处理；构建改进的YOLOv5s火焰烟雾检测网络，所述YOLOv5s网络包括输入端、骨干网络、Neck模块，所述骨干网络包括CBS模块、CSP1结构和SPPF空间金字塔池化，所述Neck模块采用特征金字塔网络FPN，所述改进的YOLOv5s火焰烟雾检测网络在YOLOv5s网络的骨干网络中前两个CBS模块替换为ODConvBS模块，所述ODConvBS模块包括全维动态卷积ODConv、BN层以及SiLU激活函数；利用改进的YOLOv5s火焰烟雾检测网络进行火焰烟雾检。与现有技术相比，本发明检测精度高、检测速度快、漏检率低、收敛速度快。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于ODConvBS-YOLOv5s的火焰烟雾检测方法。
背景技术
在日常生产活动中，火灾会对人类的生命财产带来巨大伤害，对社会健康发展产生不良影响。但在火灾的初期阶段，火焰是很容易被扑灭的，因此，通过对火灾初期的烟雾和火焰进行精确且迅速的检测，可以最大限度的减少火灾带来的损失，从而保证生产生活正常进行。早期火焰检测常使用各种温度传感器、烟雾传感器和光敏传感器采集火焰烟雾数据，借此判断火灾是否发生。但是传感器的安装位置和有效范围，以及外界的光照、环境湿度都会对火焰烟雾的检测精度产生很大的影响。
随着计算机视觉算法和硬件条件的不断升级，基于深度学习的火焰烟雾的检测方法已经超过传统的人工方法，深度学习模型相对于传统方法可以从图片提取更加抽象和深层次特征，泛化性更加强大。Frizzi等人首次将卷积神经网路用于火焰和烟雾图片的检测，这开创了基于深度学习对于火焰烟雾进行特征提取算法的先河。基于深度学习的火焰烟雾检测任务可以分三部分：分类(判断输入图像是否有火焰或者烟雾)、检测(识别图像是否含有火焰烟雾并用描框进行标注)、分割(识别图片是否含有火焰烟雾并标注出其形状)。Saponara等人将YOLOv2轻量级神经网络部署到嵌入式移动设备，这样可以达到在现场实时检测火焰烟雾的目的；Pu Li等人将Faster RCNN、R–FCN、SSD和YOLOv3用于火焰检测，他们发现基于CNN的火焰检测模型在精度和检测上可以达到较好平衡。
目前YOLOv5s已经更新到6.2版本，输入端(input)主要包括Mosaic数据增强、自适应描框计算和自适应图片缩放；backbone部分包括CBS下采样处理模块，CSP1结构和SPPF(空间金字塔池化)；Neck采用FPN(特征金字塔)网络，将backbone提取的不同深度的特征进行上采样和池化，进一步增强不同深度的特征信息。预测部分默认采用CIOU作为损失函数并且分别有3种不同尺度的输出，对应大中小3种不同的目标预测。根据网络的深度和宽度可分为S，M，L，X四种体量的模型。因为对于火焰烟雾检测有对于速度的要求，所以应首选参数量较少的YOLOv5s进行实验和改进。
针对于火焰烟雾检测应用场景，YOLOv5s模型推理速度非常优秀，但是火焰烟雾检测精度还需优化提升。算法缺陷如下：
1)在骨干网络和特征金字塔结构中，使用多个CONV和CSP模块，这容易导致特征图冗余，影响检测精度和速度。
2)使用YOLOv5s对于火焰烟雾图片进行目标检测时，目标漏检率较高。
综上，目前现有算法存在检测精度低，检测速度慢、漏检率高、收敛速度慢等问题。
发明内容
发明目的：针对现有技术中存在的问题，本发明提供一种基于ODConvBS-YOLOv5s的火焰烟雾检测方法，进一步提高检测效率和精度。
技术方案：本发明提供了一种基于ODConvBS-YOLOv5s的火焰烟雾检测方法，包括如下步骤：
步骤1：获取火焰烟雾图像，通过labelimgs对图片进行标注制作成数据集，并对其进行预处理；
步骤2：构建改进的YOLOv5s火焰烟雾检测网络，所述YOLOv5s网络包括输入端、骨干网络、Neck模块，所述骨干网络包括CBS模块、CSP1结构和SPPF空间金字塔池化，所述Neck模块采用特征金字塔网络FPN，所述改进的YOLOv5s火焰烟雾检测网络在YOLOv5s网络的骨干网络中前两个CBS模块替换为ODConvBS模块，所述ODConvBS模块包括全维动态卷积ODConv、BN层以及SiLU激活函数；
步骤3：利用改进的YOLOv5s火焰烟雾检测网络进行火焰烟雾检测。
进一步地，所述全维动态卷积ODConv通过并行方式沿卷积核空间全部的四个维度学习卷积核特征，所述ODConv沿着卷积核计算的四个维度分别是：空间维度的位置乘法运算、输入通道维度的通道乘法运算、输出通道维度的滤波乘法运算和、卷积核空间的核乘法运算；公式定义如下：
y＝(αw1⊙αf1⊙αc1⊙αs1⊙W1+...+αwn⊙αfn⊙αcn⊙αsn⊙Wn)*x (1)
其中，αwi代表对于整个卷积核的注意力标量；αfi代表对于输出通道的注意力标量；αci代表对于输入通道的注意力标量；αsi代表对于卷积核空间的注意力标量，Wi代表卷积核。
进一步地，所述SPPF空间金字塔池化中，特征图首先经过CBS模块后依次进入3个5*5大小的最大池化层，然后将这3个最大池化层的结果进行相加，最后在网络结构的末尾通过CBS模块对主干网络提取的特征向量图进行尺度的统一。
进一步地，所述改进的YOLOv5s火焰烟雾检测网络的改进点还包括：在特征金字塔网络FPN的末尾增加SA注意力机制模块。
进一步地，所述改进的YOLOv5s火焰烟雾检测网络的改进点还包括：将YOLOv5s中Neck模块中特征金字塔网络FPN的CBS替换为Gnconv递归门控卷积，形成Gnconv-FPN结构，在与连接组信息融合之前对特征图实现高阶空间信息的交互，并且进一步扩大感受野。
进一步地，所述改进的YOLOv5s火焰烟雾检测网络的改进点还包括：预测部分利用SIOU损失函数。
有益效果：
1、发明提出一种基于ODConvBS的改进YOLOv5s的火焰烟雾目标检测算法，首先为了提高模型的泛化性，采用Mosaic马赛克数据增强技术、Mixup混类数据增强技术，进一步丰富数据的多样性和提高模型的鲁棒性。其次为提高模型对火焰和烟雾检测速度和精度，在骨干网络中的卷积块中加入全维动态卷积(ODConv)，形成新的卷积块(ODConvBS)，减少网络的计算量并提升多卷积核融合模型表达能力。其次为了解决模型漏检率高的问题，在FPN中引入递归门控卷积(Gnconv)形成新的Gnconv-FPN结构，提高高阶信息交互能力，达到自注意力机制相同的效果，避免目标信息丢失。然后为提高模型精度，在FPN结构末尾加入一种超轻量级的置换注意力机制(shuffle attention)，对所有特征进行集成并通过通道置换操作进行组件特征通信，进一步提高模型特征提取能力。最后，为了加快模型收敛，使用SIOU损失函数，充分结合回归之间的向量角度，进一步提高训练速度和收敛速度。
2、本发明设计的ODConvBS模块由三部分组成：ODConv可以对卷积核空间进行全方位特征提取；Batch Normalization可以防止梯度爆炸和梯度消失，SiLU激活函数均衡大值梯度。利用ODConv(全维动态卷积)，是基于动态卷积的基础上制定了一个更加多样化和有效的注意力机制，并将其插入卷积核空间。它使用一种新型注意力机制，通过并行方式沿卷积核空间全部的四个维度学习卷积核特征。这四种类型的注意力机制相互补充的，将这四种注意力机制应用于卷积核能够进一步加强CNN基本卷积运算的特征提取能力。与其它动态卷积相比，ODConv只有一个卷积核，参数量相较于前者大大减少。ODConv在保证效率的同时兼顾精度，且泛化能力强大，满足火焰烟雾的检测需求。
3、本发明在改进的YOLOv5s模型中，SA模块放在FPN结构的末尾，经过FPN结构进行特征提取和不同组信息融合之后，使网络得到信息变得更加多元化，有利于Detect进行后续的预测工作。
4、本发明中SPPF是SPP的快速版本，特征图首先经过CSB(Convenience+BN+SiLU)后依次进入3个5*5大小的最大池化层，然后将这3个最大池化层的结果进行相加，最后在网络结构的末尾通过CBS模块对主干网络提取的特征向量图进行尺度的统一，保证特征图的目标位置和大小始终保持相同，更好的保留图像特征。
5、本发明将YOLOv5s中Neck部分中的CBS替换为Gnconv递归门控卷积，在与连接组信息融合之前对特征图实现高阶空间信息的交互，并且进一步扩大感受野，有利于Neck部分进一步提取和后面的预测。
6、本发明SIOU损失函数考虑到所需回归之间的向量角度，在原先的基础上添加匹配方向，重新定义了模型惩罚指标，这种重新定义的惩罚指标可以极大促进训练收敛过程和效果，它可以让预测框很快地移动到最近的轴，并且随后的方法只需要一个坐标X或Y的回归，解决了YOLOv5s采用的CIOU损失计算中纵横比描述的是相对值，存在一定的模糊，未考虑难易样本的平衡问题。
附图说明
图1为本发明改进后的YOLOv5s网络结构图；
图2为本发明ODConvBS结构图；
图3为本发明基于ODConvBS的YOLOv5s骨干网络结构图；
图4为本发明SA注意力结构图；
图5为本发明SPPF结构图；
图6为本发明Gnconv结构图；
图7为本发明Gnconv-FPN结构图；
图8为本发明SIOU损失函数角度贡献示意图；
图9为本发明IOU计算示意图；
图10为本发明实验结果对比图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
本发明公开了一种基于ODConvBS-YOLOv5s的火焰烟雾检测方法，改进后的YOLOv5s网络结构图参见图1。
传统的YOLOv5s的基本结构如下：
目前YOLOv5s已经更新到6.2版本，输入端(input)主要包括Mosaic数据增强、自适应描框计算和自适应图片缩放；骨干网络backbone部分包括CBS下采样处理模块，CSP1结构和SPPF(空间金字塔池化)；Neck模块采用特征金字塔网络FPN，将骨干网络backbone提取的不同深度的特征进行上采样和池化，进一步增强不同深度的特征信息。预测部分默认采用CIOU作为损失函数并且分别有3种不同尺度的输出，对应大中小3种不同的目标预测。根据网络的深度和宽度可分为S，M，L，X四种体量的模型。因为对于火焰烟雾检测有对于速度的要求，所以应首选参数量较少的YOLOv5s进行实验和改进。
本发明对YOLOv5s网络进行改进，具体改进点如下：
改进1：基于ODConvBS的YOLOv5s主干网络
全维动态卷积ODConv是基于动态卷积的基础上制定了一个更加多样化和有效的注意力机制，并将其插入卷积核空间。它使用一种新型注意力机制，通过并行方式沿卷积核空间全部的四个维度学习卷积核特征。这四种类型的注意力机制相互补充的，将这四种注意力机制应用于卷积核能够进一步加强CNN基本卷积运算的特征提取能力。与其它动态卷积相比，ODConv只有一个卷积核，参数量相较于前者大大减少。ODConv在保证效率的同时兼顾精度，且泛化能力强大，满足火焰烟雾的检测需求。
ODConv沿着卷积核计算的四个维度分别是：空间维度的位置乘法运算；输入通道维度的通道乘法运算；输出通道维度的滤波乘法运算和；卷积核空间的核乘法运算。公式定义如公式(1)所示。
y＝(αw1⊙αf1⊙αc1⊙αs1⊙W1+...+αwn⊙αfn⊙αcn⊙αsn⊙Wn)*x (1)
其中，αwi代表对于整个卷积核的注意力标量；αfi代表对于输出通道的注意力标量；αci代表对于输入通道的注意力标量；αsi代表对于卷积核空间的注意力标量。Wi代表卷积核。
ODConvBS模块由三部分组成：ODConv可以对卷积核空间进行全方位特征提取；Batch Normalization可以防止梯度爆炸和梯度消失，SiLU激活函数均衡大值梯度。ODConvBS结构如图2所示。
本发明将YOLOv5s的骨干网络中前两个CBS模块替换为ODConvBS，这样可以在兼顾原本功能的前提下通过注意力机制对骨干网络的卷积核进行图像信息进一步提取，进一步提高骨干网络的特征聚合能力。改进后的YOLOv5s骨干网络如图3所示。
改进点2：SA高效结合空间和通道信息的注意力机制
SA注意力机制首先将Tensor划分为g个组，每个组内部使用SA Unit进行处理，图4中的圆形是SA中的空间注意力机制，使用GN实现的；图4中菱形，实现方法和SE类似。经过空间和通道注意力机制之后，SA Unit通过Concat的方式将组内信息进行融合，最后使用Channel Shuffle操作对组进行重排，不同组织之间进行信息流通。
在改进的YOLOv5s网络中，SA注意力机制模块放在Neck模块采用的特征金字塔网络FPN的末尾，经过FPN结构进行特征提取和不同组信息融合之后，使网络得到信息变得更加多元化，有利于Detect进行后续的预测工作，SA注意力机制模块结构如图4所示。
改进点3：空间金字塔池化模块SPPF
本发明在骨干网络中使用在SPPF空间金字塔池化。卷积神经网络中，我们需要进行固定输入的设计，而空间金字塔池化可以帮我们实现这个功能。SPPF是SPP的快速版本，它在保证与SPP相同的计算结果的同时，速度提升两倍。
在SPPF中，特征图首先经过CSB(Convenience+BN+SiLU)后依次进入3个5*5大小的最大池化层，然后将这3个最大池化层的结果进行相加，最后在网络结构的末尾通过CBS模块对主干网络提取的特征向量图进行尺度的统一，保证特征图的目标位置和大小始终保持相同，更好的保留图像特征，SPPF结构如图5所示。
改进点4：改进的特征图金字塔网络Gnconv-FPN
本发明在Neck模块采用特征金字塔网络FPN中进行改进，特征图金字塔网络FPN主要解决的是物体检测中的多尺度问题，通过改变网络连接，在基本不增加原有模型计算量的情况下，可以提升小目标的检测性能。但是FPN不能够实现自适应输入和大范围且高阶空间信息交互，而Gnconv可以弥补这些缺陷。Gnconv是一种可以实现大范围高价空间交互的卷积操作，它虽然使用标准卷积、线性投影和元素乘法构建的，但具有与transformer类似的输入自适应空间混合功能，实现自注意力特征提取的效果，Gnconv结构图如图6所示。
Gnconv-FPN将YOLOv5s中Neck模块中的CBS替换为Gnconv递归门控卷积，在与连接组信息融合之前对特征图实现高阶空间信息的交互，并且进一步扩大感受野，有利于Neck部分进一步提取和后面的预测，Gnconv-FPN结构图如图7所示。
改进点5：SIOU损失函数
分类损失(Classification_Loss)、定位损失(Localization_Loss)以及置信度损失(Confidence_Loss)三部分的加权相加组成了YOLOv5s网络的总损失，通过改变权值可以调整个网络对于不同损失的关注度。边界框预测在目标检测领域占据了重要的地位，在目标检测任务中想要框出目标对象，需要通过对边界框所在的位置数据进行预测。初期版本使用的是平方损失，即：
Llocal＝(x-x*)2+(y-y*)2+(w-w*)2+(h-h*)2 (1)
x*、y *、w*、h*分别为真实框的左上角坐标和宽高，x、y、w、z分别为预测框的左上角坐标和宽高。边界框预测需要着重于该框与真实框的重叠区域面积，而且重叠区域面积与两者并集区域的面积之比越大越好，但使用平方差损失不能很好地衡量这一点。
SIOU损失函数考虑到所需回归之间的向量角度，在原先的基础上添加匹配方向，重新定义了模型惩罚指标，。这种重新定义的惩罚指标可以极大促进训练收敛过程和效果，它可以让预测框很快地移动到最近的轴，并且随后的方法只需要一个坐标X或Y的回归。SIOU损失函数由Angle cost、Distance cost、Shape cost、IoU cost组成。
Angle cost添加这种角度感知LF组件可以最大限度地减少与距离相关的变量数量。基本上，模型将尝试首先将预测带到X或Y轴(以最接近者为准)，然后沿着相关轴继续接近。角度贡献计算到损失函数中的方案示如图8所示。
如果α≤π/4，收敛过程会首先最小化α，否则最小化β：
为了实现上一点，使用下列公式(2)定义损失函数组件。/>
其中，
Distance cost在Angle cost的基础上，进行重新定义，如公式(3)：
其中，
从公式(3)中可以看出，当α→0时，Distance cost的贡献大大降低。相反，α越接近π/4，Distance cost贡献越大。随着角度的增大，问题变得越来越难。因此，γ被赋予时间优先的距离值，随着角度的增加。
Shape cost定义于公式(4)所示。
其中,
θ的值定义了每个数据集的Shape cost及其值是唯一的。θ的值是这个等式中非常重要的一项，它控制着对Shape cost的关注程度。如果θ的值设置为1，它将立即优化一个Shape，从而损害Shape的自由移动。为了计算θ的值，作者将遗传算法用于每个数据集，实验上θ的值接近4，文中作者为此参数定义的范围是2到6。
IOU计算如下图9示。
最后，损失函数定义如公式(5)所示。
其中，
SIOU最终损失定义如公式(6)所示。
L＝WboxLbox+WclsLcls (6)
其中，Lcls是focal loss，Wbox和Wcls分别是框和分类损失权重。为了计算Wbox、Wcls和θ使用了遗传算法。为了训练遗传算法，从训练集中提取一个小子集并计算以上这些值，直到出现小于阈值的值或迭代次数最大允许迭代次数停止。
综上所述，在计算机上搭建完整的火焰烟雾检测模型。如图1所示。输入的火焰烟雾图像首先进入基于ODConvBS骨干网络完成特征提取后，在骨干网络末尾，使用更快的SPPF模块将骨干网络提取的特征图进行尺度统一并提高特征的准确性，然后送入颈部网络(Gnconv-FPN)进行特征处理和融合，让特征图实现高阶空间信息的交互，实现自注意力特征提取的效果，最后向头部网络进行输送完成目标检测。
本实施方式中，网络模型使用PyTorch1.9版本深度学习框架搭建，python使用3.8版本，Ubuntu系统，显卡使用16G显存的Tesla V100-SXM2。预训练权重使用的是官方提供的YOLOv5s权重，训练世代设置为100epochs，Batch_size设置为16，初始学习率设置为0.01，SGD初始动量设置为0.097。
使用爬虫爬取网络火焰烟雾图片，然后通过labelimgs对图片进行标注制作成数据集来训练和评估模型。数据集4998张图片，经过python对图片进行图像扰动，改变亮度、Mosaic、Mixup等数据增强方法，并以8：1：1比例划分训练集、验证集和测试集，涵盖多种火焰烟雾现场，符合本发明的研究问题。
基于YOLOv5s模型的改进效果，需要P、MAP、FPS等指标进行评估。本实验是双目标实验，所以平均精确度由MAP进行表示：
其中，TP为正样本别检测正确数量；FP为负样本被检测正确数量；FN为背景被错误检测为正样本的数量。每秒传输的帧数(FPS)代表每秒算法可以处理图片的数量。ODConv代表全维动态卷积，SA代表ShuffleAttention注意力机制，Gnconv代表递归门控卷积，SIOU代表损失函数。消融实验见表1。
表1消融实验
| Number | ODConv | SA | Gnconv_FPN | SIOU | Precision | Recall | mAP | mAP.5:0.95 |
| YOLOv5s | 75.8 | 74.4 | 78.3 | 45.5 | ||||
| 2 | √ | 80.2 | 75.3 | 81 | 51.4 | |||
| 3 | √ | 77.7 | 86.2 | 84.9 | 54 | |||
| 4 | √ | 78.9 | 77.7 | 81.6 | 51.5 | |||
| 5 | √ | 77.2 | 85.9 | 85.1 | 54 | |||
| 6 | √ | √ | 79.6 | 84.4 | 85.5 | 54.4 | ||
| 7 | √ | √ | 80.4 | 81.7 | 84.8 | 54 | ||
| 8 | √ | √ | 78.1 | 87.3 | 85 | 53.2 | ||
| ours | √ | √ | √ | √ | 78.6 | 88.7 | 87.3 | 59 |
从表1可以看出，在YOLOv5s的backbone添加ODConv，map可以上升2.7％；在neck末添加ShuffleAttention注意力机制，mAP可以上升6.6％；添加Gnconv_FPN金字塔结构后，mAP提升3.3％；加入SIOU损失函数后，map提升6.8％。当所有的改进方案同时加入YOLOv5s模型后，mAP较原始模型相比提升了9％，mAP0.5:0.95提升了13.5％，准确率上升了2.8％，召回率提升了14.3％，证明了网络的优越性。
将本发明改进后的火焰烟雾检测模型与其他主流的目标检测算法在在自制的火焰烟雾数据集上进行实验数据对比，实验结果如表2所示。
表2不同算法在自制火焰烟雾数据集上进行mAP对比结果表
| 模型 | Fire-AP | Smoke-AP | mAP/％ |
| SSD | 58.78 | 47.87 | 55.3 |
| Faster R-CNN | 65.39 | 46.23 | 55.8 |
| YOLOV3 | 69.8 | 38.1 | 50 |
| YOLOV4 | 74.5 | 52.4 | 63.4 |
| YOLOv5s | 84.7 | 71.8 | 78.3 |
| YOLOv5x6+TTA | 89.9 | 74.6 | 82.3 |
| Our | 91.6 | 83 | 87.3 |
表3不同算法在自制火焰烟雾数据集上精度、速度和计算复杂度对比结果表
| 模型 | mAP/％ | Parameters | GFLOPs | FPS/s |
| YOLOV3 | 50 | 62.55M | 155.6 | 9.9 |
| YOLOV4 | 63.4 | 9.1M | 20.6 | 23.81 |
| YOLOv5s | 78.3 | 7.01M | 15.9 | 31.25 |
| YOLOv5x6+TTA | 82.3 | 86M | 203.8 | 8.26 |
| Our | 87.3 | 7.2M | 14.8 | 33.3 |
据表2和表3可知，本发明提出基于ODConvBS的YOLOv5s与二阶段目标检测算法Faster R-CNN相比mAP大幅度提升。与单目目标检测算法YOLOv3、YOLOv4、YOLOv5s、YOLOv5x6+TTA相比，mAP分别上升了27.3％、23.9％、9％、5％。
由于Faster RCNN提取的单层特征图难以解决多尺度问题，而这就会导致模型对于火焰烟雾检测的精度下降。YOLOv3在以对象图像50％区域为识别标准时，准确度最高。但更高的标准时，准确度会逐步下降。YOLOv4和YOLOv5都使用CIOU损失函数，它的纵横比模糊而且未考虑难易样本的平衡问题，进而导致收敛变慢。本发明提出的改进算法采用gnConv-FPN结构，该结构在解决物体检测中多尺度问题的前提下可以执行高阶空间交互，达到与自注意力相似的效果且不产生额外的计算量。通过在原模型主干网络中使用ODConvBS模块，可以同时考虑空域、输入通道、输出通道等维度上的动态性，进一步提高模型精度。为了融合空域与通道注意力，在Neck结尾处使用SA注意力机制，让模型获取图像信息时，更加高效。最后使用SIOU损失函数，让模型更快收敛。此外根据表3看出本发明提出的火焰烟雾算法在保证精度的前提下，也具有较高的检测速度。
模型改进效果如图8所示，左侧为改进之前的效果，右侧为改进之后的效果。改进后的模型相对于改进前火焰烟雾识别精度有较大提升，经过ODConvBS模块对于卷积核的注意力特征提取，可以让深度学习模型更好的注意到图片中目标物，更好提取火焰烟雾特征。由图十一可以看出，原模型对于火焰烟雾的检测存在漏检现象，但经过改进之后的模型漏检率明显下降，这是因为Gnconv-FPN结构可以增强模型对于输入图片高层特征语义信息的提取，充分捕捉图片中的目标物。
上述实施方式只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所做的等效变换或修饰，都应涵盖在本发明的保护范围之内。
Claims (6)
1.一种基于ODConvBS-YOLOv5s的火焰烟雾检测方法，其特征在于，包括如下步骤：
步骤1：获取火焰烟雾图像，通过labelimgs对图片进行标注制作成数据集，并对其进行预处理；
步骤2：构建改进的YOLOv5s火焰烟雾检测网络，所述YOLOv5s网络包括输入端、骨干网络、Neck模块，所述骨干网络包括CBS模块、CSP1结构和SPPF空间金字塔池化，所述Neck模块采用特征金字塔网络FPN，所述改进的YOLOv5s火焰烟雾检测网络在YOLOv5s网络的骨干网络中前两个CBS模块替换为ODConvBS模块，所述ODConvBS模块包括全维动态卷积ODConv、BN层以及SiLU激活函数；
步骤3：利用改进的YOLOv5s火焰烟雾检测网络进行火焰烟雾检测。
2.根据权利要求1所述的基于ODConvBS-YOLOv5s的火焰烟雾检测方法，其特征在于，所述全维动态卷积ODConv通过并行方式沿卷积核空间全部的四个维度学习卷积核特征，所述ODConv沿着卷积核计算的四个维度分别是：空间维度的位置乘法运算、输入通道维度的通道乘法运算、输出通道维度的滤波乘法运算和、卷积核空间的核乘法运算；公式定义如下：
y＝(αw1⊙αf1⊙αc1⊙αs1⊙W1+...+αwn⊙αfn⊙αcn⊙αsn⊙Wn)*x (1)
其中，αwi代表对于整个卷积核的注意力标量；αfi代表对于输出通道的注意力标量；αci代表对于输入通道的注意力标量；αsi代表对于卷积核空间的注意力标量，Wi代表卷积核。
3.根据权利要求1所述的基于ODConvBS-YOLOv5s的火焰烟雾检测方法，其特征在于，所述SPPF空间金字塔池化中，特征图首先经过CBS模块后依次进入3个5*5大小的最大池化层，然后将这3个最大池化层的结果进行相加，最后在网络结构的末尾通过CBS模块对主干网络提取的特征向量图进行尺度的统一。
4.根据权利要求1所述的基于ODConvBS-YOLOv5s的火焰烟雾检测方法，其特征在于，所述改进的YOLOv5s火焰烟雾检测网络的改进点还包括：在特征金字塔网络FPN的末尾增加SA注意力机制模块。
5.根据权利要求1或4所述的基于ODConvBS-YOLOv5s的火焰烟雾检测方法，其特征在于，所述改进的YOLOv5s火焰烟雾检测网络的改进点还包括：将YOLOv5s中Neck模块中特征金字塔网络FPN的CBS替换为Gnconv递归门控卷积，形成Gnconv-FPN结构，在与连接组信息融合之前对特征图实现高阶空间信息的交互，并且进一步扩大感受野。
6.根据权利要求1所述的基于ODConvBS-YOLOv5s的火焰烟雾检测方法，其特征在于，所述改进的YOLOv5s火焰烟雾检测网络的改进点还包括：预测部分利用SIOU损失函数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211590733.6A CN116229192A (zh) | 2022-12-12 | 2022-12-12 | 一种基于ODConvBS-YOLOv5s的火焰烟雾检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211590733.6A CN116229192A (zh) | 2022-12-12 | 2022-12-12 | 一种基于ODConvBS-YOLOv5s的火焰烟雾检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116229192A true CN116229192A (zh) | 2023-06-06 |
Family
ID=86577513
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211590733.6A Pending CN116229192A (zh) | 2022-12-12 | 2022-12-12 | 一种基于ODConvBS-YOLOv5s的火焰烟雾检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116229192A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116664558A (zh) * | 2023-07-28 | 2023-08-29 | 广东石油化工学院 | 一种钢铁表面缺陷检测方法、系统及计算机设备 |
| CN117409191A (zh) * | 2023-12-12 | 2024-01-16 | 优备科技股份有限公司 | 基于无人机与改进YOLOv8目标检测算法的火灾巡检预警方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019028725A1 (en) * | 2017-08-10 | 2019-02-14 | Intel Corporation | CONVOLUTIVE NEURAL NETWORK STRUCTURE USING INVERTED CONNECTIONS AND OBJECTIVITY ANTERIORITIES TO DETECT AN OBJECT |
| WO2022105143A1 (zh) * | 2020-11-18 | 2022-05-27 | 淮阴工学院 | 一种轻量级的fire-det火焰检测方法及系统 |
| CN114677629A (zh) * | 2022-03-30 | 2022-06-28 | 山东中科先进技术有限公司 | 一种基于yolov5网络的烟火检测预警方法及系统 |
| CN114764905A (zh) * | 2020-12-31 | 2022-07-19 | 上海智臻智能网络科技股份有限公司 | 用于交通环境检测的方法及设备 |
| CN115272987A (zh) * | 2022-07-07 | 2022-11-01 | 淮阴工学院 | 一种基于MSA-Yolov5的恶劣天气下车辆检测方法及装置 |
| CN115331141A (zh) * | 2022-08-03 | 2022-11-11 | 天津大学 | 一种基于改进YOLO v5的高空烟火检测方法 |
| CN115424171A (zh) * | 2022-08-24 | 2022-12-02 | 深圳海翼智新科技有限公司 | 火焰和烟雾检测方法、装置和存储介质 |
-
2022
- 2022-12-12 CN CN202211590733.6A patent/CN116229192A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019028725A1 (en) * | 2017-08-10 | 2019-02-14 | Intel Corporation | CONVOLUTIVE NEURAL NETWORK STRUCTURE USING INVERTED CONNECTIONS AND OBJECTIVITY ANTERIORITIES TO DETECT AN OBJECT |
| WO2022105143A1 (zh) * | 2020-11-18 | 2022-05-27 | 淮阴工学院 | 一种轻量级的fire-det火焰检测方法及系统 |
| CN114764905A (zh) * | 2020-12-31 | 2022-07-19 | 上海智臻智能网络科技股份有限公司 | 用于交通环境检测的方法及设备 |
| CN114677629A (zh) * | 2022-03-30 | 2022-06-28 | 山东中科先进技术有限公司 | 一种基于yolov5网络的烟火检测预警方法及系统 |
| CN115272987A (zh) * | 2022-07-07 | 2022-11-01 | 淮阴工学院 | 一种基于MSA-Yolov5的恶劣天气下车辆检测方法及装置 |
| CN115331141A (zh) * | 2022-08-03 | 2022-11-11 | 天津大学 | 一种基于改进YOLO v5的高空烟火检测方法 |
| CN115424171A (zh) * | 2022-08-24 | 2022-12-02 | 深圳海翼智新科技有限公司 | 火焰和烟雾检测方法、装置和存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 颜洵;吴正平;雷帮军;: "基于深度学习的视频火焰烟雾检测方法", 信息通信, no. 09, 15 September 2020 (2020-09-15) * |
| 齐榕;贾瑞生;徐志峰;毛其超;: "基于YOLOv3的轻量级目标检测网络", 计算机应用与软件, no. 10, 12 October 2020 (2020-10-12) * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116664558A (zh) * | 2023-07-28 | 2023-08-29 | 广东石油化工学院 | 一种钢铁表面缺陷检测方法、系统及计算机设备 |
| CN116664558B (zh) * | 2023-07-28 | 2023-11-21 | 广东石油化工学院 | 一种钢铁表面缺陷检测方法、系统及计算机设备 |
| CN117409191A (zh) * | 2023-12-12 | 2024-01-16 | 优备科技股份有限公司 | 基于无人机与改进YOLOv8目标检测算法的火灾巡检预警方法 |
| CN117409191B (zh) * | 2023-12-12 | 2024-03-08 | 优备科技股份有限公司 | 基于无人机与改进YOLOv8目标检测算法的火灾巡检预警方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Luo et al. | Fire smoke detection algorithm based on motion characteristic and convolutional neural networks | |
| CN116229192A (zh) | 一种基于ODConvBS-YOLOv5s的火焰烟雾检测方法 | |
| CN110956126A (zh) | 一种联合超分辨率重建的小目标检测方法 | |
| CN113449573A (zh) | 一种动态手势识别方法及设备 | |
| Zhou et al. | A lightweight hand gesture recognition in complex backgrounds | |
| Li et al. | Small target deep convolution recognition algorithm based on improved YOLOv4 | |
| CN115223239B (zh) | 一种手势识别方法、系统、计算机设备以及可读存储介质 | |
| Fan et al. | Improved SSD-based multi-scale pedestrian detection algorithm | |
| Wu et al. | Damage detection of grotto murals based on lightweight neural network | |
| CN113239866B (zh) | 一种时空特征融合与样本注意增强的人脸识别方法及系统 | |
| Ma et al. | Flame and smoke detection algorithm based on ODConvBS-YOLOv5s | |
| Xu et al. | YOLO-F: YOLO for flame detection | |
| Ding et al. | Object detection method based on lightweight YOLOv4 and attention mechanism in security scenes | |
| Shankar et al. | Comparing YOLOV3, YOLOV5 & YOLOV7 Architectures for Underwater Marine Creatures Detection | |
| CN117011640A (zh) | 基于伪标签滤波的模型蒸馏实时目标检测方法及装置 | |
| Hou et al. | M-YOLO: an object detector based on global context information for infrared images | |
| CN117079095A (zh) | 基于深度学习的高空抛物检测方法、系统、介质和设备 | |
| Guo et al. | Multi-face detection and alignment using multiple kernels | |
| Wang et al. | YOLOv5-light: efficient convolutional neural networks for flame detection | |
| Liu et al. | GSC-YOLO: a lightweight network for cup and piston head detection | |
| Zhu et al. | Real-time traffic sign detection based on YOLOv2 | |
| Zhu et al. | Structure-attentioned memory network for monocular depth estimation | |
| Wang et al. | Insulator defect detection based on improved you-only-look-once v4 in complex scenarios | |
| Ge et al. | A visual tracking algorithm combining parallel network and dual attention-aware mechanism | |
| He et al. | Improved traffic sign detection algorithm based on improved YOLOv8s |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |