CN115690564A - 基于Recursive BIFPN网络的室外火灾烟雾图像检测方法 - Google Patents
基于Recursive BIFPN网络的室外火灾烟雾图像检测方法 Download PDFInfo
- Publication number
- CN115690564A CN115690564A CN202211447233.7A CN202211447233A CN115690564A CN 115690564 A CN115690564 A CN 115690564A CN 202211447233 A CN202211447233 A CN 202211447233A CN 115690564 A CN115690564 A CN 115690564A
- Authority
- CN
- China
- Prior art keywords
- smoke
- network
- fire smoke
- bifpn
- fire
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000000779 smoke Substances 0.000 title claims abstract description 176
- 238000001514 detection method Methods 0.000 title claims abstract description 65
- 230000004927 fusion Effects 0.000 claims abstract description 40
- 238000000034 method Methods 0.000 claims abstract description 26
- 239000000523 sample Substances 0.000 claims abstract description 10
- 238000010586 diagram Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 10
- 238000007499 fusion processing Methods 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 4
- 230000005764 inhibitory process Effects 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 230000003993 interaction Effects 0.000 claims 1
- 238000012163 sequencing technique Methods 0.000 claims 1
- 230000001629 suppression Effects 0.000 claims 1
- 230000009286 beneficial effect Effects 0.000 abstract description 6
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 239000003595 mist Substances 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Landscapes
- Fire-Detection Mechanisms (AREA)
Abstract
一种基于Recursive BIFPN网络的室外火灾烟雾图像检测方法，先采集火灾烟雾图片，再使用火灾烟雾检测网络进行检测。检测步骤包括：利用YOLOV5的主干网络提取三个分辨率不同的多尺度特征图；构建的Recursive BIFPN注意力模型，利用Recursive BIFPN将主干网络提取出的三个不同分辨率的特征图进行两次特征融合和增强；用Swin Transformer探测头代替YOLOV5原有的探测头，用于火灾图像中不同大小的烟雾目标分类。本发明Recursive BIFPN有利于提高复杂背景下的火灾烟雾检测精度，并分辨出云、雾等干扰对象；基于Swin Transformer的探测头有利于检测图像中烟雾区域面积差异较大的不同烟雾目标，尤其是提高早期火灾或远距离拍摄导致的小烟的检测精度。
Description
技术领域
本技术方案属于图像处理领域，具体是一种使用图像处理的烟雾检测神经网络的火灾检测方法。
背景技术
频繁发生的野火不仅严重损害着植被、生态及环境，而且可能使得当地的物种濒临灭绝，因此基于机器视觉的早期野火火灾探测技术和模型被广泛应用。由于野外场景宽阔、植被的遮挡的原因，相比于火焰，烟雾更易被察觉到，然而，烟雾外形不固定，颜色也有区别。因此，研究可靠的火灾烟雾探测系统对于人民生命财产安全，以及生态系统的保护都具有重要的意义。
早期传统的基于传感器的方法在野外宽阔的场地，很容易受到空间大小，气流大小等影响因素的干扰，使得其无法及时进行预警。而基于计算机视觉的传统火灾探测方法则依赖于研究者人为定义的特征如颜色、纹理特征等，这些人为设定的特征通常只适合于特定的场景和视频，泛化能力很差，而且火焰检测的精度也较低。近年来，卷积神经网络(CNN)被广泛地应用于火焰检测领域。虽然目前这些检测网络可以直接运用在火灾烟雾检测上，但在面临室外的环境时，这些方法会面临如下的问题：早期野火火灾发生时生成的浓烟尤其是白烟，与云、雾等具有一定的相似度，这些方法会造成较高的误报率。而且，对于受风的影响飘动的烟雾，以及受雾气等导致的分辨率低的烟雾图像的检测准确率也较低。
现有技术中：
公开号为CN110751089A的“基于数字图像和卷积特征的火焰目标检测方法”中，首先制作包含视频动态特征的数据集；然后将经典的Faster R-CNN中VGG16的标准卷积替换为深度可分离卷积，并减少卷积层数；接着根据RPN产生的候选框从原图裁剪出256个图像块，对每个图像块提取LBP特征；再通过卷积缩减ROI池化层输出特征图尺寸以及全连接层神经元数量；最后将提取的LBP特征，数据集中的动态特征与池化后平铺的特征向量合并，送入全连接层进行分类和回归。该方法与现有的目标检测方法类似，当应用于野外火灾烟雾检测时，存在的局限性主要是难以区分天空中的云和火灾烟雾，因为空中的云的颜色和纹理与火灾烟雾非常相似，如果Faster CNN检测出的疑似烟雾图像中会包含空中的云，仅仅依靠LBP纹理特征难以区分。此外，野外火灾的摄像头通常会监控几公里的范围，拍摄的图片中烟雾目标可能会很小，如本说明书附图6的第一行第一列和第三列的图像，对于这样的火灾烟雾目标，Faster CNN会产生漏报的情况。本说明书的具体实施方式中的表1和表2的实验结果也证明了Faster R-CNN应用于野外火灾烟雾检测的不足。
公开号为CN115171047A的“基于轻量级长短距离注意力transformer网络的火灾图像检测方法“中，先采集火焰图片；再使用火焰检测网络进行检测，步骤包括：1)利用设计的轻量级特征提取主干网络处理输入待检测火焰图片，并输出提取到的三个不同分辨率的多尺度火焰特征；2)构建基于BiFPN的特征融合网络对前述多尺度火焰特征进行特征融合处理，并输出融合了三个不同分辨率层的融合特征；3)网络的分类层对前述融合特征进行分类预测，判断火焰的存在及其在图像中的位置。由于该方法是针对火焰检测设计的，而火焰的颜色和纹理与背景中的对象差别更明显，当应用于野外火灾烟雾检测时，该方法存在的局限性是由于天空中的云与火灾烟雾非常相似，采用BiFPN的特征融合网络不能很好地增强烟雾特征，因此，无法很好地区分天空中的云和火灾烟雾。本说明书的具体实施方式中的表1的第5行和第6行的实验结果也说明了BiFPN特征融合网络的局限性。
发明内容
为了解决现有技术中存在的上述问题，突破现有技术的上述局限性，本发明提出了一种采用Recursive BIFPN与Swin Transformer改进的火灾烟雾目标检测YOLO网络进行火灾检测的方法。
本发明基于多尺度特征学习、Recursive BIFPN特征增强和Swin Transformer分类探测策略，设计了一种结合Recursive BIFPN多尺度特征增强和Swin Transformer全局建模优势的网络结构，形成了一个新的火灾烟雾检测框架。
本发明提出的网络运用Recursive BIFPN增强和融合烟雾的多尺度特征；SwinTransformer的引入为网络增强了全局建模能力，提高网络区别烟雾与干扰对象的能力；同时，能够更好地预测不同尺寸，尤其是早期的小尺寸烟雾。
本发明具体步骤如下：
步骤1.输入待检测火灾烟雾图片，利用YOLOV5主干网络提取特征，并输出提取到的三个不同分辨率的多尺度烟雾特征图；
步骤2.构建基于Recursive BiFPN的特征融合网络对步骤1得到的多尺度烟雾特征进行特征融合处理，并对融合后的特征进行递归(Recursive)操作，与相同分辨率的原始特征再次融合，并将经过递归和二次融合操作后的特征输出；
步骤2.1将步骤1中三个不同分辨率的多尺度火灾烟雾特征图送入特征融合网络中；
步骤2.2构建Recursive BIFPN特征融合网络；
步骤2.2.1运用BIFPN对步骤1)中三个不同分辨率的多尺度火灾烟雾特征图进行第一次融合。先从低往高、再从高往低依次进行反卷积上采样和池化下采样，并将输入与输出级联合，进而融合不同卷积层的烟雾特征信息；
步骤2.2.2将步骤2.2.1)中BIFPN第一次融合后的三个不同分辨率的特征图进行递归操作，即返回到原有的主干网络；
步骤2.2.3运用BIFPN将步骤2.2.2返回的三个不同分辨率的特征与相应分辨率的主干网络特征二次融合，再次得到三个不同分辨率的多尺度特征图，并根据重要性的不同，对于不同分辨率的特征图赋予相应的权重；
步骤3.将Swin Transformer Encoder模块引入到了YOLOV5，取代YOLOV5原有的探测头，构建具有全局建模能力的分类探测模块，基于Swin Transformer的检测头对步骤2得到的融合特征进行分类预测，判断其火灾烟雾的存在以及其在图像中的位置；
步骤3.1将Swin Transformer Encoder模块引入到了YOLOV5，取代YOLOV5原有的探测头；
步骤3.2通过W-MSA(Window Multi-Head Self Attention)在每个局部窗口中进行自我注意力的计算，用于提取烟雾图像的局部特征；
步骤3.3通过SW-MSA(Shifted Window Multi-Head Self Attention)使相邻的两个窗口之间进行交互，达到全局建模的能力，进而提取火灾烟雾图像的全局信息；
步骤3.4通过分析不同窗口内的特征，最终分类并确定火灾烟雾所存在的位置，Swin Transformer Encoder模块采用层次式结构，使得网络的感受野不同，用于不受拍摄距离影响的前提下提取火灾烟雾图像的局部特征和全局信息。
本发明的有益效果在于：
(1)本发明提出了基于Recursive BIFPN和Swin Transformer改进的神经网络。该网络以YOLOV5为框架，运用Recursive BIFPN和Swin Transformer分别改进网络的特征融合和全局建模能力。该网络应用于火灾烟雾检测中，能够检测不同颜色的火灾烟雾，如白烟、黑烟、褐色的烟等，并有利于检测面积大小不同的烟雾，尤其是小烟，进而提高烟雾检测的精度。
(2)本发明的神经网络在特征融合过程中，构建了Recursive BIFPN特征融合网络，以便将经过BIFPN处理后的特征图与主干网络产生的特征图融合并再经历一次迭代处理。这种设计使得模型更多地关注不易发现的烟雾以及干扰云雾的重要特征，同时通过Recursive操作，更有效地增强和融合多尺度特征，这有利于提高室外复杂背景下的火灾烟雾精度，并分辨出云、雾等干扰对象，减少烟雾识别的误报率。
(3)本发明中在预测网络中引入了Swin Transformer Encoder模块，层次式结构使得网络的感受野不同，不重叠的局部窗口和重叠的交叉窗口操作增强了局部特征和全局建模能力，有利于检测图像中烟雾区域面积差异较大的不同烟雾目标，尤其是小烟；由于自注意力在移动窗口中计算，在提高小烟检测精度的同时，大大降低了计算复杂度。
附图说明
图1为本发明的烟雾检测方法流程图。
图2为本发明的烟雾检测网络结构图。
图3为Swin Transformer注意力计算的Shifted window示意图。
图4为本发明使用的Swin Transformer的结构。
图5(a)～图5(e)为Recursive BiFPN和BiFPN的抗干扰能力实验结果图，
其中，图5(a)为原图，图5(b)为BiFPN检测结果,图5(c)为BiFPN所得出的特征图，图5(d)为Recursive BiFPN检测结果,图5(e)Recursive BiFPN所得出的特征图，其中因为云雾不会被识别为烟雾所以其特征图和结果未展示。
图6是本发明的火灾烟雾检测方法对于难以识别的烟雾图片的检测结果图片。
其中第一列为由于拍摄距离原因造成烟雾较小的结果，第二列为复杂背景下黑、灰色等复杂烟雾的检测结果，第三列则为背景存在与火灾烟雾相似的云雾情况下的检测结果。
具体实施方式
针对基于机器视觉的火灾烟雾检测方法直接利用现有的目标检测网络，存在检测精度低、对于相似物体难以区分的问题，本发明提出了一种基于Recursive BIFPN和SwinTransformer的火灾烟雾图像检测网络。本发明采用构建的Recursive BIFPN特征融合模块对主干提取的多尺度特征进行处理，更有效地增强和融合多尺度特征，以便更好地区分云雾与烟雾之间的细微差别；在预测网络中引入Swin Transformer机制，通过其不重叠的窗口与重叠窗口操作增强了局部特征和全局建模能力，有利于检测图像中烟雾区域面积差异较大的不同烟雾目标，尤其是小烟。
与现有的深度学习火灾烟雾检测相比，本发明设计了Recursive BIFPN的特征融合模块，增强了对多尺度特征融合的能力，提高了区分与烟雾相似物体如云雾的能力；本发明在预测网络中融合了Swin Transformer Encoder模块，提高了检测早期小型火灾烟雾的能力。因此，本发明不仅有利于提高室外复杂背景下的火灾烟雾精度，而且能够较好地分辨出云、雾等干扰对象，减少烟雾识别的误报率。
下面结合附图与具体实施方式对本案进一步说明。
本发明采用基于Recursive BIFPN和Swin Transformer构建的卷积神经网络对对火灾现场的监控视频的帧图像进行检测。
如图1所示，在烟雾检测网络中，提取出多尺度的烟雾特征，增强和融合多尺度特征，并预测烟雾位置。本发明的整体网络的结构图如图2所示。具体来说，实施步骤如下：
步骤1.输入待检测火灾烟雾图片，利用YOLOV5主干网络提取特征，并输出提取到的三个不同分辨率的多尺度烟雾特征图；
输入的火灾烟雾图片在进入主干网络后，先经过多轮3×3的卷积分别生成通道数为256、512、1024的三个特征图p0，p1，p2，这三个特征图即为输入进BIFPN中的特征；
步骤2.构建基于Recursive BiFPN的特征融合网络对步骤1得到的多尺度烟雾特征进行特征融合处理，并对融合后的特征进行递归(Recursive)操作，与相同分辨率的原始特征再次融合，并将经过递归和二次融合操作后的特征输出；
步骤2.1将步骤1中三个不同分辨率的多尺度火灾烟雾特征图送入特征融合网络中；
步骤2.2构建Recursive BIFPN特征融合网络
步骤2.2.1在特征融合网络中，将步骤1得到的三个不同分辨率烟雾特征图先从低往高、再从高往低依次进行反卷积上采样和池化下采样，并将输入与输出级联，进而融合不同卷积层烟雾特征信息。
对于主干网络输出的三个烟雾特征图p0，p1，p2：先对p2上采样到p1尺寸并与其级联得到p′1；再对p′1上采样到p0尺寸并与其级联得到p′0；接着对p′0下采样到p1尺寸并与原p′1级联得到新的p′1；再对新的p′1下采样到p2尺寸并与其级联得到
上采样一次与新的p′1级联并和原始输入p1级联得到
上采样一次并与p′0级联得到
最终输出
作为新的输入；
步骤2.2.2如图2所示，将步骤2.2.1中BIFPN第一次融合后的三个不同分辨率的特征图进行Recursive操作，即返回到原有的主干网络；
步骤2.2.3运用BIFPN将步骤2.2.2返回的三个不同分辨率的特征与相应分辨率的主干网络特征二次融合，再次得到三个不同分辨率的多尺度特征图；
即完成Recursive BIFPN的构建，再次得到三个特征图
P1 *，
并根据重要性的不同，对于不同分辨率的特征图赋予相应的权重；
步骤3.将Swin Transformer Encoder模块引入到了YOLOV5，取代YOLOV5原有的探测头，构建具有全局建模能力的分类探测模块，Swin Transformer的结构如图3所示。基于Swin Transformer的检测头对步骤2得到的融合特征进行分类预测，预测网络在三个输出烟雾特征图
上进行烟雾的位置信息回归与置信度预测；
步骤3.1将Swin Transformer Encoder模块引入到了YOLOV5，取代YOLOV5原有的探测头，每一个特征图的预测头都添加了一个Swin Transformer Encoder模块，通过其将图片分为几个局部窗口；
步骤3.2通过W-MSA(Window Multi-Head Self Attention)在每个局部窗口中进行自我注意力的计算，用于提取烟雾图像的局部特征；
如图3所示，设一个局部窗口被划分大小为M×M的小窗口，则自注意力的计算公式如式(1)：
其中，
为Transformer的query、key和value的矩阵；d的维数为query/key，d的维数为query/key，B为Transformer的相关位置偏差。
如图4所示，Swin Transformer将Transformer的Multi-Head Self Attention(MSA)变为Window Multi-Head Self Attention(W-MSA)，令
和zl分别为W-MSA模块和MLP模块的第l个小窗口的输出特征，则
和zl的递推公式分别如式(2)和式(3)：
其中，LN为Transformer的横向规范化操作。
步骤3.3通过SW-MSA(Shifted Window Multi-Head Self Attention)使相邻的两个窗口之间进行交互，达到全局建模的能力，进而提取火灾烟雾图像的全局信息。如图4所示，SW-MSA的输出特征计算公式如(4)和式(5)：
其中，LN为Transformer的横向规范化操作。
步骤3.4通过分析不同窗口内的特征，最终分类并确定火灾烟雾所存在的位置，Swin Transformer Encoder模块采用层次式结构，使得网络的感受野不同，用于不受拍摄距离影响的前提下提取火灾烟雾图像的局部特征和全局信息。步骤包括：
步骤3.4.1每一个特征图的预测头都包含一个Swin Transformer encoder块，最终对应每一个疑似烟雾区域输出五个预测值：分别代表预测烟雾的四个位置坐标和一个置信度；
步骤3.4.2对于所有预测头预测的结果进行得分排序，选取每一个疑似烟雾判定区域得分大于设定阈值的框，并认定为此处存在烟雾；
步骤3.4.3使用Swin Transformer预测网络对非烟雾的干扰区域例如云、雾进行分类时，判别为非烟的干扰对象，不再输出位置信息和置信度。
步骤3.4.4对于重叠度高的框认定为同一烟雾区域并进行非极大值抑制，最终得到置信度最高的烟雾区域为最终预测结果。
实验：
本发明所提出的Recursive BIFPN特征融合网络能够很好地区分干扰对象与火灾烟雾，选择了包含云、雾的图像进行实验，并于已有的BIFPN做比较，实验结果如图5(a)～图5(e)所示，从图中可以看出，相比于BiFPN，通过Recursive BiFPN后的特征图不仅更关注烟雾区域，而且能够较好地区别云和烟。
此外，如图6，本发明除了能够很好地检测白色的烟以外，对于难以检测的火灾烟雾也能较好地识别，如小烟、黑烟、褐色的烟等
为了验证所提出的方法的先进性，将所提出的烟雾检测方法与现有的先进的烟雾检测网络进行了对比实验。对比包括预测准确率、召回率。实验结果如表1火灾烟雾识别实验结果对比所示，从表1的实验结果对比可以看出，本发明所提出的烟雾检测方法在烟雾检测的精确度、召回率和Map三个测度的值都是最高的，能够高效准确地识别野火烟雾图像。
表1
说明：准确率计算采用的是交并比阈值为0.5时的平均准确率，召回率计算采用的是交并比阈值为0.5到0.95以间隔为0.05所得到的10个召回率的平均值。
为了验证本发明提出的火灾烟雾网络对于小烟和黑色烟等难以识别的火灾烟雾的检测效果，选择了100张小烟图像和50张黑烟图像进行测试，分别与Faster RCNN、Efficientdet、SSD等主流目标检测卷积网络做比较，从表2的实验结果可以看出，本发明提出的火灾烟雾方法的Map值最高，准确率和召回率也达到了较高的值，能够在准确率和召回率之间达到很好的平衡，而Faster RCNN虽然召回率比较高，但是准确率却只有0.378。
表2
| 方法 | 准确率 | 召回率 | Map |
| Faster RCNN | 0.378 | 0.701 | 0.584 |
| Efficientdet | 0.728 | 0.406 | 0.497 |
| SSD | 0.780 | 0.131 | 0.411 |
| YOLOV5 | 0.845 | 0.631 | 0.632 |
| 本发明的方法 | 0.847 | 0.674 | 0.674 |
总结：
本发明的烟雾检测方法是基于Recursive BIFPN与Swin Transformer的火灾烟雾目标检测方法，基于该特征融合网络的火灾烟雾探测网络在测试数据集上表现出了显著的性能。本发明设计Recursive BIFPN，能够增强提取到的火灾烟雾多尺度特征，与普通的特征融合网络相比，本发明的特征融合网络在图像数据集上实现了更好的特征增强融合性能，可以区分背景中存在的与烟雾相似的云雾等物体。同时，本发明在预测网络中引入了善于提取全局信息的Swin Transformer，提高了对不同规模火灾烟雾，尤其是小规模火灾烟雾的检测精度。
实验表明，本检测方法在检测各种规模烟雾的准确性等方面具有明显的优势。
Claims (5)
1.一种基于Recursive BIFPN网络的室外火灾烟雾图像检测方法，步骤包括：先采集火灾烟雾图片；然后使用火灾烟雾检测网络进行检测；其特征是使用火灾烟雾检测网络检测烟雾目标的步骤包括：
步骤1)输入待检测火灾烟雾图片，利用YOLOV5主干网络提取特征，并输出提取到的三个不同分辨率的多尺度火灾烟雾特征图；
步骤2)构建Recursive BiFPN的特征融合网络，采用基于Recursive BiFPN的特征融合网络对步骤1)得到的多尺度烟雾特征进行特征融合处理；
步骤3)将Swin Transformer Encoder模块引入到了YOLOV5，取代YOLOV5原有的CSPDarknet53中的bottleneck blocks，构建具有全局建模能力的分类探测模块，采用基于Swin Transformer的探测头对步骤2)得到的融合特征进行分类预测，判断其火灾烟雾的存在以及其在图像中的位置；
所述步骤2)中：
2.1)将步骤1)中的三个不同分辨率的多尺度火灾烟雾特征图送入特征融合网络中；
2.2)构建Recursive BIFPN特征融合网络，对步骤2.1)得到的多尺度火灾烟雾特征进行融合，并对融合后的特征进行Recursive操作，与相同分辨率的原始特征再次融合，
2.3)将经过Recursive操作和二次融合操作后的特征输出；
所述步骤3)中：
3.1)将Swin Transformer Encoder模块引入到了YOLOV5，取代YOLOV5原有的探测头；
3.2)通过W-MSA(Window Multi-Head Self Attention)在每个局部窗口中进行自注意力的计算，提取烟雾图片的局部特征；
3.3)通过SW-MSA(Shifted Window Multi-Head Self Attention)使相邻的两个窗口之间进行交互，达到全局建模的能力，进而提取火灾烟雾图片的全局信息；
3.4)根据不同窗口内的特征，最终分类并确定火灾烟雾所存在的位置；
Swin Transformer Encoder模块采用层次式结构，使得网络的感受野不同，用于提取火灾烟雾图像的局部特征和全局信息。
2.根据权利要求1所述的一种基于Recursive BIFPN网络的室外火灾烟雾图像检测方法，其特征是步骤2.2)中，构建Recursive BIFPN特征融合网络，步骤包括：
2.2.1)运用BIFPN对步骤1)的各个不同分辨率的多尺度火灾烟雾特征图进行第一次融合：先从低往高、再从高往低依次进行反卷积上采样和池化下采样，并将输入与输出级联，进而融合不同卷积层的多尺度火灾烟雾特征信息图；
2.2.2)将步骤2.2.1)中BIFPN第一次融合后的三个不同分辨率的特征图进行递归操作，即返回到原有的主干网络；
2.2.3)运用BIFPN将步骤2.2.2)返回的三个不同分辨率的多尺度火灾烟雾特征图与相应分辨率的主干网络得到多尺度火灾烟雾特征图二次融合，再次得到三个不同分辨率的多尺度火灾烟雾特征图；然后根据重要性的不同，对于不同分辨率的多尺度火灾烟雾特征图赋予相应的权重。
3.根据权利要求3所述的一种基于Recursive BIFPN网络的室外火灾烟雾图像检测方法，其特征是步骤3)中，使用Swin Transformer探测头在三个烟雾特征图
上分别进行烟雾的位置信息回归与置信度预测，分别对火灾烟雾进行分类和定位，并对输出结果的得分排序，最终经过非极大值抑制层得到最终的预测结果，其中：
每一个预测头都包含一个Swin Transformer encoder块，对应每一个疑似烟雾区域输出五个预测值，五个预测值分别代表预测烟雾的四个位置坐标和一个置信度；
对于所有预测头预测的结果进行得分排序，选取每一个疑似烟雾判定区域得分大于设定阈值的预测框，并认定为此处存在烟雾；
使用Swin Transformer探测头对非烟雾的干扰区域进行分类时，判别为非烟的干扰对象，不再输出位置信息和置信度；
对于重叠度高的预测框，认定为同一烟雾区域并进行非极大值抑制，最终得到置信度最高的烟雾区域为最终预测结果。
4.根据权利要求3所述的一种基于Recursive BIFPN网络的室外火灾烟雾图像检测方法，其特征是步骤3.2)中，通过W-MSA在每个局部窗口中进行自注意力的计算的方法为：
设一个局部窗口被划分大小为M×M的小窗口，则自注意力的计算公式如式(1)：
其中，
为Transformer的query、key和value的矩阵；d的维数为query/key，B为Transformer的相关位置偏差；
Swin Transformer将Transformer的MSA变为W-MSA，令
和zl分别为W-MSA模块和MLP模块的第l个小窗口的输出特征，则
和zl的递推公式分别如式(2)和式(3)：
其中，LN为Transformer的横向规范化操作。
5.根据权利要求1所述的一种基于Recursive BIFPN网络的室外火灾烟雾图像检测方法，其特征是步骤3.3)中，SW-MSA的输出特征计算公式如(4)和式(5)：
其中，LN为Transformer的横向规范化操作，
和zl+1分别为W-MSA模块和MLP模块的第l+1个小窗口的输出特征。
步骤3.3)通过SW-MSA(Shifted Window Multi-Head Self Attention)使相邻的两个窗口之间进行交互，达到全局建模的能力，进而提取火灾烟雾图片的全局信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211447233.7A CN115690564A (zh) | 2022-11-18 | 2022-11-18 | 基于Recursive BIFPN网络的室外火灾烟雾图像检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211447233.7A CN115690564A (zh) | 2022-11-18 | 2022-11-18 | 基于Recursive BIFPN网络的室外火灾烟雾图像检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115690564A true CN115690564A (zh) | 2023-02-03 |
Family
ID=85054818
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211447233.7A Pending CN115690564A (zh) | 2022-11-18 | 2022-11-18 | 基于Recursive BIFPN网络的室外火灾烟雾图像检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115690564A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116342596A (zh) * | 2023-05-29 | 2023-06-27 | 云南电网有限责任公司 | 一种基于YOLOv5改进的变电站设备螺母缺陷识别检测方法 |
| CN116503715A (zh) * | 2023-06-12 | 2023-07-28 | 南京信息工程大学 | 一种基于级联网络的林火检测方法 |
| CN116681962A (zh) * | 2023-05-05 | 2023-09-01 | 江苏宏源电气有限责任公司 | 基于改进YOLOv5的电力设备热图像检测方法及系统 |
| CN117475296A (zh) * | 2023-08-16 | 2024-01-30 | 中国铁塔股份有限公司重庆市分公司 | 一种农村违章建筑实时监测方法及系统 |
-
2022
- 2022-11-18 CN CN202211447233.7A patent/CN115690564A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116681962A (zh) * | 2023-05-05 | 2023-09-01 | 江苏宏源电气有限责任公司 | 基于改进YOLOv5的电力设备热图像检测方法及系统 |
| CN116342596A (zh) * | 2023-05-29 | 2023-06-27 | 云南电网有限责任公司 | 一种基于YOLOv5改进的变电站设备螺母缺陷识别检测方法 |
| CN116342596B (zh) * | 2023-05-29 | 2023-11-28 | 云南电网有限责任公司 | 一种基于YOLOv5改进的变电站设备螺母缺陷识别检测方法 |
| CN116503715A (zh) * | 2023-06-12 | 2023-07-28 | 南京信息工程大学 | 一种基于级联网络的林火检测方法 |
| CN116503715B (zh) * | 2023-06-12 | 2024-01-23 | 南京信息工程大学 | 一种基于级联网络的林火检测方法 |
| CN117475296A (zh) * | 2023-08-16 | 2024-01-30 | 中国铁塔股份有限公司重庆市分公司 | 一种农村违章建筑实时监测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Adaptively constrained dynamic time warping for time series classification and clustering | |
| He et al. | Efficient attention based deep fusion CNN for smoke detection in fog environment | |
| CN115690564A (zh) | 基于Recursive BIFPN网络的室外火灾烟雾图像检测方法 | |
| CN106778595B (zh) | 基于高斯混合模型的人群中异常行为的检测方法 | |
| CN103886344B (zh) | 一种图像型火灾火焰识别方法 | |
| CN109816695A (zh) | 一种复杂背景下的红外小型无人机目标检测与跟踪方法 | |
| CN108537215A (zh) | 一种基于图像目标检测的火焰检测方法 | |
| CN112668557B (zh) | 一种行人再识别系统中防御图像噪声攻击的方法 | |
| CN111814638B (zh) | 基于深度学习的安防场景火焰检测方法 | |
| CN105528794A (zh) | 基于混合高斯模型与超像素分割的运动目标检测方法 | |
| CN110874592A (zh) | 一种基于总有界变分的森林火灾烟雾图像检测方法 | |
| CN113469050A (zh) | 基于图像细分类的火焰检测方法 | |
| CN112818905B (zh) | 一种基于注意力和时空信息的有限像素车辆目标检测方法 | |
| CN116469020A (zh) | 一种基于多尺度和高斯Wasserstein距离的无人机图像目标检测方法 | |
| CN113361370B (zh) | 一种基于深度学习的异常行为检测方法 | |
| CN114202803A (zh) | 一种基于残差网络的多阶段人体异常动作检测方法 | |
| CN111259736B (zh) | 一种基于深度学习的复杂环境下行人实时检测方法 | |
| CN111898440B (zh) | 一种基于三维卷积神经网络的山火检测方法 | |
| CN117152486A (zh) | 一种基于可解释性的图像对抗样本检测方法 | |
| CN116665015A (zh) | 一种基于YOLOv5的红外序列图像弱小目标检测方法 | |
| CN116188442A (zh) | 一种适用于任意场景下的高精度森林烟火检测方法 | |
| CN115861669A (zh) | 一种基于聚类思想的红外弱小目标检测方法 | |
| CN114694042A (zh) | 一种基于改进Scaled-YOLOv4的伪装人员目标检测方法 | |
| CN113989742A (zh) | 一种基于多尺度特征融合的核电站厂区行人检测方法 | |
| Zhang et al. | Forest Fire Smoke Detection Method Based on MoAm-YOLOv4 Algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |