CN116895050A - 一种隧道火灾识别方法及装置 - Google Patents

一种隧道火灾识别方法及装置 Download PDF

Info

Publication number
CN116895050A
CN116895050A CN202311161222.7A CN202311161222A CN116895050A CN 116895050 A CN116895050 A CN 116895050A CN 202311161222 A CN202311161222 A CN 202311161222A CN 116895050 A CN116895050 A CN 116895050A
Authority
CN
China
Prior art keywords
feature
feature map
monitoring image
branch network
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311161222.7A
Other languages
English (en)
Other versions
CN116895050B (zh
Inventor
盛鹏
罗煜
陈锶
王茂宁
缪金志
钟羽中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Expressway Construction And Development Group Co ltd
Original Assignee
Sichuan Expressway Construction And Development Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Expressway Construction And Development Group Co ltd filed Critical Sichuan Expressway Construction And Development Group Co ltd
Priority to CN202311161222.7A priority Critical patent/CN116895050B/zh
Publication of CN116895050A publication Critical patent/CN116895050A/zh
Application granted granted Critical
Publication of CN116895050B publication Critical patent/CN116895050B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种隧道火灾识别方法及装置，涉及火灾识别技术领域，所述方法包括：获取实时RGB监测图像，并对RGB监测图像进行颜色空间变换，得到HSV监测图像；将RGB监测图像和HSV监测图像作为已构建好的非对称双分支火灾识别模型的输入，非对称双分支火灾识别模型根据RGB监测图像和HSV监测图像输出是否发生火灾的预测结果；其中，非对称双分支火灾识别模型包括第一分支网络和第二分支网络，第一分支网络对RGB监测图像进行火焰显著特征提取后输出第一特征图，第二分支网络对HSV监测图像进行火焰细节特征提取后输出第二特征图，预测结果通过对第一特征图和第二特征图融合后的特征图进行火焰的分类和定位后得出。

Description

一种隧道火灾识别方法及装置
技术领域
本发明属于目标识别检测技术领域，特别是火灾识别技术领域，具体涉及一种隧道火灾识别方法及装置。
背景技术
截止2021年底，除去在建隧道，我国建成隧道已有23268处、2469.89 万延米，随着交通流量的迅速增加，隧道的火灾事故数量亦大幅增加。为了弥补传统探测器的不足，基于计算机视觉的深度学习技术逐渐引入中国公路隧道，该技术可自动识别和提取图像中火源和烟雾等火灾特征，它可以识别火灾的位置，跟踪和检测火灾的生长和蔓延，指导疏散、救援和消防等。近年来，深度学习极大地提高了图像分类和检测的能力，吸引了众多研究者的目光。然而火焰的形状、轮廓、运动和生长特征是不可预测的，其流体特性不遵循物体检测的普通规则，使其检测成为一项具有挑战性的任务。
目前，用于隧道火焰图像检测的算法存在下述问题：1.网络结构未充分考虑火焰特性；2.对低分辨率和小目标的火焰识别率低；3.隧道存在的复杂光线、尾气和车灯等，对火焰的检测造成了较大的干扰，然而该领域针对上述干扰的图像处理研究内容仍较匮乏，致使网络输出对灯光误判率高；4.实时性差。为提升对隧道火灾的检测准确度，一种改进的方案较为充分地考虑了火焰的特性，其在传统深度学习检测网络中引入额外的模块提升，然而由于过多的额外开销，可能无法在低运算力或计算资源受限的终端机器上部署或使用，无法保证火灾识别的实时性需求，错过火灾的早期警告。研究者也提出了另一种改进方案，先自行收集大量隧道火灾的视频和图像，然后对YOLOv5算法做出不同的改进，并对候选区域进行分类和定位等训练，基本满足了隧道火灾检测的准确性和实时性需求，然而这些网络结构设计可能极快收敛于某一显著性特征，造成网络对拥有相似特征的物体误判，容易忽略火焰其他细节性信息。
由此，基于对隧道火灾检测算法在实时性、计算量、检测准确度和鲁棒性等的多维度考量，一种改进的隧道火灾识别方法亟待提出。
发明内容
有鉴于此，本发明提出了一种隧道火灾识别方法及装置，用以克服现有的隧道火灾检测算法在实时性、计算量、检测准确度和鲁棒性等方面存在的一项或多项不足。
本发明的目的是通过以下技术方案来实现的：
第一方面
本发明的第一方面提出了一种隧道火灾识别方法，包括：
获取实时RGB监测图像，并对RGB监测图像进行颜色空间变换，得到HSV监测图像；
将RGB监测图像和HSV监测图像作为已构建好的非对称双分支火灾识别模型的输入，非对称双分支火灾识别模型根据RGB监测图像和HSV监测图像输出是否发生火灾的预测结果；
其中，非对称双分支火灾识别模型包括用于浅层特征提取的第一分支网络和用于深层特征提取的第二分支网络，第一分支网络对RGB监测图像进行火焰显著特征提取后输出第一特征图，第二分支网络对HSV监测图像进行火焰细节特征提取后输出第二特征图，所述预测结果通过对第一特征图和第二特征图融合后的特征图进行火焰的分类和定位后得出。
进一步改进地，所述第一特征图在与第二特征图进行融合前，第一分支网络内通过引入第一CBAM模块进行火焰关键特征聚合，所述第二特征图在与第一特征图进行融合前，第二分支网络内通过引入第二CBAM模块进行火焰关键特征聚合。
进一步改进地，采用差异性特征融合策略进行所述第一特征图和第二特征图的融合，具体为：
计算第一特征图相较于第二特征图的弱势特征以及根据该弱势特征计算得到用于补入第一特征图的互补特征；
计算第二特征图相较于第一特征图的弱势特征以及根据该弱势特征计算得到用于补入第二特征图的互补特征；
将第一特征图、第二特征图和所有互补特征进行元素相加融合。
进一步改进地，所述第一分支网络基于自身内部的特征提取层进行火焰显著特征提取，第一分支网络内的特征提取层包括多个依次连接且使用了倒残差结构的bneck结构单元，且至少一个bneck结构单元内嵌入了SE通道注意力机制；所述第二分支网络基于自身内部的特征提取层进行火焰细节特征提取，第二分支网络内的特征提取层包括多个依次连接且使用了倒残差结构的bneck结构单元，且至少一个bneck结构单元内也嵌入了SE通道注意力机制，第一分支网络的特征提取层中的bneck结构单元数量少于第二分支网络的特征提取层中的bneck结构单元数量。
进一步改进地，所述第一分支网络内的bneck结构单元和第二分支网络内的bneck结构单元构造相同，所述bneck结构单元包括一个由非线性激活函数作为输出的轻量级DepthWise卷积层和一个1*1卷积层，在嵌入了SE通道注意力机制的bneck结构单元中，SE通道注意力机制嵌入在DepthWise卷积层和1*1卷积层之间。
进一步改进地，所述第一分支网络包括依次连接的第一输入卷积层、第一CBAM模块和用于火焰显著特征提取的特征提取层，所述第一输入卷积层用于接入RGB监测图像，用于火焰显著特征提取的特征提取层用于输出第一特征图；所述第二分支网络包括依次连接的第二输入卷积层、第二CBAM模块和用于火焰细节特征提取的特征提取层，所述第二输入卷积层用于接入HSV监测图像，用于火焰细节特征提取的特征提取层用于输出第二特征图。
进一步改进地，计算第一特征图相较于第二特征图的弱势特征以及根据该弱势特征计算得到用于补入第一特征图的互补特征以及计算第二特征图相较于第一特征图的弱势特征以及根据该弱势特征计算得到用于补入第二特征图的互补特征，具体过程如下：
基于attention机制，通过对第一特征图使用三个不同的全连接映射对应得到三个特征映射矩阵以及通过对第二特征图使用三个不同的全连接映射对应得到三个特征映射矩阵/>；
进行特征映射矩阵和/>的向量叉乘运算，并对向量叉乘运算结果进行归一化，将归一化输出结果与1做差集，获得的差集为第一特征图相较于第二特征图的弱势特征；
进行特征映射矩阵和/>的向量叉乘运算，并对向量叉乘运算结果进行归一化，将归一化输出结果与1做差集，获得的差集为第二特征图相较于第一特征图的弱势特征；
将第一特征图相较于第二特征图的弱势特征和特征映射矩阵/>进行加权处理获得用于补入第一特征图的互补特征，该互补特征表示为/>；
将第二特征图相较于第一特征图的弱势特征和特征映射矩阵/>进行加权处理获得用于补入第二特征图的互补特征，该互补特征表示为/>。
进一步改进地，所述第一特征图相较于第二特征图的弱势特征通过第一公式计算，所述第一公式表示为，所述第二特征图相较于第一特征图的弱势特征通过第二公式计算，所述第二公式表示为/>。
进一步改进地，所述SE通道注意力机制包括依次连接的一个全局平均池化层、两个全连接层和一个sigmoid函数；和/或；所述非对称双分支火灾识别模型还包括依次连接的最大池化层、第一全连接层、BN归一化层、dropout跨越结构和第二全连接层，所述最大池化层用于接入第一特征图和第二特征图融合后的特征图，经第二全连接层后输出预测结果。
本发明的第一方面带来的有益效果如下：
（1）与RGB图像不同的是，HSV图像用饱和度和色度描述色彩颜色，对颜色的描述更适合人类对客观世界颜色的感知，且其亮度通道对于光照变化更为稳定，本发明通过在不同视觉数据上构建两个不同的分支网络以及各个分支网络存在判别范式的不同，其中，不同视觉数据分别为RGB图像数据和HSV图像数据，使得构建得到的非对称双分支火灾识别模型能够捕获更为多样的特征，相较于传统单分支的火焰图像检测算法而言，通过第二个分支的加入将第二个分支捕获的缺漏信息和细节信息补入第一个分支，达到分支级先验知识的注入，然后使用颜色等火焰显著特征和图像纹理和几何特征等火焰细节特征的融合特征来进行火焰的分类和定位，从而基于不同视觉丰富了火焰特性的特征表达，提高了火灾检测准确度；
（2）本发明构建了由两部分组成的动态信息评估策略，其一为基于第一CBAM模块和第二CBAM模块的各分支特征级动态评估策略，其二为在分支末端引入的分支级差异性特征融合策略；第一CBAM模块和第二CBAM模块作为对应分支的内部门控单元，通过利用CBAM其空间注意力和通道注意力机制，完成特征级上重要信息的聚合，抑制非重要信息特征，动态地评估了样本特征信息，增强了第一分支网络在浅层高维抽象特征上的表征能力以及增强了第二分支网络在深层高维抽象特征上的表征能力；差异性特征融合策略针对HSV监测图像和RGB监测图像所提取的特征存在的语义差，进行双分支特征的互补融合，充分关注和弥补了两个分支相互之间的弱势特征区域，使得深浅层融合后的特征语义表达得到增强，从而提高了火灾检测准确度；
（3）在进行火焰的分类和定位前进行各个分支内部重要信息的聚合以及第一特征图和第二特征图之间的差异性特征融合，为一种分支早融合方式，即在特征分类和定位前将双分支引入的冗余信息进行去除，减少了系统计算开销，使得本发明构建的非对称双分支火灾识别模型更好的兼顾了检测实时性和准确度；
（4）通过由多个使用了倒残差结构的bneck结构单元组成第一分支网络的特征提取层或第二分支网络的特征提取层，bneck结构单元为基于MobileNetV3基础结构的改进，减少了计算参数量，同时达到了良好的特征提取效果；
（5）在部分bneck结构单元中嵌入SE通道注意力机制，提升了对有效特征信息的提取效果；
综上所述，本发明从RGB和HSV两种图像视觉出发，并结合了包含特征级和分支级融合的动态信息评估策略，基于本发明构建的非对称双分支火灾识别模型进行火灾识别时，兼顾了实时性、计算量和检测准确度，尤其适用于隧道、公路等存在较多灯光干扰的复杂环境，鲁棒性强，同时对低分辨率和小目标的火焰识别率得到了提升，且适用于在低运算力或计算资源受限的终端上进行部署和使用。
第二方面
本发明的第二方面提出了一种隧道火灾识别装置，包括处理器和存储器，所述存储器内保存有本发明第一方面所述的一种隧道火灾识别方法，所述处理器用于调用存储器内保存的所述方法进行火灾识别。
本发明的第二方面带来与第一方面等同的有益效果，在此不再赘述。
附图说明
图1为火灾识别方法的一种流程示意图；
图2为非对称双分支火灾识别模型的一种具体网络结构图；
图3为嵌入了SE通道注意力机制的bneck结构单元的一种结构图；
图4为差异性特征融合的一种结构示意图。
具体实施方式
下面将结合实施例，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
下述实施例需一并参阅图1至图4。
为了更好的描述本申请及其实施例，将后续出现的专业术语进行解释：
Conv：卷积操作；
BN: 全称“Batch Normalization”，批量归一化计算，为标准正则化处理的一种方式，使进行卷积以后的图片特征图满足均值为0、方差为1的分布规律；
hswish：非线性激活函数的一种；
sigmoid：非线性激活函数的一种；
FC：full connection，全连接层；
MLP：Fully Connected Feedforward Neural Network，全连接神经网络或多层感知机；
dropout：跨越连接结构；
CBAM：Convolutional Block Attention Module，注意力模块，包括通道注意力模块（channel attention module，CAM）和空间注意力模块（spartial attention module，SAM），分别进行通道与空间的attention；
MaxPool：最大值池化；
AvgPool：均值池化；
1*1卷积：进行卷积核大小为1*1的卷积运算操作；
3*3Dwise：进行卷积核大小为3*3的DepthWise（深度）卷积操作；
SE通道注意力机制：Squeeze-and-Excitation注意力机制。
实施例一
本实施例提供了一种隧道火灾识别方法，特别适用于隧道等环境下火灾的识别，方法包括下述实施步骤：
S100.获取实时RGB监测图像，并对RGB监测图像进行颜色空间变换，得到HSV监测图像。例如从隧道等监控设备获取隧道内的实时RGB监测图像。RGB监测图像转换到HSV监测图像，涉及一种颜色空间变换过程，可通过执行普通实施例中的颜色空间变换过程实现，本实施例对此部分内容不进行详细描述。
S200.将RGB监测图像和HSV监测图像作为已构建好的非对称双分支火灾识别模型的输入，非对称双分支火灾识别模型根据RGB监测图像和HSV监测图像输出是否发生火灾的预测结果。
其中，非对称双分支火灾识别模型包括用于浅层特征提取的第一分支网络和用于深层特征提取的第二分支网络。第一分支网络对RGB监测图像进行火焰显著特征提取后输出第一特征图。第二分支网络对HSV监测图像进行火焰细节特征提取后输出第二特征图。预测结果通过对第一特征图和第二特征图融合后的特征图进行火焰的分类和定位后得出。
可知的，第一分支网络用于浅层特征提取，第二分支网络用于深层特征提取，相应的，第一分支网络内特征提取层的深度要比第二分支网络内特征提取层的深度要浅。基于RGB监测图像提取到的火焰显著特征包括颜色等，基于HSV监测图像提取到的火焰细节特征包括纹理和边缘形状等。
优选的，第一分支网络内用于火焰显著特征提取的特征提取层包括多个依次连接且使用了倒残差结构的bneck结构单元，且至少一个bneck结构单元内嵌入了SE通道注意力机制。第二分支网络用于火焰细节特征提取的特征提取层包括多个依次连接且使用了倒残差结构的bneck结构单元，且至少一个bneck结构单元内也嵌入了SE通道注意力机制。
在一些实施例中，第一分支网络内的bneck结构单元与第二分支网络内的bneck结构单元的组成结构相同。如图3所示，示例性地，bneck结构单元包括依次连接的一个轻量级DepthWise卷积层、一个非线性激活函数和一个1*1卷积层。针对嵌入了SE通道注意力机制的bneck结构单元，SE通道注意力机制嵌入在DepthWise卷积层和1*1卷积层之间。SE通道注意力机制的一种结构组成具体为：包括依次连接的一个全局平均池化层、两个全连接层和一个sigmoid函数。
作为上述实施例的第一种改进，第一特征图在与第二特征图进行融合前，第一分支网络内通过引入第一CBAM模块进行重要信息聚合，即聚合火焰关键特征，第二特征图在与第一特征图进行融合前，第二分支网络内通过引入第二CBAM模块进行重要信息聚合。下述内容对第一CBAM模块的通道注意力和空间注意力计算过程进行描述，第二CBAM模块同理。
第一CBAM模块，其通道注意力和空间注意力计算过程具体为：
；
；
；
；
式一至式四中，表示一维通道注意图且/>，F表示作为输入的中间特征图且/>，/>表示sigmoid激活函数，/>表示卷积核大小为7×7，/>表示通道注意力调整后的特征图且作为空间注意力计算时的输入，/>表示二维空间注意力图，/>表示通道注意力和空间注意力计算后得到的CBAM注意力，即为第一CBAM模块的输出，/>表示相乘运算。
RGB监测图像经第一分支网络先进行初步编码，然后利用第一CBAM模块的空间注意力和通道注意力机制，完成特征级上重要信息的聚合，从而增强了第一分支网络的特征表征能力。HSV监测图像经第二分支网络先进行初步编码，然后利用第二CBAM模块的空间注意力和通道注意力机制，完成特征级上重要信息的聚合，从而增强了第二分支网络的特征表征能力。
作为上述实施例的第二种改进，采用差异性特征融合策略进行第一特征图和第二特征图的融合，一种具体实施过程如下：
SS1.计算第一特征图相较于第二特征图的弱势特征以及根据该弱势特征计算得到用于补入第一特征图的互补特征；
SS2.计算第二特征图相较于第一特征图的弱势特征以及根据该弱势特征计算得到用于补入第二特征图的互补特征；
SS3.将第一特征图、第二特征图和所有互补特征进行元素相加融合。
结合上述优选、第一种改进和第二种优选，示例性地，本实施例构建的非对称双分支火灾识别模型的具体构造如图2所示。非对称双分支火灾识别模型包括位于上部的第一分支网络、位于下部的第二分支网络以及对第一特征图与第二特征图融合后的特征图进行火焰定位和识别的火焰预测网络。第一分支网络包括依次连接的第一输入卷积层、第一CBAM模块（CBAM1）和用于火焰显著特征提取的特征提取层，第一输入卷积层为“第一输入卷积Conv1+BN+hswish”，第一输入卷积Conv1用于接入RGB监测图像，用于火焰显著特征提取的特征提取层包括七个bneck结构单元（bneck*7）且输出为第一特征图。第二分支网络包括依次连接的第二输入卷积层、第二CBAM模块（CBAM2）和用于火焰细节特征提取的特征提取层，第二输入卷积层为“第二输入卷积Conv2+BN+hswish”，第二输入卷积Conv2用于接入HSV监测图像，用于火焰细节特征提取的特征提取层包括十个bneck结构单元（bneck*10）且输出为第二特征图。进行火焰定位和识别的火焰预测网络包括依次连接的最大池化层、第一全连接层（FC1）、BN归一化层、dropout跨越结构和第二全连接层（FC2），最大池化层用于接入第一特征图和第二特征图融合后的特征图，经第二全连接层后输出火焰或非火焰的识别结果，根据火焰识别结果确定是否发生火灾。
根据第二分支网络的上述结构组成，表一示出了第二分支网络的一种特征提取过程，特征提取过程的时序为从表第一行依次往下执行，表一中，Input表示输入图像形状，Operator表示卷积操作细节，bneck后的数字表示DepthWise卷积的卷积核大小，NBN表示不使用BN层，exp size表示倒残差结构中扩大的通道数，#out表示输出通道数，√表示使用了SE通道注意力机制，-表示未使用SE通道注意力机制，NL表示使用的激活函数类型，HS代表hswish激活函数，RE代表RELU激活函数，s表示卷积的步长。第一分支网络在第二分支网络的基础上去除了第三个、第五个和第七个bneck结构单元。
表一
如图4所示，计算第一特征图相较于第二特征图的弱势特征以及根据该弱势特征计算得到用于补入第一特征图的互补特征以及计算第二特征图相较于第一特征图的弱势特征以及根据该弱势特征计算得到用于补入第二特征图的互补特征，一种具体实施过程如下：
SSS1.基于attention机制，通过对第一特征图使用三个不同的全连接映射对应得到三个特征映射矩阵，以及通过对第二特征图使用三个不同的全连接映射对应得到三个特征映射矩阵/>。优选地，得到特征映射矩阵前对全连接映射后的输出进行1*1卷积运算实现通道压缩。第一特征图对应的三个特征映射矩阵/>分别表示为：/>，/>，/>，其中，/>表示第一特征图，/>表示三个权重矩阵。第二特征图对应的三个特征映射矩阵/>分别表示为：/>，/>，，/>表示第二特征图，/>表示三个权重矩阵。
SSS2.进行特征映射矩阵和/>的向量叉乘运算，并对向量叉乘运算结果进行归一化，将归一化输出结果与1做差集，获得的差集为第一特征图相较于第二特征图的弱势特征。
SSS3.进行特征映射矩阵和/>的向量叉乘运算，并对向量叉乘运算结果进行归一化，将归一化输出结果与1做差集，获得的差集为第二特征图相较于第一特征图的弱势特征。
SSS4.将第一特征图相较于第二特征图的弱势特征和特征映射矩阵/>进行加权处理获得用于补入第一特征图的互补特征，该互补特征表示为/>。
SSS5.将第二特征图相较于第一特征图的弱势特征和特征映射矩阵/>进行加权处理获得用于补入第二特征图的互补特征，该互补特征表示为/>。
本实施例中，示例性地，通过softmax函数进行归一化输出，因此第一特征图相较于第二特征图的弱势特征表示为，第二特征图相较于第一特征图的弱势特征表示为/>。
此外，需理解的是，上述记载中涉及的所有矩阵乘法均为叉乘。
在对构建的非对称双分支火灾识别模型进行训练时，通过搜集各大新闻平台隧道火灾报道、各大城市隧道消防演练的视频截取图像帧以及自行在隧道构建模拟数据等方式来构建隧道火灾数据，从而构建出用于模型训练、验证和测试的数据集。
此外，为验证本实施例所构建好的非对称双分支火灾识别模型的性能，对模型进行性能验证，获悉到了诸如参数量（Params）、计算量（FIOPs）、精确率(Precision)、真阳性率（TPR）和假阳性率（FPR）、F1值和推理时间(FPS)这些指标的具体值。如表二所示，在表二中还记载了在数据集上对其他现阶段已公开的单分支的前沿深度学习模型进行性能验证的相关指标数据。单分支的前沿深度学习模型包括ResNet_18、ResNeXt_50_32x4d、DenseNet_121、MobileNet_V2(×1)、ShuffleNet_V2(×1)、MobileNetV3_small、MobileNetV3_large、EfficientNetv2_small、ResNeSt、Majid、DC-CNN以及DCNN。结合表二可知，本实施例实现的非对称双分支火灾识别模型在一个可接受的FPS指标下，达到了良好的模型精度，并以2.09M的参数量和232.35M的计算量，达到了97.52%的F1和3.90%的FPR，可见，兼顾了实时性、计算量和检测准确度。
表二
实施例二
本实施例基于实施例一的火灾识别方法，提出了一种隧道火灾识别装置。装置包括存储器和处理器，存储器和处理器通信连接，存储器内保存了实施例一实现的一种隧道火灾识别方法，处理器用于调用存储器内的该方法进行火灾识别。
以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (10)

1.一种隧道火灾识别方法，其特征在于，包括：
获取实时RGB监测图像，并对RGB监测图像进行颜色空间变换，得到HSV监测图像；
将RGB监测图像和HSV监测图像作为已构建好的非对称双分支火灾识别模型的输入，非对称双分支火灾识别模型根据RGB监测图像和HSV监测图像输出是否发生火灾的预测结果；
其中，非对称双分支火灾识别模型包括用于浅层特征提取的第一分支网络和用于深层特征提取的第二分支网络，第一分支网络对RGB监测图像进行火焰显著特征提取后输出第一特征图，第二分支网络对HSV监测图像进行火焰细节特征提取后输出第二特征图，所述预测结果通过对第一特征图和第二特征图融合后的特征图进行火焰的分类和定位后得出。
2.根据权利要求1所述的一种隧道火灾识别方法，其特征在于，所述第一特征图在与第二特征图进行融合前，第一分支网络内通过引入第一CBAM模块进行火焰关键特征聚合，所述第二特征图在与第一特征图进行融合前，第二分支网络内通过引入第二CBAM模块进行火焰关键特征聚合。
3.根据权利要求1或2所述的一种隧道火灾识别方法，其特征在于，采用差异性特征融合策略进行所述第一特征图和第二特征图的融合，具体为：
计算第一特征图相较于第二特征图的弱势特征以及根据该弱势特征计算得到用于补入第一特征图的互补特征；
计算第二特征图相较于第一特征图的弱势特征以及根据该弱势特征计算得到用于补入第二特征图的互补特征；
将第一特征图、第二特征图和所有互补特征进行元素相加融合。
4.根据权利要求1所述的一种隧道火灾识别方法，其特征在于，所述第一分支网络基于自身内部的特征提取层进行火焰显著特征提取，第一分支网络内的特征提取层包括多个依次连接且使用了倒残差结构的bneck结构单元，且至少一个bneck结构单元内嵌入了SE通道注意力机制；所述第二分支网络基于自身内部的特征提取层进行火焰细节特征提取，第二分支网络内的特征提取层包括多个依次连接且使用了倒残差结构的bneck结构单元，且至少一个bneck结构单元内也嵌入了SE通道注意力机制，第一分支网络的特征提取层中的bneck结构单元数量少于第二分支网络的特征提取层中的bneck结构单元数量。
5.根据权利要求4所述的一种隧道火灾识别方法，其特征在于，所述第一分支网络内的bneck结构单元和第二分支网络内的bneck结构单元构造相同，所述bneck结构单元包括一个由非线性激活函数作为输出的轻量级DepthWise卷积层和一个1*1卷积层，在嵌入了SE通道注意力机制的bneck结构单元中，SE通道注意力机制嵌入在DepthWise卷积层和1*1卷积层之间。
6.根据权利要求2所述的一种隧道火灾识别方法，其特征在于，所述第一分支网络包括依次连接的第一输入卷积层、第一CBAM模块和用于火焰显著特征提取的特征提取层，所述第一输入卷积层用于接入RGB监测图像，用于火焰显著特征提取的特征提取层用于输出第一特征图；所述第二分支网络包括依次连接的第二输入卷积层、第二CBAM模块和用于火焰细节特征提取的特征提取层，所述第二输入卷积层用于接入HSV监测图像，用于火焰细节特征提取的特征提取层用于输出第二特征图。
7.根据权利要求3所述的一种隧道火灾识别方法，其特征在于，计算第一特征图相较于第二特征图的弱势特征以及根据该弱势特征计算得到用于补入第一特征图的互补特征以及计算第二特征图相较于第一特征图的弱势特征以及根据该弱势特征计算得到用于补入第二特征图的互补特征，具体过程如下：
基于attention机制，通过对第一特征图使用三个不同的全连接映射对应得到三个特征映射矩阵以及通过对第二特征图使用三个不同的全连接映射对应得到三个特征映射矩阵/>；
进行特征映射矩阵和/>的向量叉乘运算，并对向量叉乘运算结果进行归一化，将归一化输出结果与1做差集，获得的差集为第一特征图相较于第二特征图的弱势特征；
进行特征映射矩阵和/>的向量叉乘运算，并对向量叉乘运算结果进行归一化，将归一化输出结果与1做差集，获得的差集为第二特征图相较于第一特征图的弱势特征；
将第一特征图相较于第二特征图的弱势特征和特征映射矩阵/>进行加权处理获得用于补入第一特征图的互补特征，该互补特征表示为/>；
将第二特征图相较于第一特征图的弱势特征和特征映射矩阵/>进行加权处理获得用于补入第二特征图的互补特征，该互补特征表示为/>。
8.根据权利要求7所述的一种隧道火灾识别方法，其特征在于，所述第一特征图相较于第二特征图的弱势特征通过第一公式计算，所述第一公式表示为，所述第二特征图相较于第一特征图的弱势特征通过第二公式计算，所述第二公式表示为。
9.根据权利要求4所述的一种隧道火灾识别方法，其特征在于，所述SE通道注意力机制包括依次连接的一个全局平均池化层、两个全连接层和一个sigmoid函数；和/或；所述非对称双分支火灾识别模型还包括依次连接的最大池化层、第一全连接层、BN归一化层、dropout跨越结构和第二全连接层，所述最大池化层用于接入第一特征图和第二特征图融合后的特征图，经第二全连接层后输出预测结果。
10.一种隧道火灾识别装置，其特征在于，包括处理器和存储器，所述存储器内保存有权利要求1-9项任一项所述的一种隧道火灾识别方法，所述处理器用于调用存储器内保存的所述方法进行火灾识别。
CN202311161222.7A 2023-09-11 2023-09-11 一种隧道火灾识别方法及装置 Active CN116895050B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311161222.7A CN116895050B (zh) 2023-09-11 2023-09-11 一种隧道火灾识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311161222.7A CN116895050B (zh) 2023-09-11 2023-09-11 一种隧道火灾识别方法及装置

Publications (2)

Publication Number Publication Date
CN116895050A true CN116895050A (zh) 2023-10-17
CN116895050B CN116895050B (zh) 2023-12-08

Family

ID=88311118

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311161222.7A Active CN116895050B (zh) 2023-09-11 2023-09-11 一种隧道火灾识别方法及装置

Country Status (1)

Country Link
CN (1) CN116895050B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200160085A1 (en) * 2018-11-21 2020-05-21 Vivotek Inc. Convolutional neutral network identification efficiency increasing method and related convolutional neutral network identification efficiency increasing device
US20200175344A1 (en) * 2018-11-30 2020-06-04 International Business Machines Corporation Object recognition and description using multimodal recurrent neural network
CN114580541A (zh) * 2022-03-07 2022-06-03 郑州轻工业大学 一种基于时空域双通道火灾视频烟雾识别方法
CN114648684A (zh) * 2022-03-24 2022-06-21 南京邮电大学 一种用于图像目标检测的轻量级双分支卷积神经网络及其检测方法
CN115082928A (zh) * 2022-06-21 2022-09-20 电子科技大学 面向复杂场景的不对称双分支实时语义分割网络的方法
CN115171047A (zh) * 2022-07-20 2022-10-11 南京林业大学 基于轻量级长短距离注意力transformer网络的火灾图像检测方法
CN115249332A (zh) * 2022-09-23 2022-10-28 山东锋士信息技术有限公司 基于空谱双分支卷积网络的高光谱图像分类方法及设备
CN115424104A (zh) * 2022-08-19 2022-12-02 西安电子科技大学 一种基于特征融合与注意力机制的目标检测方法
CN115424116A (zh) * 2022-09-20 2022-12-02 国网安徽省电力有限公司电力科学研究院 轻量级卷积神经网络的火灾检测方法、装置及设备
CN116152658A (zh) * 2023-01-06 2023-05-23 北京林业大学 一种基于域对抗特征融合网络的林火烟雾检测方法
CN116433908A (zh) * 2023-04-13 2023-07-14 南昌工程学院 一种基于Laplace特征约束的双分支非对称实时语义分割算法
CN116469007A (zh) * 2023-04-12 2023-07-21 成都锦城学院 森林火灾识别方法
CN116721112A (zh) * 2023-08-10 2023-09-08 南开大学 基于双分支解码器网络的水下伪装物体图像分割方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200160085A1 (en) * 2018-11-21 2020-05-21 Vivotek Inc. Convolutional neutral network identification efficiency increasing method and related convolutional neutral network identification efficiency increasing device
US20200175344A1 (en) * 2018-11-30 2020-06-04 International Business Machines Corporation Object recognition and description using multimodal recurrent neural network
CN114580541A (zh) * 2022-03-07 2022-06-03 郑州轻工业大学 一种基于时空域双通道火灾视频烟雾识别方法
CN114648684A (zh) * 2022-03-24 2022-06-21 南京邮电大学 一种用于图像目标检测的轻量级双分支卷积神经网络及其检测方法
CN115082928A (zh) * 2022-06-21 2022-09-20 电子科技大学 面向复杂场景的不对称双分支实时语义分割网络的方法
CN115171047A (zh) * 2022-07-20 2022-10-11 南京林业大学 基于轻量级长短距离注意力transformer网络的火灾图像检测方法
CN115424104A (zh) * 2022-08-19 2022-12-02 西安电子科技大学 一种基于特征融合与注意力机制的目标检测方法
CN115424116A (zh) * 2022-09-20 2022-12-02 国网安徽省电力有限公司电力科学研究院 轻量级卷积神经网络的火灾检测方法、装置及设备
CN115249332A (zh) * 2022-09-23 2022-10-28 山东锋士信息技术有限公司 基于空谱双分支卷积网络的高光谱图像分类方法及设备
CN116152658A (zh) * 2023-01-06 2023-05-23 北京林业大学 一种基于域对抗特征融合网络的林火烟雾检测方法
CN116469007A (zh) * 2023-04-12 2023-07-21 成都锦城学院 森林火灾识别方法
CN116433908A (zh) * 2023-04-13 2023-07-14 南昌工程学院 一种基于Laplace特征约束的双分支非对称实时语义分割算法
CN116721112A (zh) * 2023-08-10 2023-09-08 南开大学 基于双分支解码器网络的水下伪装物体图像分割方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HONGYANG ZHANG等: "Deep Neural Networks with Multi-Branch Architectures Are Intrinsically Less Non-Convex", PROCEEDINGS OF THE TWENTY-SECOND INTERNATIONAL CONFERENCE ON ARTIFICIAL INTELLIGENCE AND STATISTICS, pages 1099 - 1109 *
MIN XIA等: "PANDA: Parallel asymmetric network with double attention for cloud and its shadow detection", JOURNAL OF APPLIED REMOTE SENSING, vol. 15, no. 4, pages 1 - 21 *
王慧薷等: "基于双分支通道空间依赖和非对称权重共享卷积的目标检测优化结构", 计算机应用研究, vol. 40, no. 05, pages 1565 - 1570 *
赵力等: "基于非对称双分支交互神经网络的水下生物识别", 计算机应用研究, vol. 38, no. 04, pages 1240 - 1244 *

Also Published As

Publication number Publication date
CN116895050B (zh) 2023-12-08

Similar Documents

Publication Publication Date Title
CN103886344B (zh) 一种图像型火灾火焰识别方法
CN107463920A (zh) 一种消除局部遮挡物影响的人脸识别方法
CN111582092B (zh) 一种基于人体骨架的行人异常行为检测方法
CN111274921A (zh) 一种利用姿态掩模进行人体行为识别的方法
CN113326735B (zh) 一种基于YOLOv5的多模态小目标检测方法
CN113239825A (zh) 一种复杂场景下高精度烟草甲虫检测方法
CN116152658A (zh) 一种基于域对抗特征融合网络的林火烟雾检测方法
CN114882430A (zh) 一种基于Transformer的轻量化早期火灾检测方法
Benjamin et al. Extraction of fire region from forest fire images using color rules and texture analysis
CN113792686B (zh) 基于视觉表征跨传感器不变性的车辆重识别方法
Cao et al. YOLO-SF: YOLO for fire segmentation detection
CN114359578A (zh) 病虫害识别智能终端应用方法及系统
Kacker et al. Multi-spectral fusion using generative adversarial networks for uav detection of wild fires
CN109064444B (zh) 基于显著性分析的轨道板病害检测方法
Manaf et al. Color recognition system with augmented reality concept and finger interaction: Case study for color blind aid system
CN112488213A (zh) 一种基于多尺度特征学习网络的火灾图片分类方法
CN116895050B (zh) 一种隧道火灾识别方法及装置
CN111898427A (zh) 一种基于特征融合深度神经网络的多光谱行人检测方法
CN111178275A (zh) 一种基于卷积神经网络的火灾检测方法
CN116486431A (zh) 基于目标感知融合策略的rgb-t多光谱行人检测方法
CN110991243A (zh) 一种基于颜色通道hsv结合卷积神经网络的秸秆燃烧识别方法
Wang et al. Research on forest flame recognition algorithm based on image feature
CN112560706B (zh) 一种多源卫星图像水体目标识别方法及装置
CN115393802A (zh) 一种基于小样本学习的铁路场景不常见入侵目标识别方法
CN113420608A (zh) 一种基于密集时空图卷积网络的人体异常行为识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant