CN113469050A - 基于图像细分类的火焰检测方法 - Google Patents
基于图像细分类的火焰检测方法 Download PDFInfo
- Publication number
- CN113469050A CN113469050A CN202110746048.7A CN202110746048A CN113469050A CN 113469050 A CN113469050 A CN 113469050A CN 202110746048 A CN202110746048 A CN 202110746048A CN 113469050 A CN113469050 A CN 113469050A
- Authority
- CN
- China
- Prior art keywords
- flame
- image
- convolution
- classification
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 59
- 238000013145 classification model Methods 0.000 claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 5
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 20
- 238000010586 diagram Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 9
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 3
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 5
- 238000013135 deep learning Methods 0.000 abstract description 3
- 238000012544 monitoring process Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 10
- 230000006978 adaptation Effects 0.000 description 1
- 238000000137 annealing Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像处理、深度学习技术领域,涉及一种基于图像细分类的火焰检测方法,包括以下步骤:步骤1、收集火焰图像,对数据预处理,制作成火焰数据集;步骤2、根据火焰数据集,训练CenterNet检测器,保存最佳的模型;步骤3、准备火焰与非火焰的二分类数据集;步骤4、在MobileNetV2分类模型的倒置残差模块间引入注意力模块BAM,训练二分类模型;步骤5、CenterNet检测出图像的前景目标K,然后将前景目标K裁剪成图像块送入分类模型中,进行细分类,以滤除与火焰相似的误检物体。本发明不仅可以实现远距离的火灾监测,而且检测效果更好。
Description
技术领域
本发明涉及图像处理、深度学习技术领域,具体地说,涉及一种基于图像细分类的火焰检测方法。
背景技术
传统的火焰检测方法基于光能、热能原理,通过传感器来捕捉火焰燃烧时发出的光能、热能,将能量转换为电信号以此进行检测。该方法有一定的局限性,其一,要求检测设备必须与火灾发生点保持较近的距离,其二,检测设备灵敏度不高,从火灾的发生到预警,往往需要一定的等待时间。因此,传统的火焰检测方法无法满足重点场所下火灾的安防需求。
近年来,许多研究者将深度学习算法应用于火灾预警领域,比如用VGGNet、ResNet等分类模型去单独识别是否有火灾发生,用FasterR-CNN、YOLO系列的目标检测器去检测火灾是否发生,并定位火灾发生的具体位置。虽然上述模型对火灾检测具有一定的效果,但是,以往的火焰检测方法误检较多。在真实场景下,环境复杂多变,火焰极易与外观相似的物体或光源混淆,因此无法准确判断火灾的发生。
发明内容
本发明的内容是提供一种基于图像细分类的火焰检测方法,其能够克服现有技术的某种或某些缺陷。
根据本发明的一种基于图像细分类的火焰检测方法,其包括以下步骤:
步骤1、收集火焰图像,对数据预处理,制作成火焰数据集;
步骤2、根据火焰数据集,训练CenterNet检测器,保存最佳的模型;
步骤3、准备火焰与非火焰的二分类数据集;
步骤4、在MobileNetV2分类模型的倒置残差模块间引入BAM注意力模块,训练二分类模型;
步骤5、CenterNet检测出图像的前景目标K,然后将前景目标K裁剪成图像块送入分类模型中,进行细分类,以滤除与火焰相似的误检物体。
作为优选,步骤1中,火焰数据集的制作方法为:
步骤1.1、搜集火焰的图像资源、视频资源,并将视频处理成帧,剔除模糊不清、高度相似的图像,对图像数据进行整理后,使用labellmg软件进行数据标注;
步骤1.2、对数据、标签一同进行随机平移、翻转和添加高斯噪声,使用cutout数据增强方法,利用固定大小的矩形对原图像进行遮挡,并将矩形范围内的值设置为0,得到处理后的火焰数据集。
作为优选,步骤2中,训练CenterNet检测器,保存最佳的模型的方法为:
步骤2.1、首先,将输入图像I∈RC×H×W经过带有可变形卷积的全卷积网络DLA-34以提取深度特征;然后,生成的特征图经过3个检测层,每个检测层包括1个3x3的卷积、ReLU激活函数和1个1x1的卷积,得到三种特征图的输出,分别为热力图信息、目标的宽高、偏移信息;
步骤2.2、每个类别会生成一张热力图来作为训练过程中的监督信号;首先将图像上的目标框box缩放至128*128尺寸,可以得到box的中心坐标(px,py),然后计算高斯核分布σ为目标尺度自适应的标准方差,最后将分布中关键点的信息覆盖到热力图上,其中W、H、C分别为输入图像的宽、高、通道数,R为下采样倍数,取4;
步骤2.3、使用Focal loss计算预测的热力图Yxyc与监督信号Yxyc之间的类别损失Lk,L1 loss分别计算宽高损失Lsize与偏移量损失Loff;通过迭代的方式,对检测网络的参数进行更新、优化,并保存最优的模型;
CenterNet的总体优化函数Ldet为:
Ldet=Lk+λsizeLsize+λoffLoff;
其中,宽高损失系数λsize取0.1,偏移量损失系数λoff取1。
作为优选,步骤3中,准备火焰与非火焰的二分类数据集的方法为:
步骤3.1、根据数据集中火焰图像以及对应xml标签将目标区域裁剪下来,整理作为分类模型的正样本;
步骤3.2、将包含与火焰外观相似物体的图像送入训练好的检测模型中,以置信度0.2作为阈值对其进行检测,将检测到的误检目标进行裁剪,整理作为分类模型的负样本。
作为优选,步骤4中,MobileNetV2分类模型由一个3*3卷积、一个1*1卷积、17个倒置残差模块、一个平均池化层和一个全连接层组成;分别在第3个、第6个、第10个、第16个倒置残差块的后面加上BAM注意力模块;
其中,倒置残差模块由PW、DW、PW-Liner三部分构成:PW即通过1*1的卷积核将通道数进行扩张;DW即通过3*3卷积,步长s=2的卷积核提取特征,使得特征图的大小减半,而通道数保持不变;PW-Liners通过1*1的卷积核对通道数进行压缩。
作为优选,步骤4中,BAM注意力模块由一个通道注意力MC、一个空间注意力MS组成;首先,设输入的中间特征层F∈RC×H×W,为了聚合每个通道上的特征图,先对F采取全局平均池化得到Fc∈RC×1×1向量,然后使用含单隐藏层的多层感知器来估计Fc通道间的注意力,再添加一个批量标准化BN层根据空间注意力分支的输出调整大小;通道注意力MC的计算公式如下:
Mc(F)=BN(MLP(AvgPool(F)))=BN(W1(W0AvgPool(F)+b0)+b1);
W0、W1分别为输入层与隐藏层、隐藏层与输出层之间的权重矩阵,b0、b1分别为对应的偏置向量;
空间注意力包含4个卷积层,第一个卷积层f0和第四个卷积层f3使用1*1的卷积核将通道数进行缩减,中间两个卷积层f1、f2利用3*3的空洞卷积用于聚合具有大感受野的上下文信息;空间注意力模块的计算公式如下:
Ms(F)=BN(f3 1×1(f2 3×3(f1 3×3(f0 1×1)))));
然后,将通道注意力与空间注意力两个分支进行融合,得到注意力特征图M(F)∈RC×H×W,计算公式如下:
M(F)=σ(MC(F)+MS(F));
其中,σ为Sigmoid函数;
因此,输入的中间特征层F经过BAM注意力模块处理,细化后的特征图P计算公式为:
作为优选,步骤4中,在MobileNetV2分类模型的倒置残差模块间引入注意力模块BAM,训练二分类模型的方法为:
步骤4.1、输入图像I∈RC×224×224首先经过大小k=3,步长s=2的卷积核,得到112*112维度的特征图,然后经过17个连续的倒置残差模块,得到7*7维度的特征图;其中,分别在第3个、第6个、第10个、第16个倒置残差块的后面加上BAM注意力机制模块;之后,将提取到的特征先经过一个1*1的卷积层和平均池化层后,然后将多维度的特征展平成一维,送入全连接层中,得到最终的类别分数;
步骤4.2、将得到的分数经过softmax函数获得预测的类别概率值,再将类别概率值与真实类别的one-hot形式进行交叉熵损失函数的计算,以此对分类网络的参数进行迭代、优化,并保存最佳模型。
作为优选,步骤5中,包括:
步骤5.1、将检测框包含的前景目标进行裁剪,得到的图像尺寸更改为224*224,送入训练好的分类模型,提取特征,根据输出的类别概率值判断输入的图像块是否为火焰,若分类结果为火焰,将预测的边界框信息保留,若分类结果为非火焰,将该边界框信息丢弃;
步骤5.2、将保留的边界框在原图像中以矩形框进行显示,得到最终的检测结果。
与现有的技术相比,本发明的有益效果体现在:
1)本发明对数据进行随机平移、添加高斯噪声、cutout,实现对数据的扩充,提高检测模型的泛化能力;使用带热重启的余弦退火学习率的方式,使得模型在训练过程中更容易收敛,识别效果更佳。
2)在分类模型MobileNetV2中加入多层BAM注意力机制,突出火焰目标的关键特征,并对不重要的特征信息进行抑制、弱化。注意力层的加入不仅有效提高识别火焰和非火焰目标的准确率,而且不会带来太多的计算开销和参数量。
3)使用CenterNet检测器用于提取前景目标,无须提前预设anchor框,减少了大量的调参操作,并且与yolo系列等单阶段的检测器相比,训练周期更短;使用MobileNetV2轻量级的分类网络对疑似火焰区域的目标作细分类,不仅可以有效滤除误检目标,也缩减对前景目标进行后处理的时间,达到实时性。
4)本发明先对输入图像进行检测,获取疑似火焰区域,再对该图像块作细分类,可以滤除非火焰物体,纠正检测器的检测效果,降低火焰检测模型的误检率。
附图说明
图1为实施例1中一种基于图像细分类的火焰检测方法的流程图;
图2为实施例1中改进的MobileNetV2网络结构图。
具体实施方式
为进一步了解本发明的内容,结合附图和实施例对本发明作详细描述。应当理解的是,实施例仅仅是对本发明进行解释而并非限定。
实施例1
如图1所示,本实施例提供了一种基于图像细分类的火焰检测方法,其包括以下步骤:
步骤1、收集火焰图像,对数据预处理,制作成火焰数据集;
步骤1.1、搜集火焰的图像资源、视频资源,并将视频处理成帧,剔除模糊不清、高度相似的图像,对图像数据进行整理后,使用labellmg软件进行数据标注;
步骤1.2、对数据、标签一同进行随机平移、翻转和添加高斯噪声,使用cutout数据增强方法,利用固定大小的矩形对原图像进行遮挡,并将矩形范围内的值设置为0(填充为黑色),得到处理后的火焰数据集。
步骤2、根据火焰数据集,训练CenterNet检测器,保存最佳的模型;
步骤2.1、首先,将输入图像I∈RC×H×W经过带有可变形卷积的全卷积网络DLA-34以提取深度特征;然后,生成的特征图经过3个检测层,每个检测层包括1个3x3的卷积、ReLU激活函数和1个1x1的卷积,得到三种特征图的输出,分别为热力图信息、目标的宽高、偏移信息。其中,热力图表示每个类别目标的关键点信息,宽高信息、偏移信息可以确定目标框的尺寸大小;
步骤2.2、每个类别会生成一张热力图来作为训练过程中的监督信号;首先将图像上的目标框box缩放至128*128尺寸,然后计算高斯核分布(σ为目标尺度自适应的标准方差),将分布中关键点的信息覆盖到热力图上,其中W、H、C分别为输入图像的宽、高、通道数,R为下采样倍数,取4;
步骤2.3、使用Focal loss计算预测的热力图Yxyc与监督信号Yxyc之间的类别损失Lk,L1 loss分别计算宽高损失Lsize与偏移量损失Loff;通过迭代的方式,对检测网络的参数进行更新、优化,并保存最优的模型;
CenterNet的总体优化函数Ldet为:
Ldet=Lk+λsizeLsize+λoffLoff;
其中,宽高损失系数λsize取0.1,偏移量损失系数λoff取1。
步骤3、准备火焰与非火焰的二分类数据集;
步骤3.1、根据数据集中火焰图像以及对应xml标签将目标区域裁剪下来,整理作为分类模型的正样本;
步骤3.2、将包含与火焰外观相似物体的图像送入训练好的检测模型中,以置信度0.2作为阈值对其进行检测,将检测到的误检目标进行裁剪,整理作为分类模型的负样本。
步骤4、在MobileNetV2分类模型的倒置残差模块间引入BAM注意力模块,训练二分类模型;
MobileNetV2分类模型由一个3*3卷积、一个1*1卷积、17个倒置残差模块、一个平均池化层和一个全连接层组成;分别在第3个、第6个、第10个、第16个倒置残差块的后面加上BAM注意力模块;改进的MobileNetV2网络结构见图2;
其中,倒置残差模块由PW、DW、PW-Liner三部分构成:PW即通过1*1的卷积核将通道数进行扩张;DW即通过3*3卷积,步长s=2的卷积核提取特征,使得特征图的大小减半,而通道数保持不变;PW-Liners通过1*1的卷积核对通道数进行压缩。
BAM注意力模块由一个通道注意力MC、一个空间注意力MS组成;首先,设输入的中间特征层F∈RC×H×W,为了聚合每个通道上的特征图,先对F采取全局平均池化得到Fc∈RC×1×1向量,然后使用含单隐藏层的多层感知器来估计Fc通道间的注意力,再添加一个批量标准化BN层根据空间注意力分支的输出调整大小;通道注意力MC的计算公式如下:
Mc(F)=BN(MLP(AvgPool(F)))=BN(W1(W0AvgPool(F)+b0)+b1);
W0、W1分别为输入层与隐藏层、隐藏层与输出层之间的权重矩阵,b0、b1分别为对应的偏置向量;
空间注意力包含4个卷积层,第一个卷积层f0和第四个卷积层f3使用1*1的卷积核将通道数进行缩减,中间两个卷积层f1、f2利用3*3的空洞卷积用于聚合具有大感受野的上下文信息;空间注意力模块的计算公式如下:
Ms(F)=BN(f3 1×1(f2 3×3(f1 3×3(f0 1×1)))));
然后,将通道注意力与空间注意力两个分支进行融合,得到注意力特征图M(F)∈RC×H×W,计算公式如下:
M(F)=σ(MC(F)+MS(F));
其中,σ为Sigmoid函数;
因此,输入的中间特征层F经过BAM注意力模块处理,细化后的特征图P计算公式为:
步骤4中,在MobileNetV2分类模型的倒置残差模块间引入注意力模块BAM,训练二分类模型的方法为:
步骤4.1、输入图像I∈RC×224×224首先经过大小k=3,步长s=2的卷积核,得到112*112维度的特征图,然后经过17个连续的倒置残差模块,得到7*7维度的特征图;其中,分别在第3个、第6个、第10个、第16个倒置残差块的后面加上BAM注意力机制模块;之后,将提取到的特征先经过一个1*1的卷积层和平均池化层后,然后将多维度的特征展平成一维,送入全连接层中,得到最终的类别分数;
步骤4.2、将得到的分数经过softmax函数获得预测的类别概率值,再将类别概率值与真实类别的one-hot形式进行交叉熵损失函数的计算,以此对分类网络的参数进行迭代、优化,并保存最佳模型。
步骤5、获取监控设备的原始视频流,并转换为图像序列,将每帧图像送入保存的最佳检测模型中,CenterNet检测出图像的前景目标K,然后将前景目标K裁剪成图像块送入分类模型中,进行细分类,以滤除与火焰相似的误检物体;
步骤5.1、将检测框包含的前景目标进行裁剪,得到的图像尺寸更改为224*224,送入训练好的分类模型,提取特征,根据输出的类别概率值判断输入的图像块是否为火焰,若分类结果为火焰,将预测的边界框信息保留,若分类结果为非火焰,将该边界框信息丢弃;
步骤5.2、将保留的边界框在原图像中以矩形框进行显示,得到最终的检测结果。
本实施例采用检测器与分类器组合的思路,首先,使用CenterNet检测器对输入图像进行火焰检测,再将疑似火焰区域送到分类模型作细分类,其中,在原有分类网络中添加多层注意力机制,增强关键特征,抑制或弱化冗余特征,从而保留火焰的关键特征,以区分火焰与非火焰物体。该方法不仅可以实现远距离的火灾监测,而且检测效果也比传统方法更好。
以上示意性的对本发明及其实施方式进行了描述,该描述没有限制性,附图中所示的也只是本发明的实施方式之一,实际的结构并不局限于此。所以,如果本领域的普通技术人员受其启示,在不脱离本发明创造宗旨的情况下,不经创造性的设计出与该技术方案相似的结构方式及实施例,均应属于本发明的保护范围。
Claims (8)
1.基于图像细分类的火焰检测方法,其特征在于:包括以下步骤:
步骤1、收集火焰图像,对数据预处理,制作成火焰数据集;
步骤2、根据火焰数据集,训练CenterNet检测器,保存最佳的模型;
步骤3、准备火焰与非火焰的二分类数据集;
步骤4、在MobileNetV2分类模型的倒置残差模块间引入BAM注意力模块,训练二分类模型;
步骤5、CenterNet检测出图像的前景目标K,然后将前景目标K裁剪成图像块送入分类模型中,进行细分类,以滤除与火焰相似的误检物体。
2.根据权利要求1所述的基于图像细分类的火焰检测方法,其特征在于:步骤1中,火焰数据集的制作方法为:
步骤1.1、搜集火焰的图像资源、视频资源,并将视频处理成帧,剔除模糊不清、高度相似的图像,对图像数据进行整理后,使用labellmg软件进行数据标注;
步骤1.2、对数据、标签一同进行随机平移、翻转和添加高斯噪声,使用cutout数据增强方法,利用固定大小的矩形对原图像进行遮挡,并将矩形范围内的值设置为0,得到处理后的火焰数据集。
3.根据权利要求2所述的基于图像细分类的火焰检测方法,其特征在于:步骤2中,训练CenterNet检测器,保存最佳的模型的方法为:
步骤2.1、首先,将输入图像I∈RC×H×W经过带有可变形卷积的全卷积网络DLA-34以提取深度特征;然后,生成的特征图经过3个检测层,每个检测层包括1个3x3的卷积、ReLU激活函数和1个1x1的卷积,得到三种特征图的输出,分别为热力图信息、目标的宽高、偏移信息;
步骤2.2、每个类别会生成一张热力图来作为训练过程中的监督信号;首先将图像上的目标框box缩放至128*128尺寸,可以得到box的中心坐标(px,py),然后计算高斯核分布σ为目标尺度自适应的标准方差,最后将分布中关键点的信息覆盖到热力图上,其中W、H、C分别为输入图像的宽、高、通道数,R为下采样倍数,取4;
步骤2.3、使用Focalloss计算预测的热力图Yxyc与监督信号Yxyc之间的类别损失Lk,L1loss分别计算宽高损失Lsize与偏移量损失Loff;通过迭代的方式,对检测网络的参数进行更新、优化,并保存最优的模型;
CenterNet的总体优化函数Ldet为:
Ldet=Lk+λsizeLsize+λoffLoff;
其中,宽高损失系数λsize取0.1,偏移量损失系数λoff取1。
4.根据权利要求3所述的基于图像细分类的火焰检测方法,其特征在于:步骤3中,准备火焰与非火焰的二分类数据集的方法为:
步骤3.1、根据数据集中火焰图像以及对应xml标签将目标区域裁剪下来,整理作为分类模型的正样本;
步骤3.2、将包含与火焰外观相似物体的图像送入训练好的检测模型中,以置信度0.2作为阈值对其进行检测,将检测到的误检目标进行裁剪,整理作为分类模型的负样本。
5.根据权利要求4所述的基于图像细分类的火焰检测方法,其特征在于:步骤4中,MobileNetV2分类模型由一个3*3卷积、一个1*1卷积、17个倒置残差模块、一个平均池化层和一个全连接层组成;分别在第3个、第6个、第10个、第16个倒置残差块的后面加上BAM注意力模块;
其中,倒置残差模块由PW、DW、PW-Liner三部分构成:PW即通过1*1的卷积核将通道数进行扩张;DW即通过3*3卷积,步长s=2的卷积核提取特征,使得特征图的大小减半,而通道数保持不变;PW-Liners通过1*1的卷积核对通道数进行压缩。
6.根据权利要求5所述的基于图像细分类的火焰检测方法,其特征在于:步骤4中,BAM注意力模块由一个通道注意力MC、一个空间注意力MS组成;首先,设输入的中间特征层F∈RC ×H×W,先对F采取全局平均池化得到Fc∈RC×1×1向量,然后使用含单隐藏层的多层感知器来估计Fc通道间的注意力,再添加一个批量标准化BN层根据空间注意力分支的输出调整大小;通道注意力MC的计算公式如下:
Mc(F)=BN(MLP(AvgPool(F)))=BN(W1(W0AvgPool(F)+b0)+b1);
W0、W1分别为输入层与隐藏层、隐藏层与输出层之间的权重矩阵,b0、b1分别为对应的偏置向量;
空间注意力包含4个卷积层,第一个卷积层f0和第四个卷积层f3使用1*1的卷积核将通道数进行缩减,中间两个卷积层f1、f2利用3*3的空洞卷积用于聚合具有大感受野的上下文信息;空间注意力模块的计算公式如下:
Ms(F)=BN(f3 1×1(f2 3×3(f1 3×3(f0 1×1)))));
然后,将通道注意力与空间注意力两个分支进行融合,得到注意力特征图M(F)∈RC ×H×W,计算公式如下:
M(F)=σ(MC(F)+MS(F));
其中,σ为Sigmoid函数;
因此,输入的中间特征层F经过BAM注意力模块处理,细化后的特征图P计算公式为:
7.根据权利要求6所述的基于图像细分类的火焰检测方法,其特征在于:步骤4中,在MobileNetV2分类模型的倒置残差模块间引入注意力模块BAM,训练二分类模型的方法为:
步骤4.1、输入图像I∈RC×224×224首先经过大小k=3,步长s=2的卷积核,得到112*112维度的特征图,然后经过17个连续的倒置残差模块,得到7*7维度的特征图;其中,分别在第3个、第6个、第10个、第16个倒置残差块的后面加上BAM注意力机制模块;之后,将提取到的特征先经过一个1*1的卷积层和平均池化层后,然后将多维度的特征展平成一维,送入全连接层中,得到最终的类别分数;
步骤4.2、将得到的分数经过softmax函数获得预测的类别概率值,再将类别概率值与真实类别的one-hot形式进行交叉熵损失函数的计算,以此对分类网络的参数进行迭代、优化,并保存最佳模型。
8.根据权利要求7所述的基于图像细分类的火焰检测方法,其特征在于:步骤5中,包括:
步骤5.1、将检测框包含的前景目标进行裁剪,得到的图像尺寸更改为224*224,送入训练好的分类模型,提取特征,根据输出的类别概率值判断输入的图像块是否为火焰,若分类结果为火焰,将预测的边界框信息保留,若分类结果为非火焰,将该边界框信息丢弃;
步骤5.2、将保留的边界框在原图像中以矩形框进行显示,得到最终的检测结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110746048.7A CN113469050B (zh) | 2021-07-01 | 2021-07-01 | 基于图像细分类的火焰检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110746048.7A CN113469050B (zh) | 2021-07-01 | 2021-07-01 | 基于图像细分类的火焰检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113469050A true CN113469050A (zh) | 2021-10-01 |
CN113469050B CN113469050B (zh) | 2024-06-14 |
Family
ID=77877410
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110746048.7A Active CN113469050B (zh) | 2021-07-01 | 2021-07-01 | 基于图像细分类的火焰检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113469050B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114140732A (zh) * | 2021-12-09 | 2022-03-04 | 安徽大学 | 面向小样本条件下的消防火源检测方法、装置及存储介质 |
CN114973121A (zh) * | 2022-04-29 | 2022-08-30 | 深圳市瑞驰信息技术有限公司 | 一种基于CenterNet的河道排水口检测方法、系统及电子设备 |
CN115457360A (zh) * | 2022-09-17 | 2022-12-09 | 海南大学 | 一种基于双注意力机制多源融合的水上目标检测方法 |
WO2023093229A1 (zh) * | 2021-11-29 | 2023-06-01 | 新智我来网络科技有限公司 | 一种联合学习参数聚合方法、装置及系统 |
CN117011785A (zh) * | 2023-07-06 | 2023-11-07 | 华新水泥股份有限公司 | 基于时空关联和高斯热图的烟火检测方法、装置及系统 |
CN117173854A (zh) * | 2023-09-13 | 2023-12-05 | 西安博深安全科技股份有限公司 | 一种基于深度学习的煤矿明火预警方法及系统 |
WO2024109873A1 (zh) * | 2022-11-24 | 2024-05-30 | 天翼数字生活科技有限公司 | 一种基于深度学习的火情检测方法、装置、设备和介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110969205A (zh) * | 2019-11-29 | 2020-04-07 | 南京恩博科技有限公司 | 一种基于目标检测的森林烟火检测方法、存储介质和设备 |
CN112508960A (zh) * | 2020-12-21 | 2021-03-16 | 华南理工大学 | 一种基于改进注意力机制的低精度图像语义分割方法 |
CN112633231A (zh) * | 2020-12-30 | 2021-04-09 | 珠海大横琴科技发展有限公司 | 一种火灾识别的方法和装置 |
CN112699859A (zh) * | 2021-03-24 | 2021-04-23 | 华南理工大学 | 目标检测方法、装置、存储介质及终端 |
CN112949453A (zh) * | 2021-02-26 | 2021-06-11 | 南京恩博科技有限公司 | 烟火检测模型的训练方法、烟火检测方法及设备 |
-
2021
- 2021-07-01 CN CN202110746048.7A patent/CN113469050B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110969205A (zh) * | 2019-11-29 | 2020-04-07 | 南京恩博科技有限公司 | 一种基于目标检测的森林烟火检测方法、存储介质和设备 |
CN112508960A (zh) * | 2020-12-21 | 2021-03-16 | 华南理工大学 | 一种基于改进注意力机制的低精度图像语义分割方法 |
CN112633231A (zh) * | 2020-12-30 | 2021-04-09 | 珠海大横琴科技发展有限公司 | 一种火灾识别的方法和装置 |
CN112949453A (zh) * | 2021-02-26 | 2021-06-11 | 南京恩博科技有限公司 | 烟火检测模型的训练方法、烟火检测方法及设备 |
CN112699859A (zh) * | 2021-03-24 | 2021-04-23 | 华南理工大学 | 目标检测方法、装置、存储介质及终端 |
Non-Patent Citations (2)
Title |
---|
JONGCHAN PARK等: "BAM: Bottleneck Attention Module", ARXIV, 17 July 2018 (2018-07-17) * |
郑鑫;林兰;叶茂;王丽;贺春林;: "结合注意力机制和多属性分类的行人再识别", 中国图象图形学报, no. 05, 16 May 2020 (2020-05-16) * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023093229A1 (zh) * | 2021-11-29 | 2023-06-01 | 新智我来网络科技有限公司 | 一种联合学习参数聚合方法、装置及系统 |
CN114140732A (zh) * | 2021-12-09 | 2022-03-04 | 安徽大学 | 面向小样本条件下的消防火源检测方法、装置及存储介质 |
CN114973121A (zh) * | 2022-04-29 | 2022-08-30 | 深圳市瑞驰信息技术有限公司 | 一种基于CenterNet的河道排水口检测方法、系统及电子设备 |
CN115457360A (zh) * | 2022-09-17 | 2022-12-09 | 海南大学 | 一种基于双注意力机制多源融合的水上目标检测方法 |
WO2024109873A1 (zh) * | 2022-11-24 | 2024-05-30 | 天翼数字生活科技有限公司 | 一种基于深度学习的火情检测方法、装置、设备和介质 |
CN117011785A (zh) * | 2023-07-06 | 2023-11-07 | 华新水泥股份有限公司 | 基于时空关联和高斯热图的烟火检测方法、装置及系统 |
CN117011785B (zh) * | 2023-07-06 | 2024-04-05 | 华新水泥股份有限公司 | 基于时空关联和高斯热图的烟火检测方法、装置及系统 |
CN117173854A (zh) * | 2023-09-13 | 2023-12-05 | 西安博深安全科技股份有限公司 | 一种基于深度学习的煤矿明火预警方法及系统 |
CN117173854B (zh) * | 2023-09-13 | 2024-04-05 | 西安博深安全科技股份有限公司 | 一种基于深度学习的煤矿明火预警方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN113469050B (zh) | 2024-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113469050A (zh) | 基于图像细分类的火焰检测方法 | |
CN112308019B (zh) | 基于网络剪枝和知识蒸馏的sar舰船目标检测方法 | |
CN111723748A (zh) | 一种红外遥感图像舰船检测方法 | |
CN111814638B (zh) | 基于深度学习的安防场景火焰检测方法 | |
Lyu et al. | Small object recognition algorithm of grain pests based on SSD feature fusion | |
CN114399719B (zh) | 一种变电站火灾视频监测方法 | |
CN114612937B (zh) | 基于单模态增强的红外与可见光融合行人检测方法 | |
CN115457428A (zh) | 融入可调节坐标残差注意力的改进YOLOv5火灾检测方法及装置 | |
CN114399734A (zh) | 一种基于视觉信息的森林火灾预警方法 | |
CN112149591A (zh) | 用于sar图像的ssd-aeff自动桥梁检测方法及系统 | |
CN111046728A (zh) | 一种基于特征金字塔网络的秸秆燃烧检测方法 | |
CN111145222A (zh) | 一种结合烟雾运动趋势和纹理特征的火灾检测方法 | |
Yandouzi et al. | Investigation of combining deep learning object recognition with drones for forest fire detection and monitoring | |
Tang et al. | Smoking behavior detection based on improved YOLOv5s algorithm | |
CN115719463A (zh) | 一种基于超分辨率重构和自适应挤压激励的烟火检测方法 | |
CN116152658A (zh) | 一种基于域对抗特征融合网络的林火烟雾检测方法 | |
CN114926667B (zh) | 基于云边端协同的图像识别方法 | |
CN114155474A (zh) | 基于视频语义分割算法的损伤识别技术 | |
Li et al. | Fire flame image detection based on transfer learning | |
CN118038021A (zh) | 基于改进yolov4的变电站作业现场异物入侵检测方法 | |
CN112488213A (zh) | 一种基于多尺度特征学习网络的火灾图片分类方法 | |
CN117437562A (zh) | 一种基于无人机遥感图像的野外烟火快速检测方法 | |
CN117315284A (zh) | 一种基于无关视觉信息抑制的图像篡改检测方法 | |
CN111767919A (zh) | 一种多层双向特征提取与融合的目标检测方法 | |
CN111353459A (zh) | 一种资源受限条件下的舰船目标检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |