CN115861922A - 一种稀疏烟火检测方法、装置、计算机设备及存储介质 - Google Patents
一种稀疏烟火检测方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN115861922A CN115861922A CN202211476027.9A CN202211476027A CN115861922A CN 115861922 A CN115861922 A CN 115861922A CN 202211476027 A CN202211476027 A CN 202211476027A CN 115861922 A CN115861922 A CN 115861922A
- Authority
- CN
- China
- Prior art keywords
- target
- feature
- module
- feature map
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 78
- 239000000779 smoke Substances 0.000 title claims abstract description 18
- 238000000605 extraction Methods 0.000 claims abstract description 55
- 238000000034 method Methods 0.000 claims abstract description 21
- 238000012360 testing method Methods 0.000 claims abstract description 15
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 46
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000010586 diagram Methods 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 10
- 230000000903 blocking effect Effects 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 230000005284 excitation Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 6
- 238000005457 optimization Methods 0.000 abstract description 5
- 230000001788 irregular Effects 0.000 abstract description 4
- 230000002708 enhancing effect Effects 0.000 abstract description 3
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种稀疏烟火检测方法、装置、计算机设备及存储介质，属于计算机视觉技术领域。针对现有技术中存在的在实际烟火目标检测任务中现有目标检测算法对稀疏性无规则目标特征提取差等问题，本发明通过在特征增强提取网络中构建多尺度分块特征增强模块，用于增强与丰富浅层特征图信息，从而获得深层特征信息，对于获得的浅层特征信息和深层特征信息，提出修正的归一化距离交并比损失函数用于计算真实目标框与预测边框之间的空间位置差异，在模型优化过程中能更多地缩小两边框位置的相对距离偏差，从而在实际测试中对烟火目标提取的特征有较高的鲁棒性，能够满足实际复杂场景下烟火目标的实时性精确检测。
Description
技术领域
本发明涉及计算机视觉技术领域，更具体地说，涉及一种稀疏烟火检测方法、装置、计算机设备及存储介质。
背景技术
烟火检测的主要目的是为了检测烟火，防止火灾的发生，方便人们能够及时了解到火灾的相关信息，从而能够及时的控制火灾的发生以及对火灾的处理。目前对于火灾的检测主要通过目标检测实现，目标检测是一种基于目标几何和统计特征的图像分割，其准确性和实时性是整个系统的一项重要能力，尤其是在复杂场景中，需要对多个目标进行实时处理时，目标自动提取和识别就显得特别重要，若将目标检测的方法应用到烟火检测中，针对复杂场景，利用目标检测往往有较好的检测效果。现有技术中，基于深度学习的通用目标检测方法一般只对规则物体有较好的检测效果，而在实际场景下的烟火目标检测任务中，往往表现不佳，其性能受限的主要原因是烟火目标尺寸不规则和实际烟火目标往往存在稀疏性，导致目标特征丢失。因此如何在真实环境下烟火流动与稀疏性的状态下实时鲁棒性地检测烟火目标是一个急需解决的问题。
发明内容
1.要解决的技术问题
针对现有技术中存在的在实际场景任务下烟火尺寸不规则且特征稀疏、现有目标检测算法对稀疏性无规则目标特征提取差以及现有边框定位损失无法区分两边框交并比面积和中心点距离相同等问题，本发明提供了一种稀疏烟火检测方法、装置、计算机设备及存储介质，可以在实际的烟火目标检测任务中学习并提取到关键特征，同时能满足实际复杂场景下烟火目标的实时性精确检测。
2.技术方案
本发明的目的通过以下技术方案实现。
一种稀疏烟火检测方法，其步骤包括：
获取待检测图像，对图像进行预处理；
将预处理后的图像输入到基准特征提取网络中通过卷积特征提取操作得到特征图，获取所述特征图的浅层特征信息后，输出所述特征图到特征增强提取网络中获取深层特征信息；
在模型训练阶段，通过获取的浅层特征信息和深层特征信息计算真实目标框与预测边框之间的目标边框损失、目标类别损失和目标分类损失；
在模型测试阶段，通过获取的浅层特征信息和深层特征信息得到目标锚框的偏移、目标类别信息和目标分类信息，输出结果检测图。
进一步地，在模型训练阶段通过交并比阈值筛选出正负样本，计算目标边框损失，再更新参数；
通过修正的归一化距离交并比损失函数LMNDIoU计算所述目标边框损失，得到真实目标框与预测边框之间的空间位置差异，所述修正的归一化距离交并比损失函数LMNDIoU的计算公式为：
其中，IoU表示预测边框与真实目标框之间的交并比，b和bgt分别表示预测边框与真实目标框的中心点，p2表示两个边框中心点的欧式距离，c代表能够同时覆盖预测边框和真实目标框的最小矩形框的对角线距离，dc表示预测边框与真实目标框之间最小邻接矩形面积，ds表示预测边框与真实目标框之间的相交面积，s表示真实目标框的面积，α表示控制比例的超参数。
进一步地，所述特征增强提取网络包括CBS模块、C3TR模块、多尺度分块特征增强模块、上采样模块和Concat连接组件；
所述多尺度分块特征增强模块包括Res2_block模块、分块加权注意力模块和CBS模块；
所述Res2_block模块通过残差网络块连接多层残差，融合多尺度特征信息，将全局特征融入到每个局部卷积层提取的特征图中；
所述分块加权注意力模块将所述特征图拆分为四块局部特征图，通过压缩激励空间注意力模型增强四块局部特征图的语义信息，再以所述特征图切块反拼接的方式融合四块局部特征图。
所述CBS模块用于提取所述特征图的全局特征，所述CBS模块由卷积层、批量归一化层和激活函数SiLU组成，所述激活函数SiLU的计算公式为：
其中，x表示所述特征图的输出值。
进一步地，所述C3TR模块包括CBS模块、Transformer模块，所述Transformer模块由多头注意力机制和Concat连接组件组成，所述多头注意力机制用于提取所述特征图自注意力局部特征，所述Concat连接组件将全局特征与局部特征结合；
所述上采样模块通过最近邻插值方法得到插值后的特征图，插值后的特征图的宽、高尺寸是所述特征图的宽、高尺寸的两倍，但保持插值后的特征图的通道数不变；
所述最近邻插值方法，即令变换后像素的灰度值等于距它最近的输入像素的灰度值，空间位置横纵坐标变换公式为：
src_x＝dst_x*(src_width/dst_width)
src_y＝dst_y*(src_height/dst_heigh)
其中，dst_x和dst_y表示插值后的特征图空间位置点的横纵坐标，dst_width和dst_height表示插值后的特征图的宽度和高度，src_x和src_y表示所述特征图空间位置点的横纵坐标，src_width和src_height表示所述特征图的宽度和高度。
进一步地，所述基准特征提取网络包括CBS模块和C3TR模块。
进一步地，通过二元交叉熵损失函数Loss1计算所述目标类别损失，所述二元交叉熵损失函数Loss1的计算公式为：
其中，N表示总样本数，yi表示样本i的标签，正样本表示有烟火目标为1，负样本表示无烟火目标为0，pi表示样本i预测为有烟火目标的概率。
通过多元交叉熵损失函数Loss2计算所述目标分类损失，所述多元交叉熵损失函数Loss2的计算公式为：
其中，N表示总样本数，M表示类别的数量，yij表示当且仅当样本i类别j等于真实样本标签时为1，否则为0，pij表示样本i类别j的预测概率。
进一步地，在模型测试阶段利用置信分阈值去除可能性低的预测边框，根据坐标表达式转化预测结果，使用非极大值抑制算法去除冗余的预测边框，得到所述结果检测图；
所述坐标表达式的计算公式为：
bx＝(2σ(tx)-0.5+cx)×stride
by＝(2σ(ty)-0.5+cy)×stride
bw＝(2σ(tw))2×anchor_grid
bh＝(2σ(th))2×anchor_grid
其中，tx，ty，tw，th表示模型预测输出，bx，by，bw，bh表示最终预测的目标边框中心点坐标和宽高尺寸，σ表示sigmoid函数，cx和cy表示当前预测点在所述特征图上对应的网格点坐标，stride表示所述结果检测图相对于所述输入图像的下采样倍数，anchor_grid表示由所述结果检测图上的网格点映射到所述输入图像上得到的值。
一种稀疏烟火检测装置，包括：
输入模块，获取待检测图像，对图像进行预处理，将预处理后的图像输入到基准特征提取网络中通过卷积特征提取操作得到特征图，获取所述特征图的浅层特征信息后，输出所述特征图到特征增强提取网络中获取深层特征信息；
训练模块，通过获取的浅层特征信息和深层特征信息，利用修正的归一化距离交并比损失函数LMNDIoU计算真实目标框与预测边框之间的目标边框损失，利用二元交叉熵损失函数Loss1计算目标类别损失，利用多元交叉熵损失函数Loss2计算目标分类损失；
测试模块，通过获取的浅层特征信息和深层特征信息得到目标锚框的偏移、目标类别信息和目标分类信息，去除冗余的预测边框，输出结果检测图。
一种计算机设备，包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述所述的方法。
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行所述的方法。
3.有益效果
相比于现有技术，本发明的优点在于：
本发明的一种稀疏烟火检测方法、装置、计算机设备及存储介质，通过基准特征提取网络和特征增强提取网络获取稀疏烟火检测目标中的关键特征信息，在特征增强提取网络中构建多尺度分块特征增强模块，用于增强与丰富浅层特征图信息，从而获得深层特征信息，完成实际场景下稀疏性烟火目标特征的鲁棒性提取，检测方法的结构简单，部署简易；同时，对于获得的浅层特征信息和深层特征信息，提出修正的归一化距离交并比损失函数用于计算真实目标框与预测边框之间的空间位置差异，在模型优化过程中能更多地缩小两边框位置的相对距离偏差，从而烟火特征提取鲁棒性高，满足实际复杂场景下烟火目标的实时性精确检测。
附图说明
图1为本发明一种稀疏烟火检测方法模型训练阶段的流程示意图；
图2为本发明一种稀疏烟火检测方法模型测试阶段的流程示意图；
图3为本发明一种稀疏烟火检测方法的结构示意图；
图4为本发明一种稀疏烟火检测方法中Res2_block模块的结构示意图；
图5为本发明一种稀疏烟火检测方法中分块加权注意力模块的结构示意图。
具体实施方式
下面结合说明书附图和具体的实施例，对本发明作详细描述。
实施例
如图1-5所示，为本实施例提供的一种稀疏烟火检测方法。获取待检测图像，对图像进行预处理；将预处理后的图像输入到基准特征提取网络中通过卷积特征提取操作得到特征图，获取所述特征图的浅层特征信息后，输出所述特征图到特征增强提取网络中获取深层特征信息；在模型训练阶段，通过获取的浅层特征信息和深层特征信息计算真实目标框与预测边框之间的目标边框损失、目标类别损失和目标分类损失；在模型测试阶段，通过获取的浅层特征信息和深层特征信息得到目标锚框的偏移、目标类别信息和目标分类信息，输出结果检测图。
具体到本实施例中，首先获取待检测图像，对图像进行预处理。对输入图像的预处理包括图像分辨率变换、几何变换、光学变换和Mosaic数据增强。所述图像分辨率变换是指将输入图像的宽调整为640像素，再等比例缩放高并使用灰度值在两边填补至640像素。需要说明的是，将输入图像的宽、高的最大尺寸调整为640像素，一方面是预训练模型在公开数据集ImageNet上以宽、高最长边为640像素训练得到，另一方面是在特征提取阶段图像分辨率的缩放因子为32，输入图像需为缩放因子的整倍数。所述几何变换包括随机裁剪、随机旋转、随机翻转、图像缩放和平移。所述随机裁剪是指以0.5的概率随机裁剪输入图像，所述随机旋转是指以0.1的概率任意角度随机旋转输入图像，所述随机翻转是指以0.1的概率随机上下翻转输入图像，所述图像缩放是指以0.5的概率随机缩放输入图像的尺寸，所述平移是指以0.1的概率随机往x或y方向平移输入图像。所述光学变换包括色调、饱和度和亮度增强。所述色调是指以0.01的概率随机增强输入图像的色度，所述饱和度是指以0.5的概率随机增强图像的饱和度，所述亮度增强是指以0.2的概率随机增强输入图像的亮度。所述Mosaic数据增强是指在训练过程中随机拼接四张图片。
所述特征增强提取网络用于获取所述特征图的深层特征信息。所述特征增强提取网络包括CBS(Convolution Batch Normalization and Sigmoid Weighted Linear Unit)模块、C3TR(Cross Stage Partial Bottleneck with three convolutions andTransformer Block)模块、多尺度分块特征增强(Multi-scale Chunking FeatureEnhancement Module，MCFEM)模块、上采样(UpSample)模块和Concat连接组件；
所述CBS模块用于提取所述特征图的全局特征，所述CBS模块由卷积层、批量归一化层(Batch Normalization，BN)和激活函数SiLU(Sigmoid Weighted Linear Unit)组成，所述激活函数SiLU的计算公式为：
其中，x表示所述特征图的输出值。所述激活函数SiLU具备无上界有下界、平滑和非单调的特性，在深度模型上效果明显优于ReLU(Rectified Linear Unit)函数。
所述C3TR模块包括CBS模块、Transformer模块，所述Transformer模块由多头注意力机制(Multi-Head Attention)和Concat连接组件组成，所述多头注意力机制用于获取所述特征图自注意力的局部特征，所述Concat连接组件将全局特征与局部特征结合，用于丰富特征信息。
所述多尺度分块特征增强模块包括Res2_block模块、分块加权注意力模块(Chunked Weighted Attention Module，CWAM)和CBS模块。所述Res2_block在残差网络块基础上再采取多层残差连接，融合多尺度特征信息并将全局特征融入到每个局部卷积层提取的特征图中。如图4所示，为本实施例中所述Res2_block模块的结构示意图。所述Res2_block模块包括CB_1x1、Chunk、CB_3X3和Concat连接组件。所述CB_1x1包括1x1的卷积层和批量归一化层，所述CB_3x3包括3x3的卷积层和批量归一化层，所述Chunk以通道维度拆分中间层特征图，所述Concat连接组件用于丰富特征信息。值得说明的是，所述分块加权注意力模块具体分为特征图分块、空间注意力特征提取和分块特征图连接三个阶段。如图5所示，首先将所述特征图平均拆分为四块即左上、右上、左下和右下，其次通过压缩激励空间注意力模型(SENet)增强四块局部特征图的语义信息，最后为了保留增强后的局部特征图的空间位置的关联性与完整性，以特征图切块反拼接的方式融合四块局部特征图。需要说明的是，基准特征提取网络中包括的多头注意力机制模块将图像局部语义信息嵌入到所述特征图中，而在分块加权注意力模块中进一步将图像局部语义信息嵌入到全局特征图中。
所述上采样模块通过最近邻插值方法得到插值后的特征图，插值后的特征图的宽、高尺寸是所述特征图的宽、高尺寸的两倍，但保持插值后的特征图的通道数不变；所述最近邻插值方法，即令变换后像素的灰度值等于距它最近的输入像素的灰度值，具体的空间位置横纵坐标变换公式为：
src_x＝dst_x*(src_width/dst_width)
src_y＝dst_y*(src_height/dst_heigh)
其中，dst_x和dst_y表示插值后的特征图空间位置点的横纵坐标，dst_width和dst_height表示插值后的特征图的宽度和高度，src_x和src_y表示特征图空间位置点的横纵坐标，src_width和src_height表示特征图的宽度和高度；因此所述结果检测图上的空间位置点(dst_x，dst_y)的结果值即为特征图上的空间位置点(src_x，src_y)的值。若计算得到的特征图的空间位置点横纵坐标src_x和src_y为小数时，采取四舍五入取最近邻位置点的值。
所述基准特征提取网络用于获取所述特征图的浅层特征信息。所述基准特征提取网络包括多个CBS模块和多个C3TR模块。需要说明的是，本实施例中，所述基准特征提取网络中包括的CBS模块、C3TR模块与所述特征增强提取网络中包括的CBS模块、C3TR模块的功能相同；本实施例中，所述基准特征提取网络中包括的Concat连接组件与所述特征增强提取网络中包括的Concat连接组件的功能也相同，均用于丰富特征信息。由此，本实施例提供的一种稀疏烟火检测方法，通过基准特征提取网络和特征增强提取网络获取稀疏烟火检测目标中的关键特征信息，在特征增强提取网络中构建多尺度分块特征增强模块，用于增强与丰富浅层特征图信息，从而获得深层特征信息，完成实际场景下稀疏性烟火目标特征的鲁棒性提取，检测方法的结构简单。
如图1所示，在所述模型训练阶段，准备训练数据集包括少量图片以及图片注释文件，通过所述图像分辨率变换将待检测图像的分辨率变换为640*640*3像素，再通过所述几何变换、光学变换和Mosaic增强使图像的数据增强，从而输入图像到基准特征提取网络中，通过多个CBS模块和多个C3TR模块得到所述特征图，并获取所述特征图的浅层特征信息，再输出所述特征图到特征增强提取网络中，通过多尺度分块特征增强模块提取所述特征图的深层特征信息。通过训练，输出检测目标分类以及目标宽高尺寸偏移，根据边框尺寸与模型边框宽高偏移预测参数得到预测目标框，再读取图片注释文件得到真实目标分类以及坐标信息，根据交并比(Intersection over Union，IoU)和宽高比例阈值筛选出正负样本，计算目标类别损失、目标分类损失和目标边框损失，再反向传播更新参数。需要说明的是，本实施例中，利用随机梯度下降算法更新基准特征提取网络和特征增强提取网络中的参数。本实施例中，所述交并比阈值为0.5，宽高比例阈值为0.2，根据交并比阈值和宽高比例阈值筛选出正样本预测边框，再筛选出负样本预测边框，所述负样本预测边框的数量是所述正样本预测边框数量的三倍。
通过二元交叉熵损失函数Loss1计算所述目标类别损失，所述二元交叉熵损失函数Loss1的计算公式为：
其中，N表示总样本数，yi表示样本i的标签，正样本表示有烟火目标为1，负样本表示无烟火目标为0，pi表示样本i预测为有烟火目标的概率。
通过多元交叉熵损失函数Loss2计算所述目标分类损失，所述多元交叉熵损失函数Loss2的计算公式为：
其中，N表示总样本数，M表示类别的数量，yij表示当且仅当样本i类别j等于真实样本标签时为1，否则为0，pij表示样本i类别j的预测概率。
对于所述目标边框损失，通过距离交并比损失函数LDIoU计算目标边框损失。一般通过交并比损失函数LIoU计算目标边框损失会存在预测框与真实目标框不相交时无法优化、多个相同尺寸的预测框与真实目标框之间的IoU相同时无法区分相交情况等问题，因此，LDIoU在LIoU基础上考虑边框的重叠面积、中心点距离和长宽比，以最小化预测边框与真实目标框之间的有效匹配距离为目标，有效解决预测边框与真实框不相交时无法优化的问题。所述距离交并比损失函数LDIoU的计算公式为：
其中IoU表示预测边框与真实目标框之间的交并比，b和bgt分别表示预测边框与真实目标框的中心点，p2表示计算两个边框中心点的欧式距离，c表示能够同时覆盖边框和真实目标框的最小矩形框的对角线距离。LDIoU对预测边框和真实目标框之间的归一化距离进行了建模，可以直接最小化两个边框的距离，相较于LIoU，收敛效果更好。
值得说明的是，本实施例在所述LDIoU的基础上进一步地提出了修正的归一化距离交并比损失函数(Modified Normalized Distance Intersection over Union，LMNDIoU)，用于计算真实目标框与预测边框之间的空间位置差异，所述修正的归一化距离交并比损失函数LMNDIoU的计算公式为：
其中，IoU表示预测边框与真实目标框之间的交并比，b和bgt分别表示预测边框与真实目标框的中心点，p2表示两个边框中心点的欧式距离，c代表能够同时覆盖预测边框和真实目标框的最小矩形框的对角线距离，dc表示预测边框与真实目标框之间最小邻接矩形面积，ds表示预测边框与真实目标框之间的相交面积，s表示真实目标框的面积，α是控制比例的超参数，取值为0.5。需要说明的是，本实施例中目标边框面积损失一般大于目标中心点差异损失，因此α取值为0.5，可以使得模型在优化时注重于目标中心点的差异以及目标整体框的优化。由此，本实施例提供的一种稀疏烟火检测方法，提出修正的归一化距离交并比损失函数LMNDIoU用于计算真实目标框与预测边框之间的空间位置差异，在模型优化过程中能更多地缩小两边框位置的相对距离偏差，从而在实际测试中对烟火目标提取的特征有较高的鲁棒性，满足实际复杂场景下烟火目标的实时性精确检测。
如图2所示，在所述模型测试阶段，输入图像，若输入的为视频则裁剪视频为每一帧输入，通过所述图像分辨率变换将图像的分辨率变换为640*640*3像素。输入图像到基准特征提取网络中通过卷积特征提取操作得到所述特征图后，获取所述特征图的浅层特征信息，再输出所述特征图到特征增强提取网络中提取深层特征信息。在所述特征增强提取网络中包括浅中深三个预测层，每层分别设置三个不同的锚框，用于提高模型整体的召回率。这些锚框尺寸通过对数据集真实目标框标签做聚类从而得到九个簇中心即对应九个锚框尺寸。由此，本实施例中依据浅中深特征图的属性设置九个尺寸不同的锚框，每个锚框的宽高从小到大排列依次是(11，10)、(18，16)、(25，24)、(41，40)、(41，74)、(86，70)、(71，127)、(170，152)和(230，295)。对于目标全局轮廓信息较完整且分辨率较大的浅层特征图，即相对于输入图像8倍下采样得到的浅层特征图负责预测小目标即对应最小尺寸的三个锚框，分别为(11，10)、(18，16)、(25，24)；对于中间层特征图，即相对于输入图像16倍下采样得到的中间特征图负责预测中等尺寸目标即对应中间尺寸的三个锚框，分别为(41，40)、(41，74)、(86，70)；对于深层小尺寸但富含图像全局信息的深层特征图，即相对于输入图像32倍下采样得到的深层特征图负责预测大尺寸目标即对应最大尺寸的三个锚框，分别为(71，127)、(170，152)和(230，295)，如图3中的Pred_1层、Pred_2层和Pred_3层，每个网格点预测三个边框。在所述模型测试阶段，利用置信分阈值去除可能性比较低的预测边框，根据坐标表达式转化预测结果，最后使用非极大值抑制算法(NMS)去除冗余的预测框，得到所述结果检测图，用于检测烟火目标。所述坐标表达式计算公式为：
bx＝(2σ(tx)-0.5+cx)×stride
by＝(2σ(ty)-0.5+cy)×stride
bw＝(2σ(tw))2×anchor_grid
bh＝(2σ(th))2×anchor_grid
其中，tx，ty，tw，th表示模型预测输出，bx，by，bw，bh表示最终预测的目标边框中心点坐标和宽高尺寸，σ表示sigmoid函数，cx和cy表示当前预测点在所述特征图上对应的网格点坐标，stride表示所述结果检测图相对于输入图像的下采样倍数，如对于宽高尺寸为40x40的结果检测图，网格点坐标(x，y)的范围在0-40之间，对于宽高尺寸为20x20的结果检测图，网格点坐标(x，y)的范围在0-20之间，anchor_grid表示由所述结果检测图上的网格点映射到输入图像上得到的值，值范围为0到图像的宽高尺寸之间，具体实现时由所述结果检测图上的网格点坐标(x，y)与下采样倍数相乘得到。由此，本实施例提供的一种稀疏烟火检测方法，在模型测试阶段，能够有效识别稀疏烟火目标，且能保持较高的检测置信分，在实际场景的烟火检测中有较强的烟火特征提取能力、鲁棒性高。
本实施例还提供一种稀疏烟火检测装置，包括输入模块、训练模块和测试模块。所述输入模块，获取待检测图像，对图像进行预处理，将预处理后的图像输入到基准特征提取网络中通过卷积特征提取操作得到特征图，获取所述特征图的浅层特征信息后，输出所述特征图到特征增强提取网络中获取深层特征信息；所述训练模块，通过获取的浅层特征信息和深层特征信息，利用修正的归一化距离交并比损失函数LMNDIoU计算真实目标框与预测边框之间的目标边框损失，利用二元交叉熵损失函数Loss1计算目标类别损失，利用多元交叉熵损失函数Loss2计算目标分类损失；所述测试模块，通过获取的浅层特征信息和深层特征信息得到目标锚框的偏移、目标类别信息和目标分类信息，去除冗余的预测边框，输出结果检测图。本实施例提供的一种稀疏烟火检测装置能够实现所述稀疏烟火检测方法的任一种方法，且一种稀疏烟火检测装置的具体工作过程可参考所述稀疏烟火检测方法实施例中的对应过程。本实施例所提供的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的；例如，某个模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的连接或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电性、机械或其它的形式的连接。
本实施例还提供一种计算机设备。一种计算机设备，包括存储器、处理器以及储存在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的一种稀疏烟火检测方法。
本实施例还提供一种计算机可读存储介质。一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行本实施例中所述的一种稀疏烟火检测方法。其中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用；计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
以上示意性地对本发明创造及其实施方式进行了描述，该描述没有限制性，在不背离本发明的精神或者基本特征的情况下，能够以其他的具体形式实现本发明。附图中所示的也只是本发明创造的实施方式之一，实际的结构并不局限于此，权利要求中的任何附图标记不应限制所涉及的权利要求。所以，如果本领域的普通技术人员受其启示，在不脱离本创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本专利的保护范围。此外，“包括”一词不排除其他元件或步骤，在元件前的“一个”一词不排除包括“多个”该元件。产品权利要求中陈述的多个元件也可以由一个元件通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
Claims (10)
1.一种稀疏烟火检测方法，其步骤包括：
获取待检测图像，对图像进行预处理；
将预处理后的图像输入到基准特征提取网络中通过卷积特征提取操作得到特征图，获取所述特征图的浅层特征信息后，输出所述特征图到特征增强提取网络中获取深层特征信息；
在模型训练阶段，通过获取的浅层特征信息和深层特征信息计算真实目标框与预测边框之间的目标边框损失、目标类别损失和目标分类损失；
在模型测试阶段，通过获取的浅层特征信息和深层特征信息得到目标锚框的偏移、目标类别信息和目标分类信息，输出结果检测图。
2.根据权利要求1所述的一种稀疏烟火检测方法，其特征在于，在模型训练阶段通过交并比阈值筛选出正负样本，计算目标边框损失，再更新参数；
通过修正的归一化距离交并比损失函数LMNDIoU计算所述目标边框损失，得到真实目标框与预测边框之间的空间位置差异，所述修正的归一化距离交并比损失函数LMNDIoU的计算公式为：
其中，IoU表示预测边框与真实目标框之间的交并比，b和bgt分别表示预测边框与真实目标框的中心点，p2表示两个边框中心点的欧式距离，c代表能够同时覆盖预测边框和真实目标框的最小矩形框的对角线距离，dc表示预测边框与真实目标框之间最小邻接矩形面积，ds表示预测边框与真实目标框之间的相交面积，s表示真实目标框的面积，α表示控制比例的超参数。
3.根据权利要求1所述的一种稀疏烟火检测方法，其特征在于，所述特征增强提取网络包括CBS模块、C3TR模块、多尺度分块特征增强模块、上采样模块和Concat连接组件；
所述多尺度分块特征增强模块包括Res2_block模块、分块加权注意力模块和CBS模块；
所述Res2_block模块通过残差网络块连接多层残差，融合多尺度特征信息，将全局特征融入到每个局部卷积层提取的特征图中；
所述分块加权注意力模块将所述特征图拆分为四块局部特征图，通过压缩激励空间注意力模型增强四块局部特征图的语义信息，再以所述特征图切块反拼接的方式融合四块局部特征图。
所述CBS模块用于提取所述特征图的全局特征，所述CBS模块由卷积层、批量归一化层和激活函数SiLU组成，所述激活函数SiLU的计算公式为：
其中，x表示所述特征图的输出值。
4.根据权利要求3所述的一种稀疏烟火检测方法，其特征在于，所述C3TR模块包括CBS模块、Transformer模块，所述Transformer模块由多头注意力机制和Concat连接组件组成，所述多头注意力机制用于提取所述特征图自注意力局部特征，所述Concat连接组件将全局特征与局部特征结合；
所述上采样模块通过最近邻插值方法得到插值后的特征图，插值后的特征图的宽、高尺寸是所述特征图的宽、高尺寸的两倍，但保持插值后的特征图的通道数不变；
所述最近邻插值方法，即令变换后像素的灰度值等于距它最近的输入像素的灰度值，空间位置横纵坐标变换公式为：
src_x＝dst_x*(src_width/dst_width)
src_y＝dst_y*(src_height/dst_heigh)
其中，dst_x和dst_y表示插值后的特征图空间位置点的横纵坐标，dst_width和dst_height表示插值后的特征图的宽度和高度，src_x和src_y表示所述特征图空间位置点的横纵坐标，src_width和src_height表示所述特征图的宽度和高度。
5.根据权利要求4所述的一种稀疏烟火检测方法，其特征在于，所述基准特征提取网络包括CBS模块和C3TR模块。
6.根据权利要求5所述的一种稀疏烟火检测方法，其特征在于，通过二元交叉熵损失函数Loss1计算所述目标类别损失，所述二元交叉熵损失函数Loss1的计算公式为：
其中，N表示总样本数，yi表示样本i的标签，正样本表示有烟火目标为1，负样本表示无烟火目标为0，pi表示样本i预测为有烟火目标的概率。
通过多元交叉熵损失函数Loss2计算所述目标分类损失，所述多元交叉熵损失函数Loss2的计算公式为：
其中，N表示总样本数，M表示类别的数量，yij表示当且仅当样本i类别j等于真实样本标签时为1，否则为0，pij表示样本i类别j的预测概率。
7.根据权利要求8所述的一种稀疏烟火检测方法，其特征在于，在模型测试阶段利用置信分阈值去除可能性低的预测边框，根据坐标表达式转化预测结果，使用非极大值抑制算法去除冗余的预测边框，得到所述结果检测图；
所述坐标表达式的计算公式为：
bx＝(2σ(tx)-0.5+cx)×stride
by＝(2σ(ty)-0.5+cy)×stride
bw＝(2σ(tw))2×anchor_grid
bh＝(2σ(th))2×anchor_grid
其中，tx，ty，tw，th表示模型预测输出，bx，by，bw，bh表示最终预测的目标边框中心点坐标和宽高尺寸，σ表示sigmoid函数，cx和cy表示当前预测点在所述特征图上对应的网格点坐标，stride表示所述结果检测图相对于所述输入图像的下采样倍数，anchor_grid表示由所述结果检测图上的网格点映射到所述输入图像上得到的值。
8.一种稀疏烟火检测装置，其特征在于，包括：
输入模块，获取待检测图像，对图像进行预处理，将预处理后的图像输入到基准特征提取网络中通过卷积特征提取操作得到特征图，获取所述特征图的浅层特征信息后，输出所述特征图到特征增强提取网络中获取深层特征信息；
训练模块，通过获取的浅层特征信息和深层特征信息，利用修正的归一化距离交并比损失函数LMNDIoU计算真实目标框与预测边框之间的目标边框损失，利用二元交叉熵损失函数Loss1计算目标类别损失，利用多元交叉熵损失函数Loss2计算目标分类损失；
测试模块，通过获取的浅层特征信息和深层特征信息得到目标锚框的偏移、目标类别信息和目标分类信息，去除冗余的预测边框，输出结果检测图。
9.一种计算机设备，包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211476027.9A CN115861922B (zh) | 2022-11-23 | 2022-11-23 | 一种稀疏烟火检测方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211476027.9A CN115861922B (zh) | 2022-11-23 | 2022-11-23 | 一种稀疏烟火检测方法、装置、计算机设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115861922A true CN115861922A (zh) | 2023-03-28 |
| CN115861922B CN115861922B (zh) | 2023-10-03 |
Family
ID=85665466
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211476027.9A Active CN115861922B (zh) | 2022-11-23 | 2022-11-23 | 一种稀疏烟火检测方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115861922B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116152254A (zh) * | 2023-04-20 | 2023-05-23 | 北京万龙精益科技有限公司 | 工业泄露目标气体检测模型训练方法、检测方法、电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112132090A (zh) * | 2020-09-28 | 2020-12-25 | 天地伟业技术有限公司 | 一种基于yolov3的烟火自动检测预警方法 |
| WO2021212443A1 (zh) * | 2020-04-20 | 2021-10-28 | 南京邮电大学 | 一种基于轻量化3D-RDNet模型的烟雾视频检测方法及系统 |
| CN114882498A (zh) * | 2022-05-18 | 2022-08-09 | 重庆邮电大学 | 面向采摘机器人的遮挡和重叠果实识别方法 |
| CN115294520A (zh) * | 2022-07-28 | 2022-11-04 | 烟台大学 | 一种基于卷积神经网络的烟火检测方法 |
| CN115331141A (zh) * | 2022-08-03 | 2022-11-11 | 天津大学 | 一种基于改进YOLO v5的高空烟火检测方法 |
-
2022
- 2022-11-23 CN CN202211476027.9A patent/CN115861922B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021212443A1 (zh) * | 2020-04-20 | 2021-10-28 | 南京邮电大学 | 一种基于轻量化3D-RDNet模型的烟雾视频检测方法及系统 |
| CN112132090A (zh) * | 2020-09-28 | 2020-12-25 | 天地伟业技术有限公司 | 一种基于yolov3的烟火自动检测预警方法 |
| CN114882498A (zh) * | 2022-05-18 | 2022-08-09 | 重庆邮电大学 | 面向采摘机器人的遮挡和重叠果实识别方法 |
| CN115294520A (zh) * | 2022-07-28 | 2022-11-04 | 烟台大学 | 一种基于卷积神经网络的烟火检测方法 |
| CN115331141A (zh) * | 2022-08-03 | 2022-11-11 | 天津大学 | 一种基于改进YOLO v5的高空烟火检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| NING XU ET AL.: ""Deep GrabCut for Object Selection"", 《ARXIV》 * |
| 杨国亮等: ""基于深度学习的吸烟行为实时检测"", 《安全与环境学报》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116152254A (zh) * | 2023-04-20 | 2023-05-23 | 北京万龙精益科技有限公司 | 工业泄露目标气体检测模型训练方法、检测方法、电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115861922B (zh) | 2023-10-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109840556B (zh) | 一种基于孪生网络的图像分类识别方法 | |
| CN112348815A (zh) | 图像处理方法、图像处理装置以及非瞬时性存储介质 | |
| CN112288008B (zh) | 一种基于深度学习的马赛克多光谱图像伪装目标检测方法 | |
| CN111681273B (zh) | 图像分割方法、装置、电子设备及可读存储介质 | |
| US11651477B2 (en) | Generating an image mask for a digital image by utilizing a multi-branch masking pipeline with neural networks | |
| CN109583345B (zh) | 道路识别方法、装置、计算机装置及计算机可读存储介质 | |
| US11393100B2 (en) | Automatically generating a trimap segmentation for a digital image by utilizing a trimap generation neural network | |
| CN110781756A (zh) | 基于遥感图像的城市道路提取方法及装置 | |
| CN109712071B (zh) | 基于航迹约束的无人机图像拼接与定位方法 | |
| CN113807361B (zh) | 神经网络、目标检测方法、神经网络训练方法及相关产品 | |
| CN115797350B (zh) | 桥梁病害检测方法、装置、计算机设备和存储介质 | |
| CN114022408A (zh) | 基于多尺度卷积神经网络的遥感图像云检测方法 | |
| CN113723377A (zh) | 一种基于ld-ssd网络的交通标志检测方法 | |
| CN113850324B (zh) | 一种基于Yolov4的多光谱目标检测方法 | |
| CN111768415A (zh) | 一种无量化池化的图像实例分割方法 | |
| CN114677596A (zh) | 一种基于注意力模型的遥感图像船舶检测方法和装置 | |
| CN110555424A (zh) | 港口集装箱布局检测方法、装置、设备及可读存储介质 | |
| CN115861922B (zh) | 一种稀疏烟火检测方法、装置、计算机设备及存储介质 | |
| CN113076889B (zh) | 集装箱铅封识别方法、装置、电子设备和存储介质 | |
| CN113537017A (zh) | 基于级联型回归修正的光学遥感图像飞机检测方法和装置 | |
| CN112053407A (zh) | 一种交通执法影像中基于ai技术的车道线自动检测方法 | |
| CN113537026B (zh) | 建筑平面图中的图元检测方法、装置、设备及介质 | |
| CN111582275B (zh) | 一种序列号识别方法及装置 | |
| CN113505650A (zh) | 地形特征线提取方法及装置、设备 | |
| CN113657225A (zh) | 一种目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Feng Xiaoqiang Inventor after: Song Chen Inventor after: Zeng Yu Inventor after: Li Weixuan Inventor after: Tang Qingfei Inventor after: Cao Yichao Inventor before: Feng Xiaoqiang Inventor before: Song Chen Inventor before: Li Weixuan Inventor before: Tang Qingfei Inventor before: Cao Yichao |