CN111553403B - 基于伪3d卷积神经网络的烟雾检测方法及系统 - Google Patents

基于伪3d卷积神经网络的烟雾检测方法及系统 Download PDF

Info

Publication number
CN111553403B
CN111553403B CN202010326699.6A CN202010326699A CN111553403B CN 111553403 B CN111553403 B CN 111553403B CN 202010326699 A CN202010326699 A CN 202010326699A CN 111553403 B CN111553403 B CN 111553403B
Authority
CN
China
Prior art keywords
smoke
pseudo
neural network
convolutional neural
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010326699.6A
Other languages
English (en)
Other versions
CN111553403A (zh
Inventor
陈振学
朱国栋
刘成云
荣学文
何为凯
董波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rizhao Antai Technology Development Co ltd
Shenzhen Research Institute Of Shandong University
Shandong University
Shandong Jiaotong University
Original Assignee
Rizhao Antai Technology Development Co ltd
Shenzhen Research Institute Of Shandong University
Shandong University
Shandong Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rizhao Antai Technology Development Co ltd, Shenzhen Research Institute Of Shandong University, Shandong University, Shandong Jiaotong University filed Critical Rizhao Antai Technology Development Co ltd
Priority to CN202010326699.6A priority Critical patent/CN111553403B/zh
Publication of CN111553403A publication Critical patent/CN111553403A/zh
Application granted granted Critical
Publication of CN111553403B publication Critical patent/CN111553403B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于伪3D卷积神经网络的烟雾检测方法及系统，对烟雾视频帧标注，分为烟雾区域和非烟雾区域，形成训练集和测试集；利用训练集对伪3D卷积神经网络模型进行训练；利用训练好的伪3D卷积神经网络模型，在编码器阶段，使用伪3D残差块提取烟雾的时空特征，解码器连续对编码器的下采样功能进行上采样，通过二值图像标签对输出的烟雾预测图进行监督，最后通过特征图融合获得最终的预测。将伪3D卷积神经网络与深监督结合起来，通过结合烟雾的时空特征以及局部和全局线索来提高最终预测的可靠性，避免了手工设计特征检测烟雾的低效率和不稳定的缺陷，提供了快速可靠的烟雾检测识别结果。

Description

基于伪3D卷积神经网络的烟雾检测方法及系统
技术领域
本公开属于火灾检测领域，尤其涉及基于伪3D卷积神经网络的烟雾检测方法及系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
全国全年共发生森林火灾2345起，受害森林面积约1.35万公顷，发生草原火灾45起，受害草原面积约6.67万公顷。野火是一种不受控制的紧急情况，具有破坏性后果，通常发生在可燃植被区域。一年内全球平均发生20多万起野火。大面积的森林和其他植物资源，其生长周期很长，都被烧毁了。无数的野生动物甚至失去了家园。土壤侵蚀，水质下降和空气污染都是野火的副作用。
发明人发现，早期准确的火灾探测对于尽量减少上述损害至关重要。由于廉价，简单和高精度，基于点的传感器已被广泛使用。但是当它们足够接近火时它们能很好地工作。近年来，放置在了望塔上的视频监控摄像机被广泛用于监视可燃植被覆盖的区域。尽管他们在某种程度上扮演了角色，但人们几乎不可能始终关注每个屏幕。为了以更少的人更快地发现火灾，已经广泛提出了基于图像和视频的烟雾探测。在不可预测的自然环境下，例如照明，雾，雾，云等，烟雾探测变得更加困难。此外，如果烟雾和摄像机之间的距离很长，烟雾的移动速度比实际上要慢。在许多烟雾检测中使用运动检测作为获得烟雾的候选区域的预处理方法。有三种常用方法：时间差分，背景减法和光流。时间差分很简单，没有背景建模。但是可能会不能完整地检测到移动物体以及出现双影。背景减法建立背景模型以近似背景。然后比较当前帧和背景模型。但更新背景模型需要花费很多时间。以上两种方法都需要固定摄像机。相反，光流可以适合固定相机或移动背景。但是时间和计算成本都高于上述两种方法。鉴于上述情况，更多地使用背景减法。视觉，时间，空间特征和频率是大多数研究中考虑的烟雾的主要特征。许多色彩空间已被用于分析烟和火的颜色特征，如YUV，HSI，HSV，Lab和YCbCr。此外，使用隐马尔可夫模型(HMM)，小波变换，分形曲线，高斯混合模型(GMM)和人工神经网络来获得更准确的烟区。但是它们都不能分别达到理想的效果，通常几种方法一起使用。随着卷积神经网络(CNN)在检测，识别和分割任务上的发展，一些卷积神经网络已用于火灾和烟雾检测,如Faster R-CNN,Single Shot Multi Box Detector(SSD),Region-based Fully Convolutional Networks(R-FCN)、RNN等。但大多数只在图像而不是视频序列上检测到烟雾。
发明人还发现，自然场景中的烟雾检测是一件十分具有挑战的工作。它的挑战主要在于野外环境复杂，天气变幻莫测，这都给烟雾检测带来困难，目前野外烟雾检测主要还是依赖人工，耗时耗力切实大量重复性工作，目前的一些烟雾检测系统大多基于传统方法，基于手工设计特征，效果很差，不能在检测准确率和误检率之间做出很好的平衡。目前基于单幅图像的语义分割已经取得了较大进展，但是当处理图像序列时，单幅图像的语义分割会忽略掉连续多帧图像的短期连续性和一致性的信息，无法学习视频的时域信息，一定程度上会影响运动物体分割的准确性。
发明内容
为克服上述现有技术的不足，本公开提供了基于伪3D卷积神经网络的烟雾检测方法，得到快速可靠的烟雾检测识别结果。
为实现上述目的，本公开的一个或多个实施例提供了如下技术方案：
基于伪3D卷积神经网络的烟雾检测方法，包括：
对烟雾视频帧标注，分为烟雾区域和非烟雾区域，形成训练集和测试集；
利用训练集对伪3D卷积神经网络模型进行训练，在解码器阶段对每次上采样的分割图分别设置标签，然后在将每次输出通过一个卷积融合在一起，最后所有输出烟雾分割预测图像与期望分割图像之间的误差损失函数值不再下降且到达合理区间，停止训练；
利用训练好的伪3D卷积神经网络模型，在编码器阶段，使用伪3D残差块提取烟雾的时空特征，解码器连续对编码器的下采样功能进行上采样，通过二值图像标签对输出的烟雾预测图进行监督，最后通过特征图融合获得最终的预测。
另一方面，还公开了基于伪3D卷积神经网络的烟雾检测系统，包括：
预处理烟雾视频帧模块，对烟雾视频帧标注，分为烟雾区域和非烟雾区域，形成训练集和测试集；
模型训练模块，利用训练集对伪3D卷积神经网络模型进行训练，在解码器阶段对每次上采样的分割图分别设置标签，然后在将每次输出通过一个卷积融合在一起，最后所有输出烟雾分割预测图像与期望分割图像之间的误差损失函数值不再下降且到达合理区间，停止训练；
测试分割模块，利用训练好的伪3D卷积神经网络模型，在编码器阶段，使用伪3D残差块提取烟雾的时空特征，解码器连续对编码器的下采样功能进行上采样，通过二值图像标签对输出的烟雾预测图进行监督，最后通过特征图融合获得最终的预测。
以上一个或多个技术方案存在以下有益效果：
本公开利用伪3D卷积神经网络提取烟雾的时空特征，提取烟雾的时域上的运动信息与空间上的烟雾特征最终融合在一起通过深监督强化训练效果，将伪3D卷积神经网络与深监督结合起来，通过结合烟雾的时空特征以及局部和全局线索来提高最终预测的可靠性，避免了手工设计特征检测烟雾的低效率和不稳定的缺陷，提供了快速可靠的烟雾检测识别结果，从而减轻人工重复性无技术含量的工作，为森林防火提供便利且有效的系统。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
图1是本公开实施例提供的一种基于伪3D卷积神经网络的烟雾分割方法流程图。
图2是本公开实施例提供的烟雾真实图片以及标签。
图3(a)-图3(b)是本公开实施例提供的伪3D卷积示意图。
图4是本公开实施例提供的伪3D残差块的具体组合(包含伪3D卷积以及非对称卷积)。
图5是本公开实施例提供的伪3D卷积神经网络模型示意图。
图6是本公开实施例提供的在公开数据集上的检测效果。
图7是本公开实施例提供的在自有数据集上的检测效果。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
需要说明的是，现有2d网络无法提取烟雾的运动信息，因此对于类烟物体(如云，烟，雾霾)容易误检，3d网络可以提取同时提取烟雾时域上地运动信息和空间上的烟雾特征，因此3d网络误检率要远远比2d网络低，本公开技术方案使用伪3D，参数上等同2D网络，因此可以保证实时性。
基于伪3D卷积神经网络的语义分割可以提取视频中的时空特征，这样烟雾视频中的运动信息和外观信息就都能提取出来，能设计端到端的网络用于烟雾分割，相比普通卷积神经网络的分割，伪3D网络在误检率方面能低很多，由于伪3D卷积是将3D卷积拆分成一个1D时间卷积和2D空间卷积，参数上等同普通卷积，因此伪3D卷积神经网络在参数上要比3D卷积神经网络低很多，相比3D卷积有更好的实时性。
实施例一
参见附图1所示，本实施例公开了基于伪3D卷积神经网络的烟雾检测方法，包括：
S101：预处理烟雾视频帧，使用Adobe Photoshop对训练视频图像手动标注二值图标签，进而形成训练集和测试集；所述标签包括烟雾区域和非烟雾区域；
具体地，在步骤S101中，收集烟雾视频，并且将其转换成视频帧，调整视频帧的大小，使用Adobe Photoshop对训练视频图像手动标注二值图标签；选取的烟雾区域被标记为白色(值为1)，其余背景区域被标记为黑色(值为0)，如图2所示。将所有收集的烟雾视频帧以7:3的比例分成训练集和测试集。其中，烟雾区域为前景，非烟雾区域为背景。每个训练样本是连续16帧，分辨率为1920x1080，在本公开的模型中调整为256x256。
S102：利用训练集对伪3D卷积神经网络模型进行训练，直至卷积神经网络模型输出烟雾分割视频帧与期望分割视频帧之间的误差损失函数值不在下降且到达合理区间，停止训练。
在具体实施中，将训练集内的烟雾视频的连续16帧送入伪3D卷积神经网络。本实施基于由Berkeley AI Research(BAIR)和社区贡献者开发的caffe。在配备i7-6800K CPU(32G内存)和NVIDIA Titan Xp GPU(12G内存)的台式计算机上训练网络。在不使用任何后处理的情况下。
深监督模型对上采样的特征图在训练过程中进行监督，防止网络过拟合，纠正网络传播方向，加强训练质量和网络的学习效果。
其过程为：
解码器阶段对每次上采样的结果分别进行8、4、2倍的上采样然后与标签对比，强化训练过程，最后通过1*1的卷积融合输出最后特征图与真实标签对比。
其中，如图5所示，深监督模型的各级分别采用不同大小的卷积核通过一定的步长分析不同的子区域。
通过上采样与特征值的拼接形成包含局部和全局上下文信息的特征表示，经过向量卷积运算(conv)输出最终的逐像素预测结果，
卷积神经网络训练的具体过程如下：卷积神经网络的训练过程分为两个阶段。
第一个阶段是数据由低层次向高层次传播的阶段，即前向传播阶段。
另外一个阶段是，当前向传播得出的结果与预期不相符时，将误差从高层次向底层次进行传播训练的阶段，即反向传播阶段。
训练过程为：
1)、网络进行权值的初始化；
2)、输入数据经过卷积层、下采样层、上采样层的向前传播得到输出值；
3)、求出网络各层上采样的输出值与各层目标值之间的误差；
4)、当误差大于本公开技术方案的期望值时，将误差传回网络中，依次求得下采样层，上采样层和伪3D卷积层的误差。各层的误差可以理解为对于网络的总误差，网络应承担多少；当误差等于或小于本公开技术方案的期望值时，结束训练；
5)、根据求得误差进行权值更新，然后在进入到第2)步。
S103：利用训练好的伪3D卷积神经网络模型去除深监督对测试集进行烟雾检测分割。
对于卷积神经网络的卷积层，它的卷积过程数学表达公式：
Figure BDA0002463483180000071
其中，inNum为输入矩阵的个数，Xk代表第k个输入矩阵，Wk代表卷积核的第k个子卷积核矩阵，s(i,j)即卷积核W对应的输出矩阵的对应位置元素的值,b为偏置参数；
在3D卷积中，视频序列被表示为大小为c×l×h×w的张量，其中c是视频帧的通道数，l是视频序列的帧数，h和w分别是视频帧的高和宽。相应地，3D卷积的特征图被表示为大小为l×h×w的三维张量。3D卷积核与池化核的大小则为d×k×k，其中，d是卷积核的时域深度，k是卷积核的空域大小。第i个卷积层的第j个特征图上(x,y,z)处的值可以表示为py(x,y,z)，计算方法如下公式所示：
Figure BDA0002463483180000072
其中，f(.)、bij、Mi、Wijm、xm的含义与2D卷积相同，不同的是，3D卷积的特征图、卷积核、卷积操作都是三维的。
伪3D卷积是将3D卷积运算分解为两个连续的子卷积块-2D空间卷积和1D时间卷积，如图3(b)所示。通过将3D卷积拆分为一个3*1*1的一维时间卷积核一个1*3*3的二位空间卷积，相比于同样深度的2D卷积神经网络只增添了一定数量的1D卷积神经网络，但参数量减少很多。二维空间卷积可以使用图像进行预处理，对视频数据量的需求大大减少。为了更加优化参数量，在图5中的res-2引入非对称卷积，具体实施方法如图3(a)所示。非对称卷积的引入使网络模型的参数量进一步优化33％。
卷积后的输出通过ReLU激活函数，将输出的张量中小于0的位置对应的元素值都变成0，再经过池化，得到特征图，并且建立好卷积神经网络模型。
整流线性单元ReLU定义如下：
g(x)＝max(0,x)；
其中，g(x)表示整流线性单元函数，x是一个输入值。
用训练好的卷积神经网络模型对测试集进行分割，并取特征图作为金字塔池化模型的输入值的具体过程为：
用训练好的卷积神经网络模型进行卷积、激励、池化、卷积、激励、池化等操作。
在另一实施例中，基于伪3D卷积神经网络的烟雾检测分割方法，还包括：
对于训练好的模型，使用网络剪枝技术将训练过程中使用的深监督模型剪去，然后输入测试视频得到最终的烟雾检测结果。
对于检测到烟雾的定义是在烟雾出现时检测烟雾，视频帧中烟雾面积的比例大于设定值，否则未检测到。本文中的设定值为0.48％，用于将视频帧调整为256x256，即分辨率为1920x1080的帧中的100x100烟雾区域。由于烟雾浓度难以预测，只要分割的前景是地面实况的烟雾区域的一部分，确定检测到烟雾。图6展示了在互联网公开视频中的检测效果，图7展示了在本公开技术方案收集的监控视频上的检测效果。
需要说明的是，利用训练集对卷积神经网络模型进行训练之前还包括：
由于网络学习的是连续16帧视频的时空特征，因此对于训练集的视频帧编号需要大于等于16的倍数。
编码器阶段res-1使用伪3D卷积残差模块，res-2使用基于非对称卷积的伪3D卷积残差模块。
在深监督模型监控训练的过程为：
深监督处于解码器阶段，对于编码器特征图每进行次上采样的特征分别经过8倍、4倍和2倍反卷积输出特征图与真实标签求误差损失函数。并在最后通过1*1的卷积将所有路径进行融合，融合后的特征图与真实标签在进行求损失函数。
编码器阶段通过跳跃连接到解码器阶段，跳跃连接可以将编码器阶段的信息引入解码器，改善上采样粗糙的像素定位。
Res-2阶段加入空洞卷积，空洞卷积是本公开技术方案的模型感受野增大的同时降低了计算量，同时还可以捕捉多尺度的上下文信息。
测试视频阶段，深监督模型被剪掉，只剩下前向传播通道，去掉深监督模块，在降低网络参数量的同时且不影响检测效果。
基于同样的发明构思，本公开实施例子还公开了基于伪3D卷积神经网络的烟雾检测系统，包括：
预处理烟雾视频帧模块，使用Adobe Photoshop对训练视频图像手动标注二值图标签，进而形成训练集和测试集；所述标签包括烟雾区域和非烟雾区域；
模型训练模块，其用于利用训练集对伪3D卷积神经网络模型进行训练，在解码器阶段对每次上采样的分割图分别设置标签，然后在将每次输出通过一个1*1的卷积融合在一起，最后所有输出烟雾分割预测图像与期望分割图像之间的误差损失函数值不在下降且到达合理区间，停止训练；
测试分割模块，其用于利用训练好的伪3D卷积神经网络模型对测试集进行分割，将训练阶段用于深监督的部分全部拿掉，只剩一个端到端的网络；然后输出逐像素预测分割结果。
本实施例利用一种更有效的3D神经网络架构，用于野火烟雾场景中的视频语义分割。参见附图4所示。该架构使用了基于残差网络的编解码器结构。在编码器阶段，本公开技术方案使用伪3D残差块提取烟雾的时空特征。解码器连续对编码器的下采样功能进行三次上采样，然后深监督模块对三次上采样进行监督，最后通过特征图融合获得最终的预测。该模型可以实现端到端和像素到像素的训练，而无需从头开始进行预训练，也不需要任何预处理和后端处理。有效克服了二维卷积神经网络无法检测运动信息和前后多模块的误差累积，减小了工程复杂度且人工干预少。
在另一实施例中，还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如图1所示的基于伪3D卷积神经网络分割方法中的步骤。
在另一实施例中，还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如图1所示的基于伪3D卷积神经网络的烟雾分割方法中的步骤。
以上实施例的装置中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本公开中的任一方法。
本领域技术人员应该明白，上述本公开的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本公开不限制于任何特定的硬件和软件的结合。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (10)

1.基于伪3D卷积神经网络的烟雾检测方法，其特征是，包括：
对烟雾视频帧标注，分为烟雾区域和非烟雾区域，形成训练集和测试集；
利用训练集对伪3D卷积神经网络模型进行训练，在解码器阶段对每次上采样的分割图分别设置标签，然后再将每次输出通过一个卷积融合在一起，最后所有输出烟雾分割预测图像与期望分割图像之间的误差损失函数值不再下降且到达合理区间，停止训练；
利用训练好的伪3D卷积神经网络模型，在编码器阶段，使用伪3D残差块提取烟雾的时空特征，解码器连续对编码器的下采样功能进行上采样，通过二值图像标签对输出的烟雾预测图进行监督，最后通过特征图融合获得最终的预测。
2.如权利要求1所述的基于伪3D卷积神经网络的烟雾检测方法，其特征是，对烟雾视频帧标注之前，首先将烟雾视频转换成视频帧，然后，对训练视频图像标注二值图标签，选取的烟雾区域被标记1，其余背景区域被标记为0。
3.如权利要求1所述的基于伪3D卷积神经网络的烟雾检测方法，其特征是，利用训练集对伪3D卷积神经网络模型进行训练时，将训练集内的烟雾视频的连续16帧送入伪3D卷积神经网络，对网络进行了端到端，像素到像素的训练。
4.如权利要求1所述的基于伪3D卷积神经网络的烟雾检测方法，其特征是，通过二值图像标签对输出的烟雾预测图进行监督，具体为：利用深监督模型对上采样的特征图在训练过程中进行监督，防止网络过拟合。
5.如权利要求4所述的基于伪3D卷积神经网络的烟雾检测方法，其特征是，利用深监督模型对上采样的特征图在训练过程中进行监督：
解码器阶段对每次上采样的结果分别进行上采样然后与标签对比，强化训练过程，最后通过卷积融合输出最后特征图与真实标签对比；
深监督模型的各级分别采用不同大小的卷积核通过一定的步长分析不同的子区域；
通过上采样与特征值的拼接形成包含局部和全局上下文信息的特征表示，经过向量卷积运算输出最终的逐像素预测结果。
6.如权利要求1所述的基于伪3D卷积神经网络的烟雾检测方法，其特征是，伪3D卷积神经网络模型进行训练，训练过程：
1)、网络进行权值的初始化；
2)、输入数据经过卷积层、下采样层、上采样层的向前传播得到输出值；
3)、求出网络各层上采样的输出值与各层目标值之间的误差；
4)、当误差大于期望值时，将误差传回网络中，依次求得下采样层，上采样层和伪3D卷积层的误差；当误差等于或小于期望值时，结束训练；
5)、根据求得误差进行权值更新，然后再进入到第2)步。
7.如权利要求1所述的基于伪3D卷积神经网络的烟雾检测方法，其特征是，所述伪3D卷积是将3D卷积运算分解为两个连续的子卷积块-2D空间卷积和1D时间卷积，卷积后的输出通过ReLU激活函数，将输出的张量中小于0的位置对应的元素值都变成0，再经过池化，得到特征图。
8.基于伪3D卷积神经网络的烟雾检测系统，其特征是，包括：
预处理烟雾视频帧模块，对烟雾视频帧标注，分为烟雾区域和非烟雾区域，形成训练集和测试集；
模型训练模块，利用训练集对伪3D卷积神经网络模型进行训练，在解码器阶段对每次上采样的分割图分别设置标签，然后在将每次输出通过一个卷积融合在一起，最后所有输出烟雾分割预测图像与期望分割图像之间的误差损失函数值不再下降且到达合理区间，停止训练；
测试分割模块，利用训练好的伪3D卷积神经网络模型，在编码器阶段，使用伪3D残差块提取烟雾的时空特征，解码器连续对编码器的下采样功能进行上采样，通过二值图像标签对输出的烟雾预测图进行监督，最后通过特征图融合获得最终的预测。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征是，该程序被处理器执行时实现权利要求1-7任一所述的基于伪3D卷积神经网络的烟雾检测方法中的步骤。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征是，所述处理器执行所述程序时实现权利要求1-7任一所述的基于伪3D卷积神经网络的烟雾检测方法中的步骤。
CN202010326699.6A 2020-04-23 2020-04-23 基于伪3d卷积神经网络的烟雾检测方法及系统 Active CN111553403B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010326699.6A CN111553403B (zh) 2020-04-23 2020-04-23 基于伪3d卷积神经网络的烟雾检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010326699.6A CN111553403B (zh) 2020-04-23 2020-04-23 基于伪3d卷积神经网络的烟雾检测方法及系统

Publications (2)

Publication Number Publication Date
CN111553403A CN111553403A (zh) 2020-08-18
CN111553403B true CN111553403B (zh) 2023-04-18

Family

ID=72000255

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010326699.6A Active CN111553403B (zh) 2020-04-23 2020-04-23 基于伪3d卷积神经网络的烟雾检测方法及系统

Country Status (1)

Country Link
CN (1) CN111553403B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112699858B (zh) * 2021-03-24 2021-05-18 中国人民解放军国防科技大学 无人平台烟尘雾感知方法、系统、计算机设备及存储介质
CN113313180B (zh) * 2021-06-04 2022-08-16 太原理工大学 一种基于深度对抗学习的遥感图像语义分割方法
CN113743194B (zh) * 2021-07-23 2024-02-02 北京眼神智能科技有限公司 人脸静默活体检测方法、装置、电子设备及存储介质
CN113837946B (zh) * 2021-10-13 2022-12-06 中国电子技术标准化研究院 一种基于递进蒸馏网络的轻量化图像超分辨率重建方法
CN116228911B (zh) * 2023-05-05 2023-11-28 四川汉盛源科技有限公司 基于光谱特征的森林火灾勘察定损方法
CN116258715B (zh) * 2023-05-15 2023-08-04 北京中超伟业信息安全技术股份有限公司 一种粉尘回收方法、装置及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109147254A (zh) * 2018-07-18 2019-01-04 武汉大学 一种基于卷积神经网络的视频野外火灾烟雾实时检测方法
CN110378281A (zh) * 2019-07-17 2019-10-25 青岛科技大学 基于伪3d卷积神经网络的组群行为识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7034701B1 (en) * 2000-06-16 2006-04-25 The United States Of America As Represented By The Secretary Of The Navy Identification of fire signatures for shipboard multi-criteria fire detection systems

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109147254A (zh) * 2018-07-18 2019-01-04 武汉大学 一种基于卷积神经网络的视频野外火灾烟雾实时检测方法
CN110378281A (zh) * 2019-07-17 2019-10-25 青岛科技大学 基于伪3d卷积神经网络的组群行为识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Xiuqing Li等.3D Parallel Fully Convolutional Networks for Real-Time Video Wildfire Smoke Detection.《IEEE》.2018,全文. *

Also Published As

Publication number Publication date
CN111553403A (zh) 2020-08-18

Similar Documents

Publication Publication Date Title
CN111553403B (zh) 基于伪3d卷积神经网络的烟雾检测方法及系统
Hu et al. Fast forest fire smoke detection using MVMNet
Jia et al. Detection and segmentation of overlapped fruits based on optimized mask R-CNN application in apple harvesting robot
Fu et al. Fast and accurate detection of kiwifruit in orchard using improved YOLOv3-tiny model
Tao et al. Smoke detection based on deep convolutional neural networks
Kalsotra et al. Background subtraction for moving object detection: explorations of recent developments and challenges
Maddalena et al. The 3dSOBS+ algorithm for moving object detection
CN113065558A (zh) 一种结合注意力机制的轻量级小目标检测方法
Bragagnolo et al. Amazon forest cover change mapping based on semantic segmentation by U-Nets
KR20200007084A (ko) 장면의 다차원 특징을 기반으로 하는 선박 탐지 방법 및 시스템
CN110689021A (zh) 一种基于深度学习的低可见度环境下实时目标检测方法
CN112597815A (zh) 一种基于Group-G0模型的合成孔径雷达图像舰船检测方法
CN111047565A (zh) 一种用于森林云雾图像分割的方法、存储介质和设备
CN110705412A (zh) 一种基于运动历史图像的视频目标检测方法
Shen et al. Biomimetic vision for zoom object detection based on improved vertical grid number YOLO algorithm
Jiang et al. A self-attention network for smoke detection
CN109919223B (zh) 基于深度神经网络的目标检测方法及装置
CN115457428A (zh) 融入可调节坐标残差注意力的改进YOLOv5火灾检测方法及装置
Treneska et al. Wildfire detection from UAV collected images using transfer learning
CN116109947A (zh) 一种基于大核等效卷积注意力机制的无人机图像目标检测方法
CN114399734A (zh) 一种基于视觉信息的森林火灾预警方法
Rahim et al. Deep learning-based accurate grapevine inflorescence and flower quantification in unstructured vineyard images acquired using a mobile sensing platform
CN116052082A (zh) 一种基于深度学习算法的配电站房异常检测方法及装置
CN114463624A (zh) 一种应用于城市管理监督的违章建筑物检测方法及装置
Zhang et al. SwinSeg: Swin transformer and MLP hybrid network for ship segmentation in maritime surveillance system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant