CN109272511A - 基于分块的轻便网络的烟检测装置 - Google Patents

基于分块的轻便网络的烟检测装置 Download PDF

Info

Publication number
CN109272511A
CN109272511A CN201810978487.9A CN201810978487A CN109272511A CN 109272511 A CN109272511 A CN 109272511A CN 201810978487 A CN201810978487 A CN 201810978487A CN 109272511 A CN109272511 A CN 109272511A
Authority
CN
China
Prior art keywords
subgraph
cigarette
advance
probability
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810978487.9A
Other languages
English (en)
Inventor
罗胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Laser and Optoelectronics Intelligent Manufacturing of Wenzhou University
Original Assignee
Institute of Laser and Optoelectronics Intelligent Manufacturing of Wenzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Laser and Optoelectronics Intelligent Manufacturing of Wenzhou University filed Critical Institute of Laser and Optoelectronics Intelligent Manufacturing of Wenzhou University
Priority to CN201810978487.9A priority Critical patent/CN109272511A/zh
Publication of CN109272511A publication Critical patent/CN109272511A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于分块的轻便网络的烟检测装置，所述方法将待检测视频中的帧图像分成多个子图像，把子图像向U、V方向投影后得到的压缩向量输入循环神经网络抽取运动特征，然后再与用卷积神经网络抽取的静态特征结合，综合子图像中判断是否存在烟；再把子图像中的概率聚合成概率矩阵，用综合判断网络分析场景中是否存在烟。本发明具有简单、准确率高、敏感性高及对数据样本要求低等有益效果。

Description

基于分块的轻便网络的烟检测装置
技术领域
本发明涉及图像检测技术领域，更具体地，涉及一种基于分块的轻便网络的烟检测方法及装置。
背景技术
烟检测作为消防探测重要手段，已广泛应用于火灾、爆炸的探测与预警。传统基于烟传感器的探测技术监测范围小，在工厂、仓库、森林等较大的区域铺设成本高，且此类传感器易老化而灵敏度降低。近年来，视频烟探测技术因其响应时间短、灵敏度高、覆盖面积大等优势备受国内外研究者关注。
视频烟检测目前主要依靠颜色、形状、透明度、纹理、运动等视觉特征。传统的视频烟检测研究主要集中在生成可靠的烟特征。但是烟静态特征变化范围太大，与大量非烟对象的特征域有所重叠；而动态特征难于抽取，不得不加入一些人为的约束条件，排除了部分真正的烟。因此目前的检测方法效果有限。
近年来，深度神经网络(deep neural network,DNN)被用来自动生成图像特征。DNN通过建立类似于人脑的分层网络模型结构，对输入数据逐级提取从底层到高层的特征，以便更好地获得从底层信号到高层语义的映射关系。卷积神经网络(convolutionalneural networks,CNN)作为最重要的深度神经网络模型之一，在人脸识别、图像分类等方面取得突破性进展。而另一个重要的网络模型，循环神经网络擅长处理序列数据，已经被广泛地应用在语音识别、语言模型、机器翻译等方面。但无论是卷积神经网络还是循环神经网络，直接以原始像素级图像作为输入会导致网络模型较大，对硬件要求较高，对于要求装备轻便、简单、可靠的工厂、仓库、森林等应用场景并不适用。
发明内容
为了解决上述问题，本发明提供一种基于分块的轻便网络的烟检测方法及装置。
根据本发明实施例的第一方面，提供了一种基于分块的轻便网络的烟检测方法，包括：
将待检测视频中每帧图像分成多个子图像；
将各子图像在U、V方向投影，得到各子图像对应u-t和v-t方向的两个向量；将各子图像对应u-t和v-t方向的两个向量以及所述各子图像之前连续n帧子图像对应u-t和v-t方向的两个向量，分别输入两个预先构建的循环神经网络，分别输出各子图像在u-t和v-t方向的动态特征向量；
将各子图像输入预先构建的卷积神经网络，输出得到各子图像的静态特征向量；
将各子图像在u-t和v-t方向的动态特征向量、和待检测图像的静态特征向量合并成各子图像对应的单个特征向量；基于各子图像对应的单个特征向量，获得各子图像中存在烟的概率；
将各子图像中存在烟的概率按在对应帧图像中的位置，聚合获得待检测视频中每帧图像中包含烟的概率矩阵；
将待检测视频中各帧图像中包含烟的概率矩阵以及所述各子图像之前连续n帧子图像对应的概率矩阵，输入预先构建的烟综合判断网络，输出待检测视频中包含烟的概率；其中，预先构建的烟综合判断网络依次包含两个并列设置的RNN网络、一个全连接层和一个softmax层。
进一步，预先构建的循环神经网络包括依次先后设置的两个LSTM单元；所述预先构建的循环神经网络后连接两个全连接层。
进一步，预先构建的卷积神经网络包括依次先后设置的三个卷积层，每个卷积层后接一个下采样层。
进一步，基于各子图像对应的单个特征向量，获得待检测视频中每帧图像中包含烟的概率矩阵，包括：
将各子图像对应的单个特征向量输入softmax层，输出得到各子图像包含烟的概率；
基于各子图像在对应帧图像中的位置，重新聚合获得概率矩阵。
进一步，预先构建的烟综合判断网络中包含的两个RNN网络中各依次包含单层LSTM和两个全连接层。
根据本发明另一个方面，提供一种烟雾检测装置，包括分割模块、动态特征获取模块、静态特征获取模块、概率矩阵获取模块和检测模块：
分割模块，用于将待检测视频中每帧图像分成多个子图像；
动态特征获取模块，用于将各子图像在U、V方向投影，得到各子图像对应u-t和v-t方向的两个向量；将各子图像对应u-t和v-t方向的两个向量以及所述各子图像之前连续n帧子图像对应u-t和v-t方向的两个向量，分别输入两个预先构建的循环神经网络，分别输出各子图像在u-t和v-t方向的动态特征向量；
静态特征获取模块，用于将各子图像输入预先构建的卷积神经网络，输出得到各子图像的静态特征向量；
概率矩阵获取模块，用于将各子图像在u-t和v-t方向的动态特征向量、和待检测图像的静态特征向量合并成各子图像对应的单个特征向量；基于各子图像对应的单个特征向量，获得待检测视频中每帧图像中包含烟的概率矩阵；
检测模块，用于将待检测视频中各帧图像中包含烟的概率矩阵以及所述各子图像之前连续n帧子图像对应的概率矩阵，输入预先构建的烟综合判断网络，输出待检测视频中包含烟的概率；其中，预先构建的烟综合判断网络依次包含两个并列设置的RNN网络、一个全连接层和一个softmax层。
进一步，预先构建的循环神经网络包括依次先后设置的两个LSTM单元；所述预先构建的循环神经网络后连接两个全连接层。
进一步，预先构建的卷积神经网络包括依次先后设置的三个卷积层，每个卷积层后接一个下采样层。
将各子图像对应的单个特征向量输入softmax层，输出得到各子图像包含烟的概率；
基于各子图像在对应帧图像中的位置，重新聚合获得概率矩阵。
进一步，概率矩阵获取模块，进一步用于：
将各子图像对应的单个特征向量输入softmax层，输出得到各子图像包含烟的概率；
基于各子图像在对应帧图像中的位置，重新聚合获得概率矩阵。
进一步，概率矩阵获取模块，进一步用于判断整个场景图像中是否有烟；
进一步，预先构建的烟综合判断网络中包含的两个RNN网络中各依次包含单层LSTM和两个全连接层。
本发明提供一种基于分块的轻便网络的烟检测方法及装置，本发明所述方法将待检测视频中的帧图像分成多个子图像，把子图像向U、V方向投影后得到的压缩向量输入循环神经网络抽取运动特征，然后再与用卷积神经网络抽取的静态特征结合，综合子图像中判断是否存在烟；再把子图像中的概率聚合成概率矩阵，用综合判断网络分析场景中是否存在烟。本发明具有简单、准确率高、敏感性高及对数据样本要求低等有益效果。
附图说明
图1为本发明实施例的一种基于分块的轻便网络的烟检测方法的整体流程框架示意图；
图2为本发明实施例的一种基于分块的轻便网络的烟检测装置的整体框架示意图。
图3为本发明实施例的一种基于分块的轻便网络的烟检测方法的压缩图像中烟轨迹的示意图；
图4为本发明实施例的一种基于分块的轻便网络的烟检测方法中用于获取动态特征的循环神经网络的第一示意图；
图5为本发明实施例的一种基于分块的轻便网络的烟检测方法中用于获取动态特征的循环神经网络的第二示意图；
图6为本发明实施例的一种基于分块的轻便网络的烟检测方法中用于获取静态特征的循环神经网络的示意图；
图7为本发明实施例的一种基于分块的轻便网络的烟检测方法中场景综合判断网络的结构示意图；
图8是本发明实施例的一种基于分块的轻便网络的烟检测方法的设备框图；
图9是本发明实施例的用于执行一种基于分块的轻便网络的烟检测方法的电子设备框图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
深度学习已经广泛应用于各领域，成为模式识别应用的主流之一。深度学习区别于传统框架，它是从大数据中自动学习特征，并将特征表示和分类器联合优化。跳出视频烟检测的传统框架，引入深度学习将成为重要研究方向。
陈俊周等人提出一种基于级联卷积神经网络烟纹理识别框架的视频烟检测方法。该方法融合静态和动态纹理信息，将原始图像作为静态纹理输入，将原始图像的光流序列作为动态纹理输入。实验表明，与传统方法相比，该方法有效降低了误检率。Frizzi等人同样使用卷积神经网络进行火焰和烟检测。Yin等人提出了一种用于图像烟检测的深度规范化卷积神经网络(DNCNN)。该网络将传统CNN中的卷积层改进为批规范化卷积层，有效地解决了网络训练过程中梯度弥散和过拟合的问题，以此加速训练过程和提高检测效果；并且对训练样本进行了数据增强从而解决正负样本不平衡和训练样本不足的问题。
基于这些原因，本发明提出了基于轻便网络的分块烟检测方法，把图像向U、V方向投影后得到的压缩向量放入循环神经网络抽取运动特征，然后再与用卷积神经网络抽取的静态特征结合，综合判断是否存在烟。如果直接以原始图像作为输入，网络模型较大，运行缓慢，向U、V方向压缩后动态特征分辨能力不足，因此将场景图像分块，每块单独分析其静态和动态特征，再把分析结果按空间位置聚合成概率矩阵，最后采用卷积神经网络判断场景中是否存在烟。这种处理方法包括两个方向的动态特征抽取网络、静态特征抽取网络和场景综合判断网络共4个小型的网络，如图1所示，示出本发明基于轻便网络的分块烟检测方法的整体流程框架示意图。这种方法第一次提出采用循环神经网络抽取时间压缩图中的轨迹特征，也第一次采用分块的策略降低网络复杂度以适应高分辨率、实时的监控需求，
Luo等提出了将图像向U、V方向投影累加，认为在压缩图像中烟轨迹在倾向、形状、频率、聚合等方面与非烟目标都不相同。但是用传统方法检测这些特性比较困难，但是循环神经网络却能够比较好地分析这些时序特性。因此，本发明提出基于时间压缩特征的循环神经网络抽取动态特性，用卷积神经网络抽取的静态特征，再结合静、动态特征判断是否存在烟。但是这样的网络非常大，运动缓慢，因此本发明首先将场景图像分块，每块单独抽取静态特征和运动特征，再把两种特征按空间位置聚合成概率矩阵，最后采用卷积神经网络判断概率矩阵中是否发生火灾，是否需要发出火灾预警。
如图2，示出本发明实施例一种基于分块的轻便网络的烟检测方法的总体流程示意图，包括：
S1,将待检测视频中每帧图像分成多个子图像；
S2,将各子图像在U、V方向投影，得到各子图像对应u-t和v-t方向的两个向量；将各子图像对应u-t和v-t方向的两个向量以及所述各子图像之前连续n帧子图像对应u-t和v-t方向的两个向量，分别输入两个预先构建的循环神经网络，分别输出各子图像在u-t和v-t方向的动态特征向量；
S3,将各子图像输入预先构建的卷积神经网络，输出得到各子图像的静态特征向量；
S4,将各子图像在u-t和v-t方向的动态特征向量、和待检测图像的静态特征向量合并成各子图像对应的单个特征向量；基于各子图像对应的单个特征向量，获得各子图像中存在烟的概率；将各子图像中存在烟的概率按在对应帧图像中的位置，聚合获得待检测视频中每帧图像中包含烟的概率矩阵；
S5,将待检测视频中各帧图像中包含烟的概率矩阵以及所述各子图像之前连续n帧子图像对应的概率矩阵，输入预先构建的烟综合判断网络，输出待检测视频中包含烟的概率；其中，预先构建的烟综合判断网络依次包含两个并列设置的RNN网络、一个全连接层和一个softmax层。
具体的，本发明实施例具有如下创新点：首先，将图像分块，这样进入深度网络的就不是整个图像而是一部分块，网络变小，运行更快；其次，抽取动态特征时，不是输入连续的帧，而是先把各帧向水平和垂直方向投影，累加成两张压缩图像，这样降低了网络的维度，运行更快，对微小变化更敏感；最后，采用了两阶段的网络，第一阶段针对各块，第一阶段把块变成点，分析整个场景中烟的升腾、扩展运动，能够更准确地从场景中辨别出烟。
在本发明上述任一具体实施例的基础上，提供一种基于分块的轻便网络的烟检测方法，预先构建的循环神经网络包括依次先后设置的两个LSTM单元；所述预先构建的循环神经网络后连接两个全连接层。
在本发明上述任一具体实施例的基础上，提供一种基于分块的轻便网络的烟检测方法，预先构建的卷积神经网络包括依次先后设置的三个卷积层，每个卷积层后接一个下采样层。
在本发明上述任一具体实施例的基础上，提供一种基于分块的轻便网络的烟检测方法，基于各子图像对应的单个特征向量，获得待检测视频中每帧图像中包含烟的概率矩阵，包括：
将各子图像对应的单个特征向量输入softmax层，输出得到各子图像包含烟的概率；
基于各子图像在对应帧图像中的位置，重新聚合获得概率矩阵。
在本发明上述任一具体实施例的基础上，提供一种基于分块的轻便网络的烟检测方法，预先构建的烟综合判断网络中包含的两个RNN网络中各依次包含单层LSTM和两个全连接层。
在本发明上述任一具体实施例的基础上，提供一种基于分块的轻便网络的烟检测方法的具体实施例，所述方法分为六个步骤。
第一个步骤，分块。将待检测视频中每帧图像分块，提高对场景中烟的分辨能力。将视频的当前帧It(2560x1440x3)分成40x22块，每块大小为64x64。
第二个步骤，投影压缩。将各个图像块分别向U、V方向累加，得到u-t、v-t两个64x3向量。在压缩图像中烟轨迹如图3所示，具有与其它非烟目标截然不同的特性。
第三个步骤，抽取运动特征。将当前图像块对应的两个64x3向量及此图像块前15帧的向量分别输入两个循环神经网络，因此输入层是192维的向量。循环神经网络采用了双层LSTM结构，每个LSTM单元有256个神经元，用输入门、遗忘门和输出门控制输出信息和状态信息的流向，如图4所示。循环神经网络输出16维的特征向量，然后通过2个全连接层连接16个单元，最后输出成16维的运动特征向量，如图5所示。
第四个步骤，抽取静态特征。静态特征抽取网络有3个卷积层和2个全连接层。第一个卷积层的卷积核为12x3x3x3，输出31x31x12；第二个卷积层的卷积核为18x3x3x12，跨度为2，padding为1，输出8x8x18；第三个卷积层的卷积核为24x3x3x18，输出3x3x24；第一个全连接层输出一个216维的向量；第二个全连接层输出一个48维的向量。每个卷积层后接2x2的Max pooling下采样层，如图6所示。
第五个步骤，聚合特征。将动态特征，包括hut和hvt，和静态特征，合成一个96维的特征向量，通过softmax层，输出发生烟的概率ps。将每个块按位置重新聚合成40x22的概率矩阵，矩阵中的每个元素都是此位置发生烟的概率。
第六个步骤，场合综合判断网络。有些烟的近似对象，例如反光、雾，许多动静态特性与烟十分近似，但就升腾、扩展特性与烟不同。初始阶段的烟往往发生在场景中一块，由于具有升腾、扩展特性会逐渐出现在其它块。反光就不具有这种升腾、扩展的时空特性；雾开始时就布满整个场景。因此在整个场景检测升腾、扩展特性准确区别烟和非烟的一个关键步骤。升腾、扩展的时空特性不能从单一块中检测，而需要从整个场景中分析。
场景综合判断网络的网络结构如图7所示，包括两个RNN网络，分别SDCN1和SDCN2。SDCN1和SDCN2都是由单层的LSTM构成。和DCN一样，将概率矩阵向水平和垂直两个方向投影，累加成向量，然后取当前帧及前15帧的累加向量作为SDCN的输入。SDCN1的输入为16x40，SDCN2的输入为16x22。SDCN1的LSTM单元中包括64个隐层神经元，输出16x16维的向量，再经过两个全连接层，分别输出256维和12维的向量。SDCN1的LSTM单元中包括64个隐层神经元，输出16x16维的向量，再经过两个全连接层，分别输出256维和12维的向量。SDCN2的LSTM单元中包括56个隐层神经元，输出16x12维的向量，再经过两个全连接层，分别输出192维和12维的向量。SDCN1和SDCN2的输出向量，再经过1个全连接层，输出24维的向量。这24维的向量，再经过softmax层后，输出2维的概率，表示场景中是否包含烟。
如图8，示出本发明实施例一种基于分块的轻便网络的烟检测装置的总体框架示意图，包括：
分割模块A1，用于将待检测视频中每帧图像分成多个子图像；
动态特征获取模块A2，用于将各子图像在U、V方向投影，得到各子图像对应u-t和v-t方向的两个向量；将各子图像对应u-t和v-t方向的两个向量以及所述各子图像之前连续n帧子图像对应u-t和v-t方向的两个向量，分别输入两个预先构建的循环神经网络，分别输出各子图像在u-t和v-t方向的动态特征向量；
静态特征获取模块A3，用于将各子图像输入预先构建的卷积神经网络，输出得到各子图像的静态特征向量；
概率矩阵获取模块A4，用于将各子图像在u-t和v-t方向的动态特征向量、和待检测图像的静态特征向量合并成各子图像对应的单个特征向量；基于各子图像对应的单个特征向量，获得各子图像中存在烟的概率；将各子图像中存在烟的概率按在对应帧图像中的位置，聚合获得待检测视频中每帧图像中包含烟的概率矩阵；
检测模块A5，用于将待检测视频中各帧图像中包含烟的概率矩阵以及所述各子图像之前连续n帧子图像对应的概率矩阵，输入预先构建的烟综合判断网络，输出待检测视频中包含烟的概率；其中，预先构建的烟综合判断网络依次包含两个并列设置的RNN网络、一个全连接层和一个softmax层。
在本发明上述任一具体实施例的基础上，提供一种基于分块的轻便网络的烟检测装置，预先构建的循环神经网络包括依次先后设置的两个LSTM单元；所述预先构建的循环神经网络后连接两个全连接层。
在本发明上述任一具体实施例的基础上，提供一种基于分块的轻便网络的烟检测装置，预先构建的卷积神经网络包括依次先后设置的三个卷积层，每个卷积层后接一个下采样层。
在本发明上述任一具体实施例的基础上，提供一种基于分块的轻便网络的烟检测装置，概率矩阵获取模块，进一步用于：
将各子图像对应的单个特征向量输入softmax层，输出得到各子图像包含烟的概率；
基于各子图像在对应帧图像中的位置，重新聚合获得概率矩阵。
在本发明上述任一具体实施例的基础上，提供一种基于分块的轻便网络的烟检测装置，预先构建的烟综合判断网络中包含的两个RNN网络中各依次包含单层LSTM和两个全连接层。
在本发明上述任一具体实施例的基础上，提供一种执行基于分块的轻便网络的烟检测方法的电子设备，包括：至少一个处理器；以及与处理器通信连接的至少一个存储器，其中图9是本发明实施例提供的电子设备的结构框图，包括：处理器(processor)910、存储器(memory)920和总线930，其中，处理器910，存储器920通过总线930完成相互间的通信。处理器910可以调用存储器920中的逻辑指令，以执行如下方法：将待检测视频中每帧图像分成多个子图像；将各子图像在U、V方向投影，得到各子图像对应u-t和v-t方向的两个向量；将各子图像对应u-t和v-t方向的两个向量以及所述各子图像之前连续n帧子图像对应u-t和v-t方向的两个向量，分别输入两个预先构建的循环神经网络，分别输出各子图像在u-t和v-t方向的动态特征向量；将各子图像输入预先构建的卷积神经网络，输出得到各子图像的静态特征向量；将各子图像在u-t和v-t方向的动态特征向量、和待检测图像的静态特征向量合并成各子图像对应的单个特征向量；基于各子图像对应的单个特征向量，获得各子图像中存在烟的概率；将各子图像中存在烟的概率按在对应帧图像中的位置，聚合获得待检测视频中每帧图像中包含烟的概率矩阵；将待检测视频中各帧图像中包含烟的概率矩阵以及所述各子图像之前连续n帧子图像对应的概率矩阵，输入预先构建的烟综合判断网络，输出待检测视频中包含烟的概率；其中，预先构建的烟综合判断网络依次包含两个并列设置的RNN网络、一个全连接层和一个softmax层。
本发明实施例公开一种计算机程序产品，计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：将待检测视频中每帧图像分成多个子图像；将各子图像在U、V方向投影，得到各子图像对应u-t和v-t方向的两个向量；将各子图像对应u-t和v-t方向的两个向量以及所述各子图像之前连续n帧子图像对应u-t和v-t方向的两个向量，分别输入两个预先构建的循环神经网络，分别输出各子图像在u-t和v-t方向的动态特征向量；将各子图像输入预先构建的卷积神经网络，输出得到各子图像的静态特征向量；将各子图像在u-t和v-t方向的动态特征向量、和待检测图像的静态特征向量合并成各子图像对应的单个特征向量；基于各子图像对应的单个特征向量，获得各子图像中存在烟的概率；将各子图像中存在烟的概率按在对应帧图像中的位置，聚合获得待检测视频中每帧图像中包含烟的概率矩阵；将待检测视频中各帧图像中包含烟的概率矩阵以及所述各子图像之前连续n帧子图像对应的概率矩阵，输入预先构建的烟综合判断网络，输出待检测视频中包含烟的概率；其中，预先构建的烟综合判断网络依次包含两个并列设置的RNN网络、一个全连接层和一个softmax层。
本发明实施例提供一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行上述各方法实施例所提供的方法，例如包括：将待检测视频中每帧图像分成多个子图像；将各子图像在U、V方向投影，得到各子图像对应u-t和v-t方向的两个向量；将各子图像对应u-t和v-t方向的两个向量以及所述各子图像之前连续n帧子图像对应u-t和v-t方向的两个向量，分别输入两个预先构建的循环神经网络，分别输出各子图像在u-t和v-t方向的动态特征向量；将各子图像输入预先构建的卷积神经网络，输出得到各子图像的静态特征向量；将各子图像在u-t和v-t方向的动态特征向量、和待检测图像的静态特征向量合并成各子图像对应的单个特征向量；基于各子图像对应的单个特征向量，获得各子图像中存在烟的概率；将各子图像中存在烟的概率按在对应帧图像中的位置，聚合获得待检测视频中每帧图像中包含烟的概率矩阵；将待检测视频中各帧图像中包含烟的概率矩阵以及所述各子图像之前连续n帧子图像对应的概率矩阵，输入预先构建的烟综合判断网络，输出待检测视频中包含烟的概率；其中，预先构建的烟综合判断网络依次包含两个并列设置的RNN网络、一个全连接层和一个softmax层。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。
本发明具有如下有益效果。
(1)简单。整个计算流程中，向U、V方向投影压缩只需要加法运算，动态特征抽取网络只处理一维的向量，静态特征抽取网络只处理分块中的小图像，而综合场景判断网络只处理低维的概率矩阵。因此整个方法十分简单，对硬件要求低，实时性高，在树莓派上也足够运行，能够在看到烟时就发出火灾警报，几乎没有延迟。
(2)准确性高。将图像向U、V方向投影累加，烟轨迹在压缩图像中倾向、形状、频率、聚合等方面与非烟目标都不相同，这种方法的准确性本来就高。由于结合了动、静态特性，同时考虑了烟在整个场景中的升腾、扩展，因此能够进一步提高检测的准确性。
(3)敏感性高。由于现实中往往是由薄烟再发展成浓烟进而产生明火，敏感性其实是专门针对薄而小的烟的准确性指标。采用分块的策略，可以将烟由薄变浓的过程以及由小变大的过程在多个块、多个时间段里检测到，提高了算法的敏感性。
(4)降低了对数据样本的要求。目前用深度神经网络检测视频烟的研究尚浅，公开发表的相关论文数量极少。这可能是由于深度学习需要大量的训练样本和大量的标注工作，使得此项研究的门槛比较高。但是在本发明的算法里，本发明把原始图像分割成块，可以从少量视频中切割大量的样本，因此降低了对样本数量的要求。
最后，本申请说明书中详述的方法和装置仅为较佳的实施方案，并非用于限定本发明实施例的保护范围。凡在本发明实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。

Claims (5)

1.一种烟雾检测装置，其特征在于，包括分割模块、动态特征获取模块、静态特征获取模块、概率矩阵获取模块和检测模块：
分割模块，用于将待检测视频中每帧图像分成多个子图像；
动态特征获取模块，用于将各子图像在U、V方向投影，得到各子图像对应u-t和v-t方向的两个向量；将各子图像对应u-t和v-t方向的两个向量以及所述各子图像之前连续n帧子图像对应u-t和v-t方向的两个向量，分别输入两个预先构建的循环神经网络，分别输出各子图像在u-t和v-t方向的动态特征向量；
静态特征获取模块，用于将各子图像输入预先构建的卷积神经网络，输出得到各子图像的静态特征向量；
概率矩阵获取模块，用于将各子图像在u-t和v-t方向的动态特征向量、和待检测图像的静态特征向量合并成各子图像对应的单个特征向量；基于各子图像对应的单个特征向量，获得各子图像中存在烟的概率；将各子图像中存在烟的概率按在对应帧图像中的位置，聚合获得待检测视频中每帧图像中包含烟的概率矩阵；
检测模块，用于将待检测视频中各帧图像中包含烟的概率矩阵以及所述各子图像之前连续n帧子图像对应的概率矩阵，输入预先构建的烟综合判断网络，输出待检测视频中包含烟的概率；其中，预先构建的烟综合判断网络依次包含两个并列设置的RNN网络、一个全连接层和一个softmax层。
2.根据权利要求1所述的装置，其特征在于，预先构建的循环神经网络包括依次先后设置的两个LSTM单元；所述预先构建的循环神经网络后连接两个全连接层。
3.根据权利要求1所述的装置，其特征在于，预先构建的卷积神经网络包括依次先后设置的三个卷积层，每个卷积层后接一个下采样层。
4.根据权利要求1所述的装置，其特征在于，概率矩阵获取模块，进一步用于：
将各子图像对应的单个特征向量输入softmax层，输出得到各子图像包含烟的概率；
基于各子图像在对应帧图像中的位置，重新聚合获得概率矩阵。
5.根据权利要求1所述的装置，其特征在于，预先构建的烟综合判断网络中包含的两个RNN网络中各依次包含单层LSTM和两个全连接层。
CN201810978487.9A 2018-08-27 2018-08-27 基于分块的轻便网络的烟检测装置 Withdrawn CN109272511A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810978487.9A CN109272511A (zh) 2018-08-27 2018-08-27 基于分块的轻便网络的烟检测装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810978487.9A CN109272511A (zh) 2018-08-27 2018-08-27 基于分块的轻便网络的烟检测装置

Publications (1)

Publication Number Publication Date
CN109272511A true CN109272511A (zh) 2019-01-25

Family

ID=65154207

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810978487.9A Withdrawn CN109272511A (zh) 2018-08-27 2018-08-27 基于分块的轻便网络的烟检测装置

Country Status (1)

Country Link
CN (1) CN109272511A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110390676A (zh) * 2019-07-26 2019-10-29 腾讯科技（深圳）有限公司 显微镜下医学染色图像的细胞检测方法、智能显微镜系统
CN111797761A (zh) * 2020-07-02 2020-10-20 温州智视科技有限公司 一种三阶段烟雾检测系统、方法及可读介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110390676A (zh) * 2019-07-26 2019-10-29 腾讯科技（深圳）有限公司 显微镜下医学染色图像的细胞检测方法、智能显微镜系统
CN111797761A (zh) * 2020-07-02 2020-10-20 温州智视科技有限公司 一种三阶段烟雾检测系统、方法及可读介质
CN111797761B (zh) * 2020-07-02 2023-05-16 温州智视科技有限公司 一种三阶段烟雾检测系统、方法及可读介质

Similar Documents

Publication Publication Date Title
Wang et al. Neuron linear transformation: Modeling the domain shift for crowd counting
CN110472627A (zh) 一种端到端的sar图像识别方法、装置及存储介质
CN107169435A (zh) 一种基于雷达仿真图像的卷积神经网络人体动作分类方法
CN110110707A (zh) 人工智能cnn、lstm神经网络动态识别系统
CN110032977A (zh) 一种基于深度学习图像火灾识别的安全预警管理系统
CN103279737B (zh) 一种基于时空兴趣点的打架行为检测方法
CN106407889A (zh) 基于光流图深度学习模型在视频中人体交互动作识别方法
CN109784293A (zh) 多类目标对象检测方法、装置、电子设备、存储介质
CN100565557C (zh) 基于粒子动态采样模型的红外人体目标跟踪系统
CN107909008A (zh) 基于多通道卷积神经网络和粒子滤波的视频目标跟踪方法
CN110826453A (zh) 一种通过提取人体关节点坐标的行为识别方法
CN113537027B (zh) 基于面部划分的人脸深度伪造检测方法及系统
CN110222604A (zh) 基于共享卷积神经网络的目标识别方法和装置
CN108846852B (zh) 基于多示例和时间序列的监控视频异常事件检测方法
CN116343330A (zh) 一种红外-可见光图像融合的异常行为识别方法
CN109902613A (zh) 一种基于迁移学习和图像增强的人体特征提取方法
CN101316371A (zh) 火焰侦测方法及装置
CN109272511A (zh) 基于分块的轻便网络的烟检测装置
CN107316024A (zh) 基于深度学习的周界报警算法
CN109190543A (zh) 基于分块的轻便网络的烟检测方法
CN114241383A (zh) 一种图像识别建筑火灾的方法及装置
CN111401209B (zh) 一种基于深度学习的动作识别方法
CN117152486A (zh) 一种基于可解释性的图像对抗样本检测方法
CN110796008A (zh) 一种基于视频图像的早期火灾检测方法
CN113065379A (zh) 融合图像质量的图像检测方法、装置、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20190125

WW01 Invention patent application withdrawn after publication