CN109376747A - 一种基于双流卷积神经网络的视频火焰检测方法 - Google Patents

一种基于双流卷积神经网络的视频火焰检测方法 Download PDF

Info

Publication number
CN109376747A
CN109376747A CN201811513628.6A CN201811513628A CN109376747A CN 109376747 A CN109376747 A CN 109376747A CN 201811513628 A CN201811513628 A CN 201811513628A CN 109376747 A CN109376747 A CN 109376747A
Authority
CN
China
Prior art keywords
convolutional neural
neural networks
double
video
flame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811513628.6A
Other languages
English (en)
Inventor
于乃功
陈玥
吕健
张勃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN201811513628.6A priority Critical patent/CN109376747A/zh
Publication of CN109376747A publication Critical patent/CN109376747A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于双流卷积神经网络的视频火焰检测方法，其主要过程为：S1：数据准备，并将训练数据集输入到双流卷积神经网络中进行训练，得到训练好的网络模型；S2：对待测视频进行级联运动特征检测和颜色特征检测的预处理，得到疑似火焰区域；S3：将得到的疑似火焰区域输入到训练好的双流卷积神经网络中进行分类识别；S4：将双流卷积神经网络识别为火焰的区域输出为最后的检测结果。本发明通过疑似火焰区域的提取高效地处理掉视频中大部分非火焰区域，减少了时间复杂度；通过使用双流卷积神经网络，结合了视频火焰的运动信息，并加入时空金字塔池化层提供更鲁棒的时空特征，提高了检测精度。

Description

一种基于双流卷积神经网络的视频火焰检测方法
技术领域
本发明涉及视频图像检测领域，尤其是涉及了一种基于双流卷积网络的视频火焰检测方法。
背景技术
火推动人类从弱小到强大的进程，给予人类光明、安全和温暖。但是，火灾也给社会和生活带来了巨大的危害和损失。火灾的发生具有不确定性，这给火焰的预防检测造成了困难，尤其是在复杂的环境下，如何及时发现火情更是一个棘手的问题。传统的基于传感器的火焰检测技术有探测范围小、可靠度低、速度慢的缺点。近年来基于计算机视觉的火焰视频图像检测技术针对性地克服了传统火焰检测技术的主要弱点，使得可视化火焰检测技术能结合火焰的大量动静态特征，极大的加强了火焰识别的可靠性和实时性，对火灾的检测和预防具有重要的突破。
现有的视频火焰检测方法所针对的特征通常划分为三类：颜色特征、动态特征、形态特征。而用于火焰检测算法所提取的颜色、运动和形态等特征均为人工定义，因此具有一定的局限性，并不能表示出图像的隐含信息，这也是众多特征提取方法存在的普遍问题。近年来深度学习快速发展，基于卷积神经网络(convolutional neural networks,CNN)的深度学习在图像处理和分类识别中表现出了强大的鉴别力。卷积神经网络通常以原始图像数据作为输入，通过卷积层中的卷积核对输入进行数学运算生成特征，不需要手动地提取特征，只需设计好卷积核的尺寸、数量和滑动步长就可以自动的从训练数据中学习特征，所以考虑将卷积神经网络应用于火焰检测中。
深圳市瀚晖威视科技有限公司申请的专利“一种基于CNN卷积神经网络的图像火焰识别系统”(专利申请号CN201710148649.1，公开号CN106934404A)中公开了一种基于CNN卷积神经网络的图像火焰识别系统。该专利用于识别火焰的CNN神经网络包括3个CNN子网络，3个CNN子网络的输入数据分别为大小为m×n的RGB图像分解为R、G和B的三个通道数据，最后由3个子网络的输出加权求和得到最终的输出结果。该专利申请公开的方法存在的不足是：CNN网络的输入是静态图像，而火焰会不停的抖动和变化，该方法没有考虑到视频火焰的动态信息。
发明内容
本发明的目的在于提供了一种基于双流卷积神经网络的视频火焰检测方法，针对基于深度学习的火焰检测方法没有结合视频运动信息的问题，通过使用双流卷积神经网络，在对视频单帧图像静态特征识别的同时，加入了对视频连续多帧图像的光流序列进行分析，将二者进行融合以此提高识别和检测效果。
为实现上述目的，本发明采用的技术方案为一种基于双流卷积神经网络的视频火焰检测方法，该方法是按以下步骤实现的；
S1：数据准备，并将训练数据集输入到双流卷积神经网络中进行训练，得到训练好的网络模型；
本步骤用于训练网络模型。
S2：对待测视频进行级联运动特征检测和颜色特征检测的预处理，得到疑似火焰区域；
本步骤用于对待测视频进行预处理。
S3：将得到的疑似火焰区域输入到训练好的双流卷积神经网络中进行分类识别；
本步骤用于利用步骤1中训练好的网络模型对预处理后的待测视频进行分类识别。
S4：将双流卷积神经网络识别为火焰的区域输出为最后的检测结果。
本步骤用于对分类识别后的结果进行平均得到最终检测结果。
所述S1的具体步骤包括：
S1.1数据集的准备
所使用数据集由RGB图像和动态视频组成，数据集即为训练数据集；
S1.2网络模型的构建
所述的双流卷积神经网络是由空间卷积神经网络和时间卷积神经网络并行组成，空间卷积神经网络和时间卷积神经网络的网络结构相同，包括5个卷积层C1-C5，2个下采样层M1、M2，1个时空金字塔池化层P，2个全连接层F1、F2，1个Softmax层组成，连接关系为：C1、M1、C2、M2、C3、C4、C5、P、F1、F2、Softmax层；
空间卷积神经网络用于学习图像帧的视觉信息，使用RGB图像作为输入；时间卷积神经网络用于学习帧间的运动信息，使用堆叠的光流图像作为输入。
S1.3神经网络的训练
用训练数据集中的静态RGB图像训练空间卷积神经网络，用动态视频训练时间卷积神经网络；两个网络在训练时均采用批量随机梯度下降方法，逐步降低学习率，当训练的损失不再下降时结束训练，得到训练好的模型。
所述的各网络层的激活函数选用ReLU函数。
第一层卷积层C1，卷积核大小为7×7，步长为2，神经元个数为96；
第一层下采样层M1采用Maxpooling的方式，核大小为2×2；
第二层卷积层C2，卷积核大小为5×5，步长为2，神经元个数为256；
第二层下采样层M2采用Maxpooling的方式，核大小为2×2；
三层卷积层C3、C4、C5卷积核均取3×3，步长均取1，神经元个数均取512；
时空金字塔池化层P采用3层时空金字塔结构；
所述的3层时空金字塔结构，每层的池化尺寸依次为1×1，2×2，4×4。
所述的两层全连接层F1、F2，其中F1设置4096个神经元，F2设置2048个神经元；为了防止网络模型过拟合，在两个全连接层均添加了dropout层。
所述S2中预处理的具体步骤包括：
S2.1对待测视频采用Vibe算法进行运动特征检测；
S2.2对经过运动特征检测得到的区域再进行颜色特征检测，得到疑似火焰区域；其中，颜色特征检测在使用RGB颜色模型判据基础上，添加HIS颜色模型约束条件，检测出火焰对应像素的区域，具体条件如下：
R≥G≥B
R≥RT
S≥((255-RT)*ST/RT)
其中R、G、B分别表示像素的红色、绿色、蓝色分量，S表示饱和度，RT是红色分量阈值，ST是饱和度阈值。
所述S3中的双流卷积神经网络即S1中训练好的双流卷积神经网络模型，待测视频经过S2得到疑似火焰区域，将每一个疑似火焰区域图像输入到空间卷积神经网络中进行分类识别，同时求出每一个疑似火焰区域及过去连续帧中相应位置的光流序列，将光流序列输入到时间卷积神经网络中进行分类识别。
所述S4中两个卷积神经网络分别具有一个Softmax输出，将这两路Softmax层的输出求平均值，得到疑似火焰区域的识别结果，将识别结果为火焰的区域输出作为最后的检测结果。
有益效果：
(1)采用双流卷积神经网络进行视频火焰的检测，有效地结合了视频的静态信息和动态信息，提高了火焰识别和检测的效果；
(2)在检测时通过疑似火焰区域的预处理高效地处理掉视频中大部分非火焰区域，减少了时间复杂度；
(3)预处理之后得到的疑似区域可能大小不一，采用裁剪或缩放的方式会损失图像部分特征和扭曲图像，在一定程度上降低识别和检测的准确率。通过在双流卷积神经网络中加入时空金字塔池化层，使网络的输入不需要考虑图像尺寸的大小，都可以得到固定大小的输出以输入到全连接层，提高火焰识别和检测的性能。
附图说明
图1是基于双流卷积神经网络的视频火焰检测方法的步骤流程示意图；
图2是基于双流卷积神经网络的视频火焰检测方法的火焰数据集示意图；
图3是双流卷积神经网络结构示意图；
图4是Vibe算法背景模型示意图；
图5是对待测视频进行检测的流程示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步详细说明。
图1是基于双流卷积神经网络的视频火焰检测方法的主要步骤流程示意图，具体实施方案是：
S1：数据准备，并将训练数据集输入到双流卷积神经网络中进行训练，得到训练好的网络模型；
具体步骤包括：
S1.1数据集的准备
图2是基于双流卷积神经网络的视频火焰检测方法的火焰数据集示意图，所使用数据集由自己收集的4000张RGB图像和400个动态视频组成；数据集即为训练数据集，训练数据集包括RGB图像和动态视频。
S1.2网络模型的构建
图3是双流卷积神经网络结构示意图，所述的双流卷积神经网络是由空间卷积神经网络和时间卷积神经网络并行组成，其中空间卷积神经网络用于学习图像帧的视觉信息，使用RGB图像作为输入，输入维数是3通道；时间卷积神经网络用于学习帧间的运动信息，使用通过动态视频得出的堆叠光流图像作为输入；光流堆叠相当于是将一个稠密光流看做是在t时刻和t+1时刻连续两帧的位移矢量场dt的集合，用dt(u,v)表示点(u,v)从t时刻到t+1时刻的位移矢量，和分别表示水平和垂直方向上的分量；为了表示一个帧序列的运动，我们堆叠连续L帧的和可以形成通道为2L的输入通道；我们将w,h表示为输入的宽度和高度，则对于任意帧τ的时间卷积神经网络的输入Iτ∈Rw×h×2L表示如下：
其中u∈[1,w],v∈[1,h],k∈[1,L]。对任意点(u,v)，通道Iτ(u,v,c)，c∈[1,2L]表示L帧序列光流的堆叠。
空间卷积神经网络和时间卷积神经网络的网络结构相同，包括5个卷积层C1-C5，2个下采样层M1、M2，1个时空金字塔池化层P，2个全连接层F1、F2，1个Softmax层组成，连接关系为：C1、M1、C2、M2、C3、C4、C5、P、F1、F2、Softmax层；
第一层卷积层C1，卷积核大小为7×7，步长为2，神经元个数为96；
第一层下采样层M1采用Maxpooling的方式，核大小为2×2；
第二层卷积层C2，卷积核大小为5×5，步长为2，神经元个数为256；
第二层下采样层M2采用Maxpooling的方式，核大小为2×2；
三层卷积层C3、C4、C5卷积核均取3×3，步长均取1，神经元个数均取512；
时空金字塔池化层P采用3层时空金字塔结构；
所述的3层时空金字塔结构，每层的池化尺寸依次为1×1，2×2，4×4，对得到的每个局部区域用最大池化方法计算出该区域的最大值，从而获取特征图在不同尺度下的局部时空信息。
所述的两层全连接层F1、F2，其中F1设置4096个神经元，F2设置2048个神经元；为了防止网络模型过拟合，在两个全连接层均添加了dropout层。
所述的各网络层的激活函数选用ReLU函数。
S1.3神经网络的训练
用训练数据集中的静态RGB图像训练空间卷积神经网络，用动态视频训练时间卷积神经网络；两个网络在训练时均采用批量随机梯度下降方法，以64个样本为一个小批块，初始学习率设置为0.01，运动量参数设置为0.9；采用交叉熵函数作为训练过程的损失函数，逐步降低学习率，当训练的损失不再下降时结束训练，得到训练好的模型。
S2：对待测视频进行级联运动特征检测和颜色特征检测的预处理，得到疑似火焰区域；
具体步骤包括：
S2.1对待测视频采用Vibe算法进行运动特征检测；
Vibe是一种像素级的背景建模、前景检测算法，随机选择需要替换的像素的样本，随机选择邻域像素进行更新。图4是Vibe算法背景模型示意图，背景模型为每个像素点p(x)存储了一个包含N个样本的背景模型：p1,p2,...,pN，空心圆点pt(x)表示当前位置x的待分类像素点。SR(pt(x))表示以pt(x)为中心，R为半径的球体，用SR(pt(x))来表示像素点pt(x)所允许的差异度范围。计算新像素值和样本集中每个样本值的距离，若距离小于阈值R，则近似样本点数目增加，如果近似样本点数目大于阈值M，则认为新的像素点为背景。背景模型是按一定的更新率来更新的，当一个像素点被判定为背景时，它有1/rate的概率更新背景模型；具体实现时，样本集数目N取20，阈值M取2，距离相近判定的阈值R取20，时间采样因子rate取16。
用上述Vibe算法对视频中的图像序列进行运动特征检测，获取到运动目标的前景区域，之后进行中值滤波处理，去除噪声，再对图像进行数学形态学的膨胀处理扩展前景区域，找到运动目标前景区域的边缘轮廓线，根据边缘轮廓找到区域的最小外接矩形，合并任意两个矩形的中心连线与垂直方向夹角小于阈值θ且垂直距离也小于阈值d的矩形(具体θ和d取值由实际的场景来决定，一般设置为两个常数)，获取到包含完整运动目标的矩形框区域。
S2.2对经过运动特征检测得到的区域再进行颜色特征检测，通过将区域图像分为RGB三个通道，计算是否有像素满足颜色特征检测设定的条件，如满足条件的像素占比超过30％，则判断该区域为疑似火焰区域。颜色特征检测考虑到单一颜色模型的判据准确性不够高，在RGB判据基础上，添加HIS约束条件，再设定合适的阈值条件，检测出火焰对应像素的区域，具体条件如下：
R≥G≥B
R≥RT
S≥((255-RT)*ST/RT)
其中R、G、B分别表示像素的红色、绿色、蓝色分量，S表示饱和度，RT是红色分量阈值，一般取值为115～135，具体实验时取值为123；ST是饱和度阈值，一般取值为55～65，具体实验时取值为62。
S3：将得到的疑似火焰区域输入到训练好的双流卷积神经网络中进行分类识别；
所述S3中的双流卷积神经网络即S1中训练好的双流卷积神经网络模型，图5是对待测视频进行检测的流程示意图，待测视频经过S2得到疑似火焰区域，将每一个疑似火焰区域图像输入到空间卷积神经网络中进行分类识别，同时求出每一个疑似火焰区域及过去连续帧中相应位置的光流序列，将光流序列输入到时间卷积神经网络中进行分类识别。
S4：将双流卷积神经网络识别为火焰的区域输出为最后的检测结果。
所述S4中两个卷积神经网络分别具有一个Softmax输出，将这两路Softmax层的输出求平均值，得到疑似火焰区域的识别结果，将识别结果为火焰的区域输出作为最后的检测结果。
对于本领域技术人员,本发明不限制于上述实施例的细节,在不背离本发明的精神和范围的情况下,能够以其他具体形式实现本发明。此外,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围,这些改进和变型也应视为本发明的保护范围。因此,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (9)

1.一种基于双流卷积神经网络的视频火焰检测方法，其特征在于：该方法是按以下步骤实现的；
S1：数据准备，并将训练数据集输入到双流卷积神经网络中进行训练，得到训练好的网络模型；
S2：对待测视频进行级联运动特征检测和颜色特征检测的预处理，得到疑似火焰区域；
S3：将得到的疑似火焰区域输入到训练好的双流卷积神经网络中进行分类识别；
S4：将双流卷积神经网络识别为火焰的区域输出为最后的检测结果。
2.根据权利要求1中所述的一种基于双流卷积神经网络的视频火焰检测方法，其特征在于，所述S1的具体步骤包括：
S1.1数据集的准备
所使用数据集由RGB图像和动态视频组成，数据集即为训练数据集；
S1.2网络模型的构建
所述的双流卷积神经网络是由空间卷积神经网络和时间卷积神经网络并行组成，空间卷积神经网络和时间卷积神经网络的网络结构相同，包括5个卷积层C1-C5，2个下采样层M1、M2，1个时空金字塔池化层P，2个全连接层F1、F2，1个Softmax层组成，连接关系为：C1、M1、C2、M2、C3、C4、C5、P、F1、F2、Softmax层；
空间卷积神经网络用于学习图像帧的视觉信息，使用RGB图像作为输入；时间卷积神经网络用于学习帧间的运动信息，使用堆叠的光流图像作为输入。
S1.3神经网络的训练
用训练数据集中的静态RGB图像训练空间卷积神经网络，用动态视频训练时间卷积神经网络；两个网络在训练时均采用批量随机梯度下降方法，逐步降低学习率，当训练的损失不再下降时结束训练，得到训练好的模型。
3.根据权利要求2所述的一种基于双流卷积神经网络的视频火焰检测方法，其特征在于：所述的各网络层的激活函数选用ReLU函数。
4.根据权利要求2所述的一种基于双流卷积神经网络的视频火焰检测方法，其特征在于：
第一层卷积层C1，卷积核大小为7×7，步长为2，神经元个数为96；
第一层下采样层M1采用Maxpooling的方式，核大小为2×2；
第二层卷积层C2，卷积核大小为5×5，步长为2，神经元个数为256；
第二层下采样层M2采用Max pooling的方式，核大小为2×2；
三层卷积层C3、C4、C5卷积核均取3×3，步长均取1，神经元个数均取512；
时空金字塔池化层P采用3层时空金字塔结构。
5.根据权利要求4所述的一种基于双流卷积神经网络的视频火焰检测方法，其特征在于：所述的3层时空金字塔结构，每层的池化尺寸依次为1×1，2×2，4×4。
6.根据权利要求2所述的一种基于双流卷积神经网络的视频火焰检测方法，其特征在于：所述的两层全连接层F1、F2，其中F1设置4096个神经元，F2设置2048个神经元；为了防止网络模型过拟合，在两个全连接层均添加了dropout层。
7.根据权利要求1中所述的一种基于双流卷积神经网络的视频火焰检测方法，其特征在于，所述S2中预处理的具体步骤包括：
S2.1对待测视频采用Vibe算法进行运动特征检测；
S2.2对经过运动特征检测得到的区域再进行颜色特征检测，得到疑似火焰区域；其中，颜色特征检测在使用RGB颜色模型判据基础上，添加HIS颜色模型约束条件，检测出火焰对应像素的区域，具体条件如下：
R≥G≥B
R≥RT
S≥((255-RT)*ST/RT)
其中R、G、B分别表示像素的红色、绿色、蓝色分量，S表示饱和度，RT是红色分量阈值，ST是饱和度阈值。
8.根据权利要求1中所述的一种基于双流卷积神经网络的视频火焰检测方法，其特征在于，所述S3中的双流卷积神经网络即S1中训练好的双流卷积神经网络模型，待测视频经过S2得到疑似火焰区域，将每一个疑似火焰区域图像输入到空间卷积神经网络中进行分类识别，同时求出每一个疑似火焰区域及过去连续帧中相应位置的光流序列，将光流序列输入到时间卷积神经网络中进行分类识别。
9.根据权利要求1中所述的一种基于双流卷积神经网络的视频火焰检测方法，其特征在于，所述S4中两个卷积神经网络分别具有一个Softmax输出，将这两路Softmax层的输出求平均值，得到疑似火焰区域的识别结果，将识别结果为火焰的区域输出作为最后的检测结果。
CN201811513628.6A 2018-12-11 2018-12-11 一种基于双流卷积神经网络的视频火焰检测方法 Pending CN109376747A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811513628.6A CN109376747A (zh) 2018-12-11 2018-12-11 一种基于双流卷积神经网络的视频火焰检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811513628.6A CN109376747A (zh) 2018-12-11 2018-12-11 一种基于双流卷积神经网络的视频火焰检测方法

Publications (1)

Publication Number Publication Date
CN109376747A true CN109376747A (zh) 2019-02-22

Family

ID=65373935

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811513628.6A Pending CN109376747A (zh) 2018-12-11 2018-12-11 一种基于双流卷积神经网络的视频火焰检测方法

Country Status (1)

Country Link
CN (1) CN109376747A (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110046625A (zh) * 2019-03-29 2019-07-23 温州大学 识别烟雾的卷积神经网络
CN110059588A (zh) * 2019-03-29 2019-07-26 温州大学 识别烟雾的卷积神经网络的训练方法
CN110115819A (zh) * 2019-05-14 2019-08-13 上海荷福人工智能科技（集团）有限公司 基于人工智能的消防水炮定向预警及灭火方法、存储介质和消防水炮
CN110135269A (zh) * 2019-04-18 2019-08-16 杭州电子科技大学 一种基于混合颜色模型与神经网络的火灾图像检测方法
CN110378208A (zh) * 2019-06-11 2019-10-25 杭州电子科技大学 一种基于深度残差网络的行为识别方法
CN110633675A (zh) * 2019-09-18 2019-12-31 东北大学 一种基于卷积神经网络的视频中火灾识别系统及方法
CN110688898A (zh) * 2019-08-26 2020-01-14 东华大学 基于时空双流卷积神经网络的跨视角步态识别方法
CN110717419A (zh) * 2019-09-25 2020-01-21 浙江万胜智能科技股份有限公司 一种从视频图像中提取火焰特征的方法
CN110751089A (zh) * 2019-10-18 2020-02-04 南京林业大学 基于数字图像和卷积特征的火焰目标检测方法
CN110765937A (zh) * 2019-10-22 2020-02-07 新疆天业（集团）有限公司 一种基于迁移学习的煤场自燃检测方法
CN111353412A (zh) * 2020-02-25 2020-06-30 河南理工大学 端到端的3D-CapsNet火焰检测方法及装置
CN112001375A (zh) * 2020-10-29 2020-11-27 成都睿沿科技有限公司 一种火焰检测方法、装置、电子设备及存储介质
CN112674998A (zh) * 2020-12-23 2021-04-20 北京工业大学 基于快速深度神经网络和移动智能设备的盲人交通路口辅助方法
CN112906516A (zh) * 2021-02-04 2021-06-04 四川望村网络科技有限公司 一种基于深度学习的暴力行为识别方法,存储装置及服务器
CN113255464A (zh) * 2021-04-30 2021-08-13 北京中电联达信息技术有限公司 一种飞机动作识别方法及系统
CN113642429A (zh) * 2021-07-29 2021-11-12 海南大学 一种基于tpp-tccnn的海洋鱼类识别方法
CN113688748A (zh) * 2021-08-27 2021-11-23 武汉大千信息技术有限公司 一种火灾检测的模型及方法
CN113780136A (zh) * 2021-08-31 2021-12-10 中国科学技术大学先进技术研究院 基于时空纹理识别的VOCs气体泄漏检测方法、系统及设备
CN114500879A (zh) * 2022-02-09 2022-05-13 腾讯科技（深圳）有限公司 视频数据处理方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100073477A1 (en) * 2007-01-16 2010-03-25 Utc Fire & Security Corporation System and method for video detection of smoke and flame
CN106250845A (zh) * 2016-07-28 2016-12-21 北京智芯原动科技有限公司 基于卷积神经网络的火焰检测方法及装置
CN106815579A (zh) * 2017-01-22 2017-06-09 深圳市唯特视科技有限公司 一种基于多区域双流卷积神经网络模型的动作检测方法
CN106897714A (zh) * 2017-03-23 2017-06-27 北京大学深圳研究生院 一种基于卷积神经网络的视频动作检测方法
CN106934404A (zh) * 2017-03-10 2017-07-07 深圳市瀚晖威视科技有限公司 一种基于cnn卷积神经网络的图像火焰识别系统
CN108416266A (zh) * 2018-01-30 2018-08-17 同济大学 一种利用光流提取运动目标的视频行为快速识别方法
CN108664922A (zh) * 2018-05-10 2018-10-16 东华大学 一种基于人身安全的红外视频人体行为识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100073477A1 (en) * 2007-01-16 2010-03-25 Utc Fire & Security Corporation System and method for video detection of smoke and flame
CN106250845A (zh) * 2016-07-28 2016-12-21 北京智芯原动科技有限公司 基于卷积神经网络的火焰检测方法及装置
CN106815579A (zh) * 2017-01-22 2017-06-09 深圳市唯特视科技有限公司 一种基于多区域双流卷积神经网络模型的动作检测方法
CN106934404A (zh) * 2017-03-10 2017-07-07 深圳市瀚晖威视科技有限公司 一种基于cnn卷积神经网络的图像火焰识别系统
CN106897714A (zh) * 2017-03-23 2017-06-27 北京大学深圳研究生院 一种基于卷积神经网络的视频动作检测方法
CN108416266A (zh) * 2018-01-30 2018-08-17 同济大学 一种利用光流提取运动目标的视频行为快速识别方法
CN108664922A (zh) * 2018-05-10 2018-10-16 东华大学 一种基于人身安全的红外视频人体行为识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
严云洋 等: "基于Faster R-CNN模型的火焰检测", 《南京师大学报(自然科学版)》 *
张怡佳 等: "基于双流卷积神经网络的改进人体行为识别算法", 《计算机测量与控制》 *
李世林 等: "基于计算机视觉的火灾识别方法研究", 《甘肃科技》 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110046625A (zh) * 2019-03-29 2019-07-23 温州大学 识别烟雾的卷积神经网络
CN110059588A (zh) * 2019-03-29 2019-07-26 温州大学 识别烟雾的卷积神经网络的训练方法
CN110135269A (zh) * 2019-04-18 2019-08-16 杭州电子科技大学 一种基于混合颜色模型与神经网络的火灾图像检测方法
CN110115819A (zh) * 2019-05-14 2019-08-13 上海荷福人工智能科技（集团）有限公司 基于人工智能的消防水炮定向预警及灭火方法、存储介质和消防水炮
CN110378208A (zh) * 2019-06-11 2019-10-25 杭州电子科技大学 一种基于深度残差网络的行为识别方法
CN110688898A (zh) * 2019-08-26 2020-01-14 东华大学 基于时空双流卷积神经网络的跨视角步态识别方法
CN110633675A (zh) * 2019-09-18 2019-12-31 东北大学 一种基于卷积神经网络的视频中火灾识别系统及方法
CN110717419A (zh) * 2019-09-25 2020-01-21 浙江万胜智能科技股份有限公司 一种从视频图像中提取火焰特征的方法
CN110751089A (zh) * 2019-10-18 2020-02-04 南京林业大学 基于数字图像和卷积特征的火焰目标检测方法
CN110765937A (zh) * 2019-10-22 2020-02-07 新疆天业（集团）有限公司 一种基于迁移学习的煤场自燃检测方法
CN111353412B (zh) * 2020-02-25 2023-03-24 河南理工大学 端到端的3D-CapsNet火焰检测方法及装置
CN111353412A (zh) * 2020-02-25 2020-06-30 河南理工大学 端到端的3D-CapsNet火焰检测方法及装置
CN112001375A (zh) * 2020-10-29 2020-11-27 成都睿沿科技有限公司 一种火焰检测方法、装置、电子设备及存储介质
CN112674998A (zh) * 2020-12-23 2021-04-20 北京工业大学 基于快速深度神经网络和移动智能设备的盲人交通路口辅助方法
CN112674998B (zh) * 2020-12-23 2022-04-22 北京工业大学 基于快速深度神经网络和移动智能设备的盲人交通路口辅助方法
CN112906516A (zh) * 2021-02-04 2021-06-04 四川望村网络科技有限公司 一种基于深度学习的暴力行为识别方法,存储装置及服务器
CN113255464A (zh) * 2021-04-30 2021-08-13 北京中电联达信息技术有限公司 一种飞机动作识别方法及系统
CN113642429A (zh) * 2021-07-29 2021-11-12 海南大学 一种基于tpp-tccnn的海洋鱼类识别方法
CN113642429B (zh) * 2021-07-29 2023-07-14 海南大学 一种基于tpp-tccnn的海洋鱼类识别方法
CN113688748A (zh) * 2021-08-27 2021-11-23 武汉大千信息技术有限公司 一种火灾检测的模型及方法
CN113688748B (zh) * 2021-08-27 2023-08-18 武汉大千信息技术有限公司 一种火灾检测的模型及方法
CN113780136A (zh) * 2021-08-31 2021-12-10 中国科学技术大学先进技术研究院 基于时空纹理识别的VOCs气体泄漏检测方法、系统及设备
CN113780136B (zh) * 2021-08-31 2023-07-14 中国科学技术大学先进技术研究院 基于时空纹理识别的VOCs气体泄漏检测方法、系统及设备
CN114500879A (zh) * 2022-02-09 2022-05-13 腾讯科技（深圳）有限公司 视频数据处理方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN109376747A (zh) 一种基于双流卷积神经网络的视频火焰检测方法
JP6830707B1 (ja) ランダムバッチマスクとマルチスケール表現学習を融合した人物再同定方法
CN107967451B (zh) 一种对静止图像进行人群计数的方法
CN109829443B (zh) 基于图像增强与3d卷积神经网络的视频行为识别方法
CN110135269B (zh) 一种基于混合颜色模型与神经网络的火灾图像检测方法
CN106778595B (zh) 基于高斯混合模型的人群中异常行为的检测方法
CN109583340B (zh) 一种基于深度学习的视频目标检测方法
CN109919122A (zh) 一种基于3d人体关键点的时序行为检测方法
CN108830157A (zh) 基于注意力机制和3d卷积神经网络的人体行为识别方法
CN109559302A (zh) 基于卷积神经网络的管道视频缺陷检测方法
CN108764142A (zh) 基于3dcnn的无人机影像森林烟雾检测和分类方法
CN106845351A (zh) 一种用于视频的基于双向长短时记忆单元的行为识别方法
CN108416266A (zh) 一种利用光流提取运动目标的视频行为快速识别方法
CN110427839A (zh) 基于多层特征融合的视频目标检测方法
CN109886241A (zh) 基于长短期记忆网络的驾驶员疲劳检测
CN107506692A (zh) 一种基于深度学习的密集人群计数与人员分布估计方法
CN108241849A (zh) 基于视频的人体交互动作识别方法
CN106709453A (zh) 一种基于深度学习的体育视频关键姿态提取方法
CN107463919A (zh) 一种基于深度3d卷积神经网络进行面部表情识别的方法
CN107016357A (zh) 一种基于时间域卷积神经网络的视频行人检测方法
CN106650617A (zh) 一种基于概率潜在语义分析的行人异常识别方法
CN113536972B (zh) 一种基于目标域伪标签的自监督跨域人群计数方法
CN112001241B (zh) 基于通道注意力机制的微表情识别方法及系统
CN110298297A (zh) 火焰识别方法和装置
CN109903339B (zh) 一种基于多维融合特征的视频群体人物定位检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190222

WD01 Invention patent application deemed withdrawn after publication