CN111144465A - 一种面向多场景的烟雾检测算法及应用该算法的电子设备 - Google Patents

一种面向多场景的烟雾检测算法及应用该算法的电子设备 Download PDF

Info

Publication number
CN111144465A
CN111144465A CN201911302246.3A CN201911302246A CN111144465A CN 111144465 A CN111144465 A CN 111144465A CN 201911302246 A CN201911302246 A CN 201911302246A CN 111144465 A CN111144465 A CN 111144465A
Authority
CN
China
Prior art keywords
optical flow
smoke
picture
image
detection algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201911302246.3A
Other languages
English (en)
Inventor
张伟伟
闫秋女
李彦蓉
陈超
邱永锋
陈彦召
赵建波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Hongrun Construction Waterproof Engineering Co Ltd
Shanghai University of Engineering Science
Foshan Viomi Electrical Technology Co Ltd
Original Assignee
Shanghai Hongrun Construction Waterproof Engineering Co Ltd
Shanghai University of Engineering Science
Foshan Viomi Electrical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Hongrun Construction Waterproof Engineering Co Ltd, Shanghai University of Engineering Science, Foshan Viomi Electrical Technology Co Ltd filed Critical Shanghai Hongrun Construction Waterproof Engineering Co Ltd
Priority to CN201911302246.3A priority Critical patent/CN111144465A/zh
Publication of CN111144465A publication Critical patent/CN111144465A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/10—Actuation by presence of smoke or gases, e.g. automatic alarm devices for analysing flowing fluid materials by the use of optical means
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
    • G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Fire-Detection Mechanisms (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了面向多场景的烟雾检测算法及应用该算法的电子设备，步骤为：实时采集烟雾画面I后对其进行预处理；以预处理后的烟雾画面I中相邻的两帧I1和I2作为输入，输入NetC得到两个多尺度的高维金字塔特征F1和F2，NetC为双流网络；将F2向F1采用双线性插值法进行特征校正得到
Figure DDA0002322129610000011
以F1、F2和
Figure DDA0002322129610000012
作为输入，输入NetE进行级联光流推理得到烟雾画面I的光流图像；根据光流区域的连通性及语义信息区分光流图像中所有区域光流的来源；引入图像语义信息对光流图像进行进一步判断，根据光流区域在光流图像上的灰度值分布判断是否存在烟雾。本发明的方法，误报率低、检测准确性高且应用场景广；电子设备结构简单。

Description

一种面向多场景的烟雾检测算法及应用该算法的电子设备
技术领域
本发明属于图像处理及深度学习技术领域，涉及一种面向多场景的烟雾检测算法及应用该算法的电子设备。
背景技术
火灾是一种失去控制的灾害性燃烧现象。全世界每年都会发生上万起火灾，造成大量的经济损失和人员伤亡。目前多通过吸气式烟雾探测器及光电式烟雾探测器等烟雾探测设备检测烟雾进而预防火灾，然而这些探测器仅能在小空间的室内起作用，对于大面积的室外场所，如森林、草原、山区或者开阔的室内场所难以发挥作用。
火灾规律表明，火焰较小时容易被树木遮挡，但烟雾不会，烟雾先于火焰的发生，较早检测到烟雾可以及时的控制火灾的蔓延防止火灾的发生，以此保障人们的财产及人身安全，因此基于图像的烟雾检测方法是火灾预警的一个主要研究方向。
目前基于图像的烟雾检测方法可分为四类：1)基于运动的方法；2)基于外观的方法；3)基于颜色的方法；4)基于能量的方法。虽然其一定程度上能够检测烟雾，但其误报率较高，经常将云朵、阴影还有干扰误报为烟雾。因此许多商业系统不得不采用半自动的方法，需要人工进行二次确认，这一方面影响了警报的时效性，另一方面，极大地增大了人力成本。
因此，开发一种误报率低、检测准确性高且应用场景广(适用于开阔的室内以及室外场所)的烟雾检测方法极具现实意义。
发明内容
本发明的目的在于克服现有技术误报率高、检测准确性低且应用场景受限的缺陷，提供一种误报率低、检测准确性高且应用场景广(适用于开阔的室内以及室外场所)的烟雾检测方法。本发明首先通过LiteFlowNet网络估计相邻帧中运动物体的光流，再根据烟雾光流具有边界不规则性、主方向不确定性，对比遮挡物体(刚性物体)运动定向性、产生的光流主方向基本一致的特点初步确定被检出区域是否存在烟雾，并根据光流区域在原图上的灰度值分布特点进一步确定。本发明的烟雾检测方法的鲁棒性好和准确性好，可应用于开阔的室内以及大面积的室外场所的烟雾检测。
为实现上述目的，本发明提供如下技术方案：
一种面向多场景的烟雾检测算法，步骤如下：
(1)实时采集烟雾画面I后对其进行预处理，所述预处理是指构建带有标注信息的烟雾信息数据；
(2)以预处理后的烟雾画面I作为输入，输入训练好的改进LiteFlowNet得到所述烟雾画面I的光流图像；
所述改进LiteFlowNet的训练过程即以经预处理的烟雾画面II作为输入，以烟雾画面II产生的光流图像作为理论输出，不断调整改进LiteFlowNet的参数的过程，训练的终止条件为达到最大迭代次数N；
所述改进LiteFlowNet的具体处理过程如下：
(2.1)以预处理后的烟雾画面I中相邻的两帧I1和I2作为输入，输入NetC得到两个多尺度的高维金字塔特征F1和F2，所述NetC为双流网络；
NetC是一个双流网络，这两个网络作用类似于特征描述符，并且两个网络共享滤波器权重。假设我们给这个双流网络一对图片(I1和I2)，NetC产生两个多尺度高维金字塔特征FK(I1)和FK(I2)，如图2所示；从k＝1为全分辨率，到k＝L为最低分辨率，下面为了描述方便，使用Fi来表示图片Ii的CNN特征，省略下标k，当讨论金字塔某一层操作时，每层金字塔都应用于相同的操作；
(2.2)将F2向F1采用双线性插值法进行特征校正f-warp减少特征的空间距离得到
Figure BDA0002322129590000031
在金字塔各层中，从图像I1和I2的高级特征F1和F2可以推断出一个光流场。F1、F2分别是I1和I2的高阶CNN特征，捕获的两张图片的空间距离越大，光流推理也就越难，故本专利所提出的双线性插值法进行f-warp来减少两个特征F1、F2之间的空间距离；
(2.3)以F1、F2和
Figure BDA0002322129590000032
作为输入，输入NetE进行级联光流推理得到烟雾画面I的光流图像；
(3)根据光流区域的连通性及语义信息区分光流图像中所有区域光流的来源；
由于我们所要做的是准确估计烟雾光流，所以我们要排除一些遮挡物产生的光流对烟雾光流估计的影响。在野外烟雾监控中，将遮挡物区分为两类：静态遮挡(如建筑物)和动态遮挡(如人，树叶，车等)，由于静态遮挡不存在帧间运动，所以不会产生光流，而动态遮挡会产生干扰光流，是比较难排除的一种干扰；
(4)引入图像语义信息对光流图像进行进一步判断，根据光流区域在光流图像上的灰度值分布判断是否存在烟雾。
本发明的一种面向多场景的烟雾检测算法，首先构建LiteFlowNet(NetC→特征校正→NetE)，并采用历史数据库(包括预处理的烟雾画面II及与其对应的光流图像)训练LiteFlowNet，其次对实时获取的烟雾画面I进行预处理后输入训练好的LiteFlowNet，得到光流图像，然后根据光流区域的连通性及语义信息区分光流图像中所有区域光流的来源，最终引入图像语义信息对光流图像进行进一步判断，根据光流区域在光流图像上的灰度值分布判断是否存在烟雾。本发明根据光流区域的连通性和语义信息相似度来区分运动遮挡物体和烟雾的光流，而后引入图像语义信息对是否存在烟雾进行再次判断，为提高烟雾检测准确率提供一种新的思路，处理数据量小，对硬件要求低，处理速度快，处理效果好，对森林、草原、山区等应用场景能很好地发挥作用，其能有效减少由云朵、阴影等干扰引起的高误报率，并且具有较高的鲁棒性，极具应用前景。
作为优选的技术方案：
如上所述的一种面向多场景的烟雾检测算法，所述烟雾画面II是通过摄像头采集而得的，其至少包括30个视频和1000个烟雾图像对，同时为避免训练数据缺失造成的网络过拟合，可使用图像平移、镜像、双线性插值、图像缩放等方法对训练数据进行了扩增，这能使得网络更加鲁棒，从而获取较好的光流估计。
如上所述的一种面向多场景的烟雾检测算法，所述N为10000；神经网络停止的条件一般有两种情况：1.达到设定的精度要求；2达到最大迭代次数，此处我们采用第二种，将迭代次数设置为10000次(一般情况)，即训练过程中迭代次数达到10000时，训练终止，此时，LiteFlowNet网络损失函数的激活函数收敛，训练完成，当然本领域技术人员可根据实际需求选择最大迭代次数N和训练停止的条件；
所述烟雾画面I和烟雾画面II的图片分辨率大于等于1920×1080像素。
如上所述的一种面向多场景的烟雾检测算法，所述双线性插值法的公式如下：
Figure BDA0002322129590000041
其中，u1、u2分别是原始输入特征映射F在坐标位置(i,j)的水平和垂直光流，坐标位置(m,n)代表坐标位置(i,j)四个像素邻域坐标，F1(m,n)代表(m,n)对应的F1，
Figure BDA0002322129590000042
代表对高维金字塔特征F1进行双线性插值的结果，如果两张图片即相邻的两帧I1和I2采集的时间间隔较长，那两张图片的空间距离越大，光流推理也就越难，双线性插值用来减小F1与F2特征之间的空间距离；
与一般LiteFlowNet不同的是，本专利的改进LiteFlowNet，对每个插值取非负进行运算，这样使得warp后的特征图更连续，分段更平滑；同时也保证了原来网络在训练中的反向传播梯度可以更容易的计算；
以点x对应的特征校正为例，公式如下：
Figure BDA0002322129590000051
其中，F1(x)代表x点对应的F1，
Figure BDA0002322129590000052
代表x点对应的特征校正后的
Figure BDA0002322129590000053
Figure BDA0002322129590000054
代表
Figure BDA0002322129590000058
点对应的F1，
Figure BDA0002322129590000055
代表光流估计结果，这使得网络能够测出F1与
Figure BDA0002322129590000056
之间小幅度的残余光流。
如上所述的一种面向多场景的烟雾检测算法，所述级联光流推理至少包括第一级光流推理和第二级光流推理，其具体如图3所示，图中D为描述符匹配单元；R为亚像素细化单元；R为正则化模块。
如上所述的一种面向多场景的烟雾检测算法，所述第一级光流推理(在D中完成)为描述符匹配，通过计算两个金字塔特征的高维特征向量之间的相关性来建立图片I1和I2之间的点响应。图片I1和I2之间的点响应是通过计算F1和F2中的高阶特征向量的联系来建立的，具体步骤为：先计算F1和F2之间的特征向量匹配损失量，再通过对损失量进行滤波来获得残余光流，进而获取第一完整光流；
损失量的计算公式如下：
Figure BDA0002322129590000057
其中，C(x,d)代表F1上点x与F2上点x+d的匹配损失量，d代表由F1上点x到F2上点x+d的位移矢量，L是特征向量的长度，通过将所有的特征向量匹配损失汇总到一个3D网络来形成损失量C；
第一完整光流
Figure BDA0002322129590000061
的计算公式如下：
Figure BDA0002322129590000062
其中，
Figure BDA0002322129590000063
代表残余光流
Figure BDA0002322129590000064
s是标量，
Figure BDA0002322129590000065
为空间分辨率，
Figure BDA0002322129590000066
用于匹配当前层的金字塔特征的空间分辨率。
如上所述的一种面向多场景的烟雾检测算法，所述第二级光流推理为亚像素细化，由于描述符匹配单元的损失量C是通过像素相关度量来聚合的，因此从以前的推断得到的流量估计
Figure BDA0002322129590000067
只能达到像素级的精度，级联光流推理对数据保真度有很高的要求，即数据越真实，越精确，推理效果越好，否则多层推理之后会产生越来越大的累计误差，所以在第二级光流推理中我们引入亚像素级别的光流推理，这样可以防止上一层的误差光流通过上采样被放大并传递到下一层的金字塔结构中，具体为通过
Figure BDA0002322129590000068
将F2向
Figure BDA0002322129590000069
方向进行特征校正，通过最小化F1和F2之间的特征空间距离，后得到精确完整光流
Figure BDA00023221295900000610
精确完整光流
Figure BDA00023221295900000611
的计算公式如下：
Figure BDA00023221295900000612
其中，
Figure BDA00023221295900000613
即为
Figure BDA00023221295900000614
如上所述的一种面向多场景的烟雾检测算法，所述光流的来源为运动遮挡物体或烟雾；
具体通过光流区域的运动边界、流动、运动方向及光流浓度的判断光流的来源，光流区域的运动边界明显、流动强、运动方向一致且光流浓度深则该光流的来源为运动遮挡物体；光流区域的运动边界不明显、流动弱、运动方向无序且光流浓度浅则该光流的来源为烟雾。
如上所述的一种面向多场景的烟雾检测算法，所述光流区域的R、G、B三个通道的灰度值均小于220且大于80，则该光流区域是烟雾；反之则不是烟雾。
本发明还提供一种应用如上所述的一种面向多场景的烟雾检测算法的电子设备，包括一个或多个处理器、一个或多个存储器、一个或多个程序及图像采集装置；
所述图像采集装置用于实时采集烟雾画面I，所述一个或多个程序被存储在所述存储器中，当所述一个或多个程序被所述处理器执行时，使得所述电子设备执行如上所述的一种面向多场景的烟雾检测算法。
有益效果：
(1)本发明的面向多场景的烟雾检测算法，误报率低、检测准确性高且应用场景广(适用于开阔的室内以及室外场所)；
(2)本发明的电子设备，结构简单，成本低廉，适应性好，能够完成对多场景的烟雾的精确检测，应用前景好。
附图说明
图1为本发明的面向多场景的烟雾检测算法的流程图；
图2为本发明的NetC网络示意图；
图3为本发明的NetE网络示意图；
图4为实施例1的光流区域在原图上的灰度值分布示意图；
图5为实施例1处理的原图；
图6为实施例1处理后得到的烟雾光流检测图；
图7为本发明的电子设备的结构示意图。
具体实施方式
下面结合附图，对本发明的具体实施方式做进一步阐述。
实施例1
一种面向多场景的烟雾检测算法，步骤如图1所示，具体为：
(1)实时采集如图5所示的烟雾画面I后对其进行预处理，预处理是指构建带有标注信息的烟雾信息数据，烟雾画面I的图片分辨率大于等于1920×1080像素；
(2)以预处理后的烟雾画面I作为输入，输入训练好的改进LiteFlowNet(即图1中Improved LiteFlowNet)得到烟雾画面I的光流图像；
改进LiteFlowNet的训练过程即以经预处理的烟雾画面II作为输入，以烟雾画面II产生的光流图像作为理论输出，不断调整改进LiteFlowNet的参数的过程，训练的终止条件为达到最大迭代次数N(10000次)，其中烟雾画面II是通过摄像头采集而得的，其图片分辨率大于等于1920×1080像素，至少包括30个视频和1000个烟雾图像对；
改进LiteFlowNet的具体处理过程如下：
(2.1)以预处理后的烟雾画面I中相邻的两帧I1和I2作为输入，输入如图2所示的NetC得到两个多尺度的高维金字塔特征F1和F2，NetC为双流网络；
(2.2)将F2向F1采用双线性插值法进行特征校正得到
Figure BDA0002322129590000081
双线性插值法的公式如下：
Figure BDA0002322129590000082
其中，u1、u2分别是原始输入特征映射F在坐标位置(i,j)的水平和垂直光流，坐标位置(m,n)代表坐标位置(i,j)四个像素邻域坐标，F1(m,n)代表(m,n)对应的F1，
Figure BDA0002322129590000083
代表对高维金字塔特征F1进行双线性插值的结果；
以点x对应的特征校正为例，公式如下：
Figure BDA0002322129590000091
其中，F1(x)代表x点对应的F1，
Figure BDA0002322129590000092
代表x点对应的特征校正后的
Figure BDA0002322129590000093
Figure BDA0002322129590000094
代表
Figure BDA0002322129590000095
点对应的F1，
Figure BDA0002322129590000096
代表光流估计结果；
(2.3)以F1、F2和
Figure BDA0002322129590000097
作为输入，输入如图3所示的NetE进行级联光流推理得到烟雾画面I的光流图像，级联光流推理至少包括第一级光流推理和第二级光流推理；
(i)第一级光流推理为描述符匹配，具体步骤为：先计算F1和F2之间的特征向量匹配损失量，再通过对损失量进行滤波来获得残余光流，进而获取第一完整光流；
损失量的计算公式如下：
Figure BDA0002322129590000098
其中，C(x,d)代表F1上点x与F2上点x+d的匹配损失量，d代表由F1上点x到F2上点x+d的位移矢量，L是特征向量的长度；
第一完整光流
Figure BDA0002322129590000099
的计算公式如下：
Figure BDA00023221295900000910
其中，
Figure BDA00023221295900000911
代表残余光流
Figure BDA00023221295900000912
s是标量，
Figure BDA00023221295900000913
为空间分辨率，
Figure BDA00023221295900000914
用于匹配当前层的金字塔特征的空间分辨率；
(ii)第二级光流推理为亚像素细化，具体为通过
Figure BDA00023221295900000915
将F2向
Figure BDA00023221295900000916
方向进行特征校正，后得到精确完整光流
Figure BDA00023221295900000917
精确完整光流
Figure BDA00023221295900000918
的计算公式如下：
Figure BDA00023221295900000919
其中，
Figure BDA00023221295900000920
即为
Figure BDA00023221295900000921
(3)根据光流区域的连通性及语义信息区分光流图像中所有区域光流的来源(运动遮挡物体或烟雾)；
具体通过光流区域的运动边界、流动、运动方向及光流浓度的判断光流的来源，光流区域的运动边界明显、流动强、运动方向一致且光流浓度深则该光流的来源为运动遮挡物体；光流区域的运动边界不明显、流动弱、运动方向无序且光流浓度浅则该光流的来源为烟雾；
(4)引入图像语义信息对光流图像进行进一步判断，根据光流区域在光流图像上的灰度值分布(光流区域在原图上的灰度值分布示意图如图4所示)判断是否存在烟雾，具体为：光流区域的R、G、B三个通道的灰度值均小于220且大于80，则该光流区域是烟雾；反之则不是烟雾，最终检测结果如图6所示，可见本发明的方法能够有效对烟雾进行检测。
经验证，本发明的面向多场景的烟雾检测算法，误报率低、检测准确性高且应用场景广(适用于开阔的室内以及室外场所)，极具应用前景。
实施例2
一种电子设备，如图7所示，包括一个或多个处理器、一个或多个存储器、一个或多个程序及图像采集装置；
图像采集装置用于实时采集烟雾画面I，一个或多个程序被存储在所述存储器中，当一个或多个程序被处理器执行时，使得电子设备执行与实施例1相同的一种面向多场景的烟雾检测算法。
经验证，本发明的电子设备，结构简单，成本低廉适应性好，能够完成对多场景的烟雾的精确检测，应用前景好。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应该理解，这些仅是举例说明，在不违背本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改。

Claims (10)

1.一种面向多场景的烟雾检测算法，其特征在于，步骤如下：
(1)实时采集烟雾画面I后对其进行预处理，所述预处理是指构建带有标注信息的烟雾信息数据；
(2)以预处理后的烟雾画面I作为输入，输入训练好的改进LiteFlowNet得到所述烟雾画面I的光流图像；
所述改进LiteFlowNet的训练过程即以经预处理的烟雾画面II作为输入，以烟雾画面II产生的光流图像作为理论输出，不断调整改进LiteFlowNet的参数的过程，训练的终止条件为达到最大迭代次数N；
所述改进LiteFlowNet的具体处理过程如下：
(2.1)以预处理后的烟雾画面I中相邻的两帧I1和I2作为输入，输入NetC得到两个多尺度的高维金字塔特征F1和F2，所述NetC为双流网络；
(2.2)将F2向F1采用双线性插值法进行特征校正得到
Figure FDA0002322129580000011
(2.3)以F1、F2和
Figure FDA0002322129580000012
作为输入，输入NetE进行级联光流推理得到烟雾画面I的光流图像；
(3)根据光流区域的连通性及语义信息区分光流图像中所有区域光流的来源；
(4)引入图像语义信息对光流图像进行进一步判断，根据光流区域在光流图像上的灰度值分布判断是否存在烟雾。
2.根据权利要求1所述的一种面向多场景的烟雾检测算法，其特征在于，所述烟雾画面II是通过摄像头采集而得的，其至少包括30个视频和1000个烟雾图像对。
3.根据权利要求1所述的一种面向多场景的烟雾检测算法，其特征在于，所述N为10000；
所述烟雾画面I和烟雾画面II的图片分辨率大于等于1920×1080像素。
4.根据权利要求1所述的一种面向多场景的烟雾检测算法，其特征在于，所述双线性插值法的公式如下：
Figure FDA0002322129580000021
其中，u1、u2分别是原始输入特征映射F在坐标位置(i,j)的水平和垂直光流，坐标位置(m,n)代表坐标位置(i,j)四个像素邻域坐标，F1(m,n)代表(m,n)对应的F1，
Figure FDA0002322129580000022
代表对高维金字塔特征F1进行双线性插值的结果；
以点x对应的特征校正为例，公式如下：
Figure FDA0002322129580000023
其中，F1(x)代表x点对应的F1，
Figure FDA0002322129580000024
代表x点对应的特征校正后的
Figure FDA0002322129580000025
Figure FDA0002322129580000026
代表
Figure FDA0002322129580000027
点对应的F1，
Figure FDA0002322129580000028
代表光流估计结果。
5.根据权利要求4所述的一种面向多场景的烟雾检测算法，其特征在于，所述级联光流推理至少包括第一级光流推理和第二级光流推理。
6.根据权利要求5所述的一种面向多场景的烟雾检测算法，其特征在于，所述第一级光流推理为描述符匹配，具体步骤为：先计算F1和F2之间的特征向量匹配损失量，再通过对损失量进行滤波来获得残余光流，进而获取第一完整光流；
损失量的计算公式如下：
Figure FDA0002322129580000029
其中，C(x,d)代表F1上点x与F2上点x+d的匹配损失量，d代表由F1上点x到F2上点x+d的位移矢量，L是特征向量的长度；
第一完整光流
Figure FDA00023221295800000210
的计算公式如下：
Figure FDA00023221295800000211
其中，
Figure FDA0002322129580000031
代表残余光流
Figure FDA0002322129580000032
s是标量，
Figure FDA0002322129580000033
为空间分辨率，
Figure FDA0002322129580000034
用于匹配当前层的金字塔特征的空间分辨率。
7.根据权利要求6所述的一种面向多场景的烟雾检测算法，其特征在于，所述第二级光流推理为亚像素细化，具体为通过
Figure FDA0002322129580000035
将F2向
Figure FDA0002322129580000036
方向进行特征校正，后得到精确完整光流
Figure FDA0002322129580000037
精确完整光流
Figure FDA0002322129580000038
的计算公式如下：
Figure FDA0002322129580000039
其中，
Figure FDA00023221295800000310
即为
Figure FDA00023221295800000311
8.根据权利要求1所述的一种面向多场景的烟雾检测算法，其特征在于，所述光流的来源为运动遮挡物体或烟雾；
具体通过光流区域的运动边界、流动、运动方向及光流浓度的判断光流的来源，光流区域的运动边界明显、流动强、运动方向一致且光流浓度深则该光流的来源为运动遮挡物体；光流区域的运动边界不明显、流动弱、运动方向无序且光流浓度浅则该光流的来源为烟雾。
9.根据权利要求1所述的一种面向多场景的烟雾检测算法，其特征在于，所述光流区域的R、G、B三个通道的灰度值均小于220且大于80，则该光流区域是烟雾；反之则不是烟雾。
10.应用如权利要求1～9任一项所述的一种面向多场景的烟雾检测算法的电子设备，其特征在于，包括一个或多个处理器、一个或多个存储器、一个或多个程序及图像采集装置；
所述图像采集装置用于实时采集烟雾画面I，所述一个或多个程序被存储在所述存储器中，当所述一个或多个程序被所述处理器执行时，使得所述电子设备执行如权利要求1～9任一项所述的一种面向多场景的烟雾检测算法。
CN201911302246.3A 2019-12-17 2019-12-17 一种面向多场景的烟雾检测算法及应用该算法的电子设备 Withdrawn CN111144465A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911302246.3A CN111144465A (zh) 2019-12-17 2019-12-17 一种面向多场景的烟雾检测算法及应用该算法的电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911302246.3A CN111144465A (zh) 2019-12-17 2019-12-17 一种面向多场景的烟雾检测算法及应用该算法的电子设备

Publications (1)

Publication Number Publication Date
CN111144465A true CN111144465A (zh) 2020-05-12

Family

ID=70518609

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911302246.3A Withdrawn CN111144465A (zh) 2019-12-17 2019-12-17 一种面向多场景的烟雾检测算法及应用该算法的电子设备

Country Status (1)

Country Link
CN (1) CN111144465A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612825A (zh) * 2020-06-28 2020-09-01 南昌航空大学 基于光流与多尺度上下文的图像序列运动遮挡检测方法
CN112287838A (zh) * 2020-10-29 2021-01-29 北京邮电大学 基于静止气象卫星影像序列的云雾自动判识方法及系统
CN113538527A (zh) * 2021-07-08 2021-10-22 上海工程技术大学 一种高效轻量级光流估计方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101339602A (zh) * 2008-07-15 2009-01-07 中国科学技术大学 一种基于光流法的视频火灾烟雾图像识别方法
CN107301375A (zh) * 2017-05-26 2017-10-27 天津大学 一种基于稠密光流的视频图像烟雾检测方法
CN108256496A (zh) * 2018-02-01 2018-07-06 江南大学 一种基于视频的堆场烟雾检测方法
CN108830305A (zh) * 2018-05-30 2018-11-16 西南交通大学 一种结合dclrn网络和光流法的实时火灾监测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101339602A (zh) * 2008-07-15 2009-01-07 中国科学技术大学 一种基于光流法的视频火灾烟雾图像识别方法
CN107301375A (zh) * 2017-05-26 2017-10-27 天津大学 一种基于稠密光流的视频图像烟雾检测方法
CN108256496A (zh) * 2018-02-01 2018-07-06 江南大学 一种基于视频的堆场烟雾检测方法
CN108830305A (zh) * 2018-05-30 2018-11-16 西南交通大学 一种结合dclrn网络和光流法的实时火灾监测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TAK-WAI HUI 等: "LiteFlowNet: A Lightweight Convolutional Neural Network for Optical Flow Estimation", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612825A (zh) * 2020-06-28 2020-09-01 南昌航空大学 基于光流与多尺度上下文的图像序列运动遮挡检测方法
CN111612825B (zh) * 2020-06-28 2023-05-02 南昌航空大学 基于光流与多尺度上下文的图像序列运动遮挡检测方法
CN112287838A (zh) * 2020-10-29 2021-01-29 北京邮电大学 基于静止气象卫星影像序列的云雾自动判识方法及系统
CN112287838B (zh) * 2020-10-29 2022-09-27 北京邮电大学 基于静止气象卫星影像序列的云雾自动判识方法及系统
CN113538527A (zh) * 2021-07-08 2021-10-22 上海工程技术大学 一种高效轻量级光流估计方法
CN113538527B (zh) * 2021-07-08 2023-09-26 上海工程技术大学 一种高效轻量级光流估计方法、存储介质及装置

Similar Documents

Publication Publication Date Title
CN109344725B (zh) 一种基于时空关注度机制的多行人在线跟踪方法
CN111144465A (zh) 一种面向多场景的烟雾检测算法及应用该算法的电子设备
CN110580472B (zh) 一种基于全卷积网络和条件对抗网络的视频前景检测方法
CN110321873A (zh) 基于深度学习卷积神经网络的敏感图片识别方法及系统
CN113076809A (zh) 一种基于视觉Transformer的高空坠物检测方法
CN112507848B (zh) 一种移动端实时人脸姿态估计方法
CN110334660A (zh) 一种雾天条件下基于机器视觉的森林火灾监测方法
CN104463869A (zh) 一种视频火焰图像复合识别方法
CN114926781A (zh) 支持实时监控场景的多人时空域异常行为定位方法及系统
CN111798486B (zh) 基于人体运动预测的多视角人体运动捕捉方法
CN110827320A (zh) 基于时序预测的目标跟踪方法和装置
Sultana et al. Dynamic background subtraction using least square adversarial learning
CN112288778A (zh) 一种基于多帧回归深度网络的红外小目标检测方法
CN106778488A (zh) 基于图像相关性的低照度烟雾视频检测方法
CN114419102B (zh) 一种基于帧差时序运动信息的多目标跟踪检测方法
CN116824641B (zh) 姿态分类方法、装置、设备和计算机存储介质
Miura et al. The examination of the image correction of the moving-object detection for low illumination video image
CN111126230A (zh) 一种烟雾浓度的量化评价方法及应用该方法的电子设备
CN111091586A (zh) 一种快速的烟雾动态遮挡区域检测和定位方法及其应用
CN111127355A (zh) 一种对缺损光流图进行精细补全的方法及其应用
CN112070075B (zh) 一种基于协同回归的人体检测方法
US20220392225A1 (en) Concept for Detecting an Anomaly in Input Data
CN115205793A (zh) 基于深度学习二次确认的电力机房烟雾检测方法及装置
CN111797761B (zh) 一种三阶段烟雾检测系统、方法及可读介质
CN112215122B (zh) 基于视频图像目标检测的火灾检测方法、系统、终端以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20200512

WW01 Invention patent application withdrawn after publication