CN116229359A - 一种基于改进经典光流法模型的烟雾识别方法 - Google Patents

一种基于改进经典光流法模型的烟雾识别方法 Download PDF

Info

Publication number
CN116229359A
CN116229359A CN202310103479.0A CN202310103479A CN116229359A CN 116229359 A CN116229359 A CN 116229359A CN 202310103479 A CN202310103479 A CN 202310103479A CN 116229359 A CN116229359 A CN 116229359A
Authority
CN
China
Prior art keywords
image
optical flow
smoke
pyramid
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202310103479.0A
Other languages
English (en)
Inventor
颜成钢
陈旺
高宇涵
孙垚棋
朱尊杰
王鸿奎
陈楚翘
王廷宇
殷海兵
张继勇
李宗鹏
赵治栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangdian Lishui Research Institute Co Ltd
Original Assignee
Hangdian Lishui Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangdian Lishui Research Institute Co Ltd filed Critical Hangdian Lishui Research Institute Co Ltd
Priority to CN202310103479.0A priority Critical patent/CN116229359A/zh
Publication of CN116229359A publication Critical patent/CN116229359A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Fire-Detection Mechanisms (AREA)

Abstract

本发明公开了一种基于改进经典光流法模型的烟雾识别方法，首先使用烟雾的颜色模型与背景减除法相结合的算法来提取视频图像中的疑似烟雾区域；其次根据烟雾特有的颜色模型排除部分运动干扰现象；然后对疑似烟雾区域进行分块处理，选择分块的图像的中心像素点作为特征点，对这些特征点进行光流计分析，光流分析使用在LK局部平滑的基础上进行金字塔分层迭代。最后对这些特征点进行阈值判别，判断是否为烟雾。本发明使用背景减除法后又加入颜色识别模型用于排除部分干扰现象，本发明在LK局部平滑的基础上进行金字塔迭代对子图像的特征分析，大大降低光流计算的运算量和运算时间。

Description

一种基于改进经典光流法模型的烟雾识别方法
技术领域
本发明涉及一种对数字图像处理与光流估计的领域，具体的说，即将疑似烟雾区域提取和对烟雾动态特征进行光流分析相结合的方法。
背景技术
在识别火情领域这种检测环境领域，我们一般使用的是传统的感温、感烟等传感器进行小空间，近距离的监测识别，但是这种方法很难应用到范围更广、情况更复杂的场景中去。
光流指的目标、场景或摄像机在连续两帧图像间运动时造成的目标的运动。它是图像在平移过程中的二维矢量场，是通过二维图像来表示物体点三维运动的速度场，反映了微小时间间隔内由于运动形成的图像变化，以确定图像点上的运动方向和运动速率。光流不仅包含目标物体的大量运动信息，反映了图像的变化情况，还含有目标物体的三维结构等信息，被广泛地运用于运动估计、目标识别、视频检测、图像配准等领域。
光流法主要依赖于三个假设：一，亮度恒定，即图像中目标的像素强度在连续帧之间不会发生变化。二，时间规律，即相邻帧之间的时间足够短，以至于在考虑运行变化时可以忽略它们之间的差异。三，空间一致性，相邻像素具有相似的运动。这就是最早由Lucas和Kanada提出的经典的光流计算法，简称LK光流法。
光流不仅包含目标物体的大量运动信息，反映了图像的变化情况，还含有目标物体的三维结构等信息，被广泛地运用于运动估计、目标识别、视频检测、图像配准等领域。光流场模型算法主要分为4类：基于梯度的方法、基于特征匹配的方法、基于能量的方法、基于相位的方法。基于梯度的方法又称为微分法，它是利用时变图像灰度的梯度函数来计算像素的速度矢量，由于该方法计算简单，同时拥有较好的估计效果，因此被广泛采用。
LK光流法是基于三个假设的基础上的，所以不可避免的会在实现的过程中，出现很多误差和障碍。如风向、风速等因素会影响烟雾的扩散，从而导致不满足光流约束条件，因此不能够求解出准确的光流场，而且该光流算法中一般需要计算出图像的所有像素点的光流矢量，才能够提取出运动目标，算法的计算复杂度高，运算量大、运算时间长。
发明内容
本发明所要解决的技术问题是：使识别烟雾的时间更快，准确度更高，传统的经典光流计算模型处理时间速度上的效果一般。如何能更好地排除一些外界环境的干扰和非烟雾的部分以及让识别的速度更快是值得去探讨的问题。
针对上述实际情况，提出一种基于改进经典光流法模型的烟雾识别方法。首先使用烟雾的颜色模型与背景减除法相结合的算法来提取视频图像中的疑似烟雾区域；其次根据烟雾特有的颜色模型排除部分运动干扰现象；然后对疑似烟雾区域进行分块处理，选择分块的图像的中心像素点作为特征点，对这些特征点进行光流计分析，光流分析使用在LK局部平滑的基础上进行金字塔分层迭代。最后对这些特征点进行阈值判别，判断是否为烟雾。
一种基于改进经典光流法模型的烟雾识别方法，具体包括以下步骤：
步骤1：提取视频图像中的疑似烟雾区域；
采用混合高斯建模的背景减除法对烟雾运动区域进行检测和提取。
步骤2：颜色模型检测；
在使用背景减除法的基础上加入颜色识别模型用于排除部分干扰现象。
步骤3：对提取出的疑似烟雾图像进行分块；
步骤4：使用改进的光流算法提取烟雾的运动特征；
在LK光流计算方法的基础上引入了金字塔分层迭代算法一起用于计算运动目标的光流场。
步骤5：选取特征值并对特征点进行阈值判别，进行判断是否是烟雾；
本发明有益效果如下：
光流法识别的过程中，本发明使用背景减除法后又加入颜色识别模型用于排除部分干扰现象，如树林剧烈摆动、汽车运动以及树林光照变化等。在传统LK光流的基础上，基于光流法的约束条件，且需要计算图像中的所有的像素点的光流矢量，才能提取运动目标。将算法进行改进后，即在LK局部平滑的基础上进行金字塔迭代对子图像的特征分析，大大降低光流计算的运算量和运算时间。
附图说明
图1为图像金字塔空间示意图；
图2为本发明方法实施流程图。
具体实施方式
下面根据附图详细说明本发明，本发明的目的和效果将变得更加明显。
如图2所示，一种基于改进经典光流法模型的烟雾识别方法，具体包括以下步骤：
步骤(1)：提取视频图像中的疑似烟雾区域；
背景减除算法的原理就是通过对监控视频中的当前帧图像和选取的背景图像进行差分运算，进而提取出运动目标区域的一种常用的检测运动目标算法，在该算法中的一个必要条件就是选取的背景图像必须是已知的，根据当前帧图像中运动目标的像素值与背景同区域的像素值是不同的，两帧图像作差分运算的结果绝对值中由较大像素值所组成的区域被判定为是运动区域。该算法需要背景图像已知，因此如何构建背景图像是非常重要的，通常构建背景模型并对背景图像进行更新的方法有：
1.时间积累平均法。该方法是先观察一段时间的视频图像，其次对图像中的每个像素点作均值或中值运算，然后将计算得到的像素值作为每个像素点的灰度值。
2.自适应调整法。首先选取视频中几帧图像进行背景建模，其次通过一些自适应算法对背景图像不断地进行调整，令其逼近真实的背景图像。
背景减除法具有实时性、简单快速、有很强的适应性和稳定性等优点。针对于背景变化相对较小的特点，所以本发明采用混合高斯建模的背景减除法对烟雾运动区域进行检测和提取。
混合高斯建模的基本原理是：给图像中的所有像素点都定义K个不同的状态，且每个状态都需要用一个高斯函数来表示。通过K个高斯函数组成的混合高斯模型对背景图像中的每个像素点进行建模的，公式表示如式(1)：
Figure BDA0004073973100000051
其中，K一般取到3～5，本发明令K＝3；Xi表示为像素点t时刻的值；上式中
Figure BDA0004073973100000052
ωi-t指的是在t时刻时在所建模型中的第i个高斯函数的权值；υi-t，∑i-t分别指的是在t时刻时模型中的第i个高斯函数的均值向量与协方差矩阵；δ指的是高斯函数的概率密度函数，数学公式如式(2)为：
Figure BDA0004073973100000053
其中，n表示像素值Xi的维数。若每个像素点的彩色三通道R/G/B之间相互独立，且方差相等，则协方差矩阵就可以由下式(3)表示：
Figure BDA0004073973100000054
Figure BDA0004073973100000056
是方差，I是单位矩阵。
算法首先给K个高斯函数的标准差赋予一个较大σinit，且各个权重取值相同，表示为式(4)：
Figure BDA0004073973100000055
当外界环境不断地变化时，则需要不断地对模型进行学习与更新，将新获得的像素值xt需要与混合高斯模型中的某个高斯函数，按下式(5)进行匹配：
|xi-υi,t-1|≤2.5σi,t-1 (5)
如果xt和第i个高斯函数匹配，则需要对混合高斯模型中的的各参数按照下式(6)进行更新:
Figure BDA0004073973100000061
其中,α与ρ分别表示模型与参数的学习率。若匹配不成功，需要按下式(7)对权值进行修正:
ωi,t＝(1-α)ωi,t-1 (7)
更新完混合高斯模型后，将每个高斯函数按
Figure BDA0004073973100000062
的值由大到小进行排序，背景模型由前βj个高斯函数进行确定如下式(8)：/>
Figure BDA0004073973100000063
上式中，T为预先设定的阈值，表示为背景模型B在k个高斯函数模型中所占得比例的大小。T取值比较大时，则背景模型较为全面，但耗时较长，反之，T取值比较小时，背景模型片面，一般0≤T≤1，本文取0.8。
步骤(2)：颜色模型检测；
在使用背景减除法的基础上加入颜色识别模型用于排除部分干扰现象，可以大幅度降低后续提取运动特征的运算量。
已知烟雾颜色值的范围，在RGB空间中烟雾的颜色模型如下式(9)：
R±α＝G±α＝B±α (9)
K1≤I≤K2 (10)
D1≤I≤D2 (11)
其中，式9是在RGB颜色空间的烟雾颜色模型，表示烟雾的R、G、B通道值近似，相互差别非常小，α表示一个很小的常量，一般5<α<20；I值是HIS空间中的亮度分量，K1一般在150左右，K2在220左右，满足(9)，(10)两个条件的为dark-gray烟雾；(11)式中D1一般在80左右，D2在150左右，满足(9)式和(11)式为light-gray烟雾。当疑似烟雾区域中有超过1/3的像素被认为是疑似烟雾像素时,此疑似烟雾区域通过色彩判断,进入后续检测过程,否则此疑似烟雾区域被作为非烟雾区域排除。在背景减除算法基础上加入颜色模型判断准则后进行检测运动目标的流程，就是通过先通过背景减除算法提取出运动区域，再对运动区域进行烟雾颜色特征判断，就可以排除在背景减除法中无法排除的如树林剧烈摆动、汽车运动以及树林光照变化等部分非烟雾运动目标，为后面检测方法减少了大量的干扰物，有利于后面运动特征的提取与分析，同时有利于视频火灾烟雾识别。
步骤(3)：对提取出的疑似烟雾图像进行分块；
根据火灾烟雾运动具有整体一致性，且都是靠近火灾烟雾的主轴方向然后向上、向外扩散的，因此若是监控视频中存在烟雾，那么对于提取出来的疑似烟雾图像中烟雾区域中相邻像素点的运动方向基本是趋于一致的，因此可以从中有选择地选择某些像素点进行运动方向分析。
首先对提取到的疑似烟雾区域进行分块处理，就是将疑似烟雾区域划分成一个3*3的互不重叠的子图像块，边缘像素不够的话补0；其次选择可疑烟雾区域的每个子烟雾块的中心像素点坐标作为这个子烟雾块的一个特征点；最后对这个子烟雾块的代表特征点进行光流失量分析。
步骤(4)：使用改进的光流算法提取烟雾的运动特征；
由于本文算法仅仅是对疑似烟雾区域子图像块的代表特征点进行光流矢量分析，属于稀疏光流算法的计算研究，Lucas&Kanade(LK)算法是可以对一些指定的像素点进行光流失量分析的，因此选择Lucas&Kanade(LK)光流法。而为了可以达到图像型火灾烟雾识别、报警的实时性要求，在不影响准确率的情况下，在LK光流计算方法的基础上引入了金字塔分层迭代算法一起用于计算运动目标的光流场，提高了算法的运算速度。
在光流法改进之前，先提出一个概念，即高斯金字塔。图像金字塔是以一个以金字塔是的形状排布的分辨率逐步降低的图像序列，其中图像金字塔的最底层图像是初始图像，分辨率在金字塔中最高，而顶层图像的分辨率最小。如图1，表示图像金字塔空间示意图。
对待处理烟雾图像建三层的高斯金字塔，定义如下：I0是待处理的疑似烟雾图像，处于金字塔的最底层，分辨率最高，对I0通过低通滤波算法得到图像I1，I1则就位于金字塔的中间层，该图像的分辨率和像素点个数都低于I1，同理对I1通过进行低通滤波算法得到图像I2，I2则就是本文建立的金字塔的最上层图像，其分辨率和像素点的个数最少。对疑似烟雾图像进行低通滤波算法运算就相当于用与高斯函数有相同分布的对称函数和疑似烟雾图像进行卷积运算，因此由图像I0，I1，I2所组成图像序列称之为高斯金字塔。
为了可以达到图像型火灾烟雾识别、速度性能的要求，在不影响准确率的情况下，在LK光流计算方法的基础上提出金字塔分层迭代算法一起用于计算运动目标的光流场，提高了算法的运算速度。
首先需要计算出金字塔的最上层图像ILm上的光流矢量，其次根据顶层图像计算出的光流矢量结果用于估计出金字塔的次层图像ILm-1的光流矢量的初始值，然后再计算出当层图像的上层图像上光流矢量的精确值，以此类推，直至计算出了最底层图像上的光流矢量。
LK光流法的定义为：在要计算的像素点邻域内，运动矢量要保持恒定，有光流矢量d使得匹配残差ε最小，即数学表达式为式(12)：
Figure BDA0004073973100000091
相似性函数可由图像特征点的(2wx+1)*(2wy+1)邻域求得，本发明中，选择wx＝wy＝3，其次对上式求取一阶偏导数，使其为0。接着使用Newton-Raphson算法对光流矢量进行迭代计算的，选择迭代的次数为n＝5。
金字塔原理：对于待处理图像I，设长为nx和宽为ny，令I0＝I作为建立的金字塔的最底层图像，该图像是金字塔中的图像分辨率最高一层，金字塔从底部到顶部是越向上越窄，而图像层越高的话，对应的图像分辨率则会变的越低，通常情况都是以递归的方式来建立金字塔的，过程是从I0中计算I1，I1中计算I2，同理可推从图像IL-1中计算IL。而金字塔中的第L层图像可以由下式(13)表示：
Figure BDA0004073973100000101
其中，在第L层图像中的x和y分别需要满足
Figure BDA0004073973100000102
与/>
Figure BDA0004073973100000103
计算金字塔图像上的光流，设图像A和图像B是时间上相邻的连续两帧图像，对于图像A中的点p，找到它在图像B上对应的点。
若已知第一幅图像A中某一像素点u＝[uxuy]T,则对应的图像B中的像素点为v＝u+d＝[vxvy]T，令A(u)和B(u)近似，则光流法目的便是求出光流矢量d。因此建立图像A,B的图像金字塔
Figure BDA0004073973100000104
光流矢量迭代初始值为/>
Figure BDA0004073973100000105
Lm是金字塔的高，一般选择2,3,4。金字塔法可以处理具有较多像素的运动图片。
对疑似烟雾区域中的子图像块的代表特征点进行光流矢量计算：在金字塔每一层L图像中，设其图像的光流矢量的初始值
Figure BDA0004073973100000106
目的是找到当层图像中的位移残差矢量/>
Figure BDA0004073973100000107
要使当前层匹配误差函数εL最小，εL函数如下式(14):
Figure BDA0004073973100000108
因此从金字塔第L层图像的光流矢量计算直到最底层图像的光流矢量能够通过Newton-Raphson迭代光流法实现。
某像素点u在图像中的坐标为式(15)：
Figure BDA0004073973100000111
由此式计算出第L层图像的空间灰度梯度矩阵G，Newton-Raphson迭代算法的初始值设为
Figure BDA0004073973100000112
迭代方式是通过Newton-Raphson迭代光流法计算光流失量
Figure BDA0004073973100000113
Figure BDA00040739731000001110
是图像差分匹配向量，则初始值则变为/>
Figure BDA0004073973100000114
当/>
Figure BDA0004073973100000115
小于一个趋于0的阈值时迭代停止，差分图像和图像差分匹配向量分别表示为式(16)和式(17)：
Figure BDA0004073973100000116
Figure BDA0004073973100000117
设金字塔第Lm层图像初始值是0，通过这样同一个过程的计算计算出第Lm-1层图像位移残差矢量dL-1，这个向量通过LK光流计算后，令其εL-1(dL-1)的值最小，直到计算到最底层。
假设计算出第L级的最终光流为dL，则第L-1级的迭代初值为
Figure BDA0004073973100000118
直至计算到最底层，假设最高层gL＝[0,0]T，则最终解：d＝g0+d0，由此，我们可以观测到光流失量的解为：/>
Figure BDA0004073973100000119
如Lm＝3，这就表示可以通过初始图像计算15倍大的像素位移。
金字塔实现LK算法的明显优点除了可以提高计算速度外，可以用相对小的综合窗口就能处理大的像素平移，因此对于相对较大的运动来说，准确率较高。
步骤(5)：选取特征值并对特征点进行阈值判别，进行判断是否是烟雾；
由于烟雾在速度矢量场在空间的分布将具有不断随机变化的特征，在特征点上的速度运动方向会大致在一个区间内缓慢变化。另外由于烟雾的不规则运动的发散特性，在速度方向上的运动比较分散，并且速度大小相差较大。因此速度方向和速度大小计算的方差较大。而非烟雾图像即干扰源图像的速度大小差不多，因此这些特征点的光流速度大小和速度方向组成数组的方差较小。综上，对选取的分块中的代表特征点进行光流分析，计算像素点的光流的速度大小和方向的平均值和方差，一共四个特征值，进行阈值判别。
得到特征点的最终的光流向量d后，其大小为|d|，其方向角为θ，计算所有特征点的光流速度大小组成的数组的平均值式(18)和方差式(19)，以及光流速度方向组成的数组的平均值式(20)和方差式(21)。
速度大小的平均值：
Figure BDA0004073973100000121
速度大小方差：
Figure BDA0004073973100000122
速度方向平均值：
Figure BDA0004073973100000123
速度方向方差：
Figure BDA0004073973100000124
其中
Figure BDA0004073973100000131
其中，n在本文中表示的分块处理的个数，即所有特征点的个数。dxi表示光流向量在水平轴方向上的速度大小，dyi表示光流向量在垂直轴方向上的速度大小。速度方向上采用弧度值表示。
计算得到烟雾图像特征点的光流速度场后，接着根据烟雾图像运动特征选取合适的特征值，来区分烟雾图像与干扰源图像。我们通过设定阈值，当四个特征值分别大于其阈值时，则认定为烟雾特征值，否则为干扰源特征值。阈值的设定根据经验给出，并可以根据不同背景图像进行调整。设烟雾图像计算得到的光流速度大小组成数组的方差为
Figure BDA0004073973100000132
和光流速度方向组成的数组的方差为/>
Figure BDA0004073973100000133
干扰源图像计算得到的光流速度大小组成数组的方差为/>
Figure BDA0004073973100000134
和光流速度方向组成的数组的方差为/>
Figure BDA0004073973100000135
设定2个阈值M和N，分别满足
Figure BDA0004073973100000136
和/>
Figure BDA0004073973100000137
/>
当前计算得到的光流速度大小的数组的方差，由公式(19)得并表示为S|d| 2，光流速度方向的数组的方差，由公式(21)得并表示为Sθ 2，光流速度大小和方向的数组的平均值分别由公式(18)和公式(20)得并表示为dave和θave，d1和d2分别为设定的速度平均值下限阈值和上限阈值。如果以下三个条件式同时满足，即条件一：S|d| 2>M,Sθ 2>N；条件二：0<θave<2π；条件三：d1<dave<d2。则判别当前视频图像为火灾烟雾，否则判别为干扰源图像。
以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。
本发明未详细说明部分属于本领域技术人员公知技术。

Claims (8)

1.一种基于改进经典光流法模型的烟雾识别方法，其特征在于，具体包括以下步骤：
步骤1：提取视频图像中的疑似烟雾区域；
采用混合高斯建模的背景减除法对烟雾运动区域进行检测和提取；
步骤2：颜色模型检测；
在使用背景减除法的基础上加入颜色识别模型用于排除部分干扰现象；
步骤3：对提取出的疑似烟雾图像进行分块；
步骤4：使用改进的光流算法提取烟雾的运动特征；
在LK光流计算方法的基础上引入了金字塔分层迭代算法一起用于计算运动目标的光流场；
步骤5：选取特征值并对特征点进行阈值判别，进行判断是否是烟雾。
2.根据权利要求1所述的一种基于改进经典光流法模型的烟雾识别方法，其特征在于，步骤2具体方法如下：
已知烟雾颜色值的范围，在RGB空间中烟雾的颜色模型如下式(9)：
R±α＝G±α＝B±α(9)
K1≤I≤K2(10)
D1≤I≤D2(11)
其中，式9是在RGB颜色空间的烟雾颜色模型，表示烟雾的R、G、B通道值近似，相互差别非常小，α表示一个很小的常量，一般5<α<20；I值是HIS空间中的亮度分量，K1一般在150左右，K2在220左右，满足(9)，(10)两个条件的为dark-gray烟雾；(11)式中D1一般在80左右，D2在150左右，满足(9)式和(11)式为light-gray烟雾；当疑似烟雾区域中有超过1/3的像素被认为是疑似烟雾像素时,此疑似烟雾区域通过色彩判断,进入后续检测过程,否则此疑似烟雾区域被作为非烟雾区域排除；在背景减除算法基础上加入颜色模型判断准则后进行检测运动目标的流程，就是通过先通过背景减除算法提取出运动区域，再对运动区域进行烟雾颜色特征判断，就可以排除在背景减除法中无法排除的如树林剧烈摆动、汽车运动以及树林光照变化等部分非烟雾运动目标，为后面检测方法减少了大量的干扰物，有利于后面运动特征的提取与分析，同时有利于视频火灾烟雾识别。
3.根据权利要求2所述的一种基于改进经典光流法模型的烟雾识别方法，其特征在于，步骤3具体方法如下：
首先对提取到的疑似烟雾区域进行分块处理，就是将疑似烟雾区域划分成一个3*3的互不重叠的子图像块，边缘像素不够的话补0；其次选择可疑烟雾区域的每个子烟雾块的中心像素点坐标作为这个子烟雾块的一个特征点；最后对这个子烟雾块的代表特征点进行光流失量分析。
4.根据权利要求3所述的一种基于改进经典光流法模型的烟雾识别方法，其特征在于，步骤4具体方法如下：
在LK光流计算方法的基础上提出金字塔分层迭代算法一起用于计算运动目标的光流场；
首先需要计算出金字塔的最上层图像ILm上的光流矢量，其次根据顶层图像计算出的光流矢量结果用于估计出金字塔的次层图像ILm-1的光流矢量的初始值，然后再计算出当层图像的上层图像上光流矢量的精确值，以此类推，直至计算出了最底层图像上的光流矢量。
5.根据权利要求4所述的一种基于改进经典光流法模型的烟雾识别方法，其特征在于，LK光流法的定义为：在要计算的像素点邻域内，运动矢量要保持恒定，有光流矢量d使得匹配残差ε最小，即数学表达式为式(12)：
Figure FDA0004073973080000031
相似性函数可由图像特征点的(2wx+1)*(2wy+1)邻域求得，本发明中，选择wx＝wy＝3，其次对上式求取一阶偏导数，使其为0；接着使用Newton-Raphson算法对光流矢量进行迭代计算的，选择迭代的次数为n＝5。
6.根据权利要求5所述的一种基于改进经典光流法模型的烟雾识别方法，其特征在于，金字塔原理：对于待处理图像I，设长为nx和宽为ny，令I0＝I作为建立的金字塔的最底层图像，该图像是金字塔中的图像分辨率最高一层，金字塔从底部到顶部是越向上越窄，而图像层越高的话，对应的图像分辨率则会变的越低，通常情况都是以递归的方式来建立金字塔的，过程是从I0中计算I1，I1中计算I2，同理可推从图像IL-1中计算IL；而金字塔中的第L层图像可以由下式(13)表示：
Figure FDA0004073973080000041
其中，在第L层图像中的x和y分别需要满足
Figure FDA0004073973080000042
与/>
Figure FDA0004073973080000043
计算金字塔图像上的光流，设图像A和图像B是时间上相邻的连续两帧图像，对于图像A中的点p，找到它在图像B上对应的点；
若已知第一幅图像A中某一像素点u＝[uxuy]T,则对应的图像B中的像素点为v＝u+d＝[vxvy]T，令A(u)和B(u)近似，则光流法目的便是求出光流矢量d；因此建立图像A,B的图像金字塔
Figure FDA0004073973080000044
光流矢量迭代初始值为/>
Figure FDA0004073973080000045
Lm是金字塔的高。
7.根据权利要求6所述的一种基于改进经典光流法模型的烟雾识别方法，其特征在于，对疑似烟雾区域中的子图像块的代表特征点进行光流矢量计算：在金字塔每一层L图像中，设其图像的光流矢量的初始值
Figure FDA0004073973080000046
目的是找到当层图像中的位移残差矢量
Figure FDA0004073973080000047
要使当前层匹配误差函数εL最小，εL函数如下式(14):
Figure FDA0004073973080000048
因此从金字塔第L层图像的光流矢量计算直到最底层图像的光流矢量能够通过Newton-Raphson迭代光流法实现；
某像素点u在图像中的坐标为式(15)：
Figure FDA0004073973080000049
由此式计算出第L层图像的空间灰度梯度矩阵G，Newton-Raphson迭代算法的初始值设为
Figure FDA0004073973080000051
迭代方式是通过Newton-Raphson迭代光流法计算光流失量
Figure FDA0004073973080000052
是图像差分匹配向量，则初始值则变为/>
Figure FDA0004073973080000053
当/>
Figure FDA0004073973080000054
小于一个趋于0的阈值时迭代停止，差分图像和图像差分匹配向量分别表示为式(16)和式(17)：
Figure FDA0004073973080000055
Figure FDA0004073973080000056
设金字塔第Lm层图像初始值是0，通过这样同一个过程的计算计算出第Lm-1层图像位移残差矢量dL-1，这个向量通过LK光流计算后，令其εL-1(dL-1)的值最小，直到计算到最底层；
假设计算出第L级的最终光流为dL，则第L-1级的迭代初值为
Figure FDA0004073973080000057
直至计算到最底层，假设最高层gL＝[0,0]T，则最终解：d＝g0+d0，由此，光流失量的解为：
Figure FDA0004073973080000058
8.根据权利要求7所述的一种基于改进经典光流法模型的烟雾识别方法，其特征在于，步骤5具体方法如下：
得到特征点的最终的光流向量d后，其大小为|d|，其方向角为θ，计算所有特征点的光流速度大小组成的数组的平均值式(18)和方差式(19)，以及光流速度方向组成的数组的平均值式(20)和方差式(21)；
速度大小的平均值：
Figure FDA0004073973080000061
速度大小方差：
Figure FDA0004073973080000062
速度方向平均值：
Figure FDA0004073973080000063
速度方向方差：
Figure FDA0004073973080000064
其中
Figure FDA0004073973080000065
其中，n表示的分块处理的个数，即所有特征点的个数；dxi表示光流向量在水平轴方向上的速度大小，dyi表示光流向量在垂直轴方向上的速度大小；速度方向上采用弧度值表示；
计算得到烟雾图像特征点的光流速度场后，接着根据烟雾图像运动特征选取合适的特征值，来区分烟雾图像与干扰源图像；通过设定阈值，当四个特征值分别大于其阈值时，则认定为烟雾特征值，否则为干扰源特征值；阈值的设定根据经验给出，并可以根据不同背景图像进行调整；
当前计算得到的光流速度大小的数组的方差，由公式(19)得并表示为S|d| 2，光流速度方向的数组的方差，由公式(21)得并表示为Sθ 2，光流速度大小和方向的数组的平均值分别由公式(18)和公式(20)得并表示为dave和θave，d1和d2分别为设定的速度平均值下限阈值和上限阈值；如果以下三个条件式同时满足，即条件一：S|d| 2>M,Sθ 2>N；条件二：0<θave<2π；条件三：d1<dave<d2；则判别当前视频图像为火灾烟雾，否则判别为干扰源图像。
CN202310103479.0A 2023-02-13 2023-02-13 一种基于改进经典光流法模型的烟雾识别方法 Withdrawn CN116229359A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310103479.0A CN116229359A (zh) 2023-02-13 2023-02-13 一种基于改进经典光流法模型的烟雾识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310103479.0A CN116229359A (zh) 2023-02-13 2023-02-13 一种基于改进经典光流法模型的烟雾识别方法

Publications (1)

Publication Number Publication Date
CN116229359A true CN116229359A (zh) 2023-06-06

Family

ID=86568977

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310103479.0A Withdrawn CN116229359A (zh) 2023-02-13 2023-02-13 一种基于改进经典光流法模型的烟雾识别方法

Country Status (1)

Country Link
CN (1) CN116229359A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116977327A (zh) * 2023-09-14 2023-10-31 山东拓新电气有限公司 一种滚筒驱动带式输送机烟雾检测方法及系统
CN117079167A (zh) * 2023-10-18 2023-11-17 山东龙翼航空科技有限公司 一种基于图像处理的高层消防无人机监测方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116977327A (zh) * 2023-09-14 2023-10-31 山东拓新电气有限公司 一种滚筒驱动带式输送机烟雾检测方法及系统
CN116977327B (zh) * 2023-09-14 2023-12-15 山东拓新电气有限公司 一种滚筒驱动带式输送机烟雾检测方法及系统
CN117079167A (zh) * 2023-10-18 2023-11-17 山东龙翼航空科技有限公司 一种基于图像处理的高层消防无人机监测方法
CN117079167B (zh) * 2023-10-18 2024-01-09 山东龙翼航空科技有限公司 一种基于图像处理的高层消防无人机监测方法

Similar Documents

Publication Publication Date Title
CN116229359A (zh) 一种基于改进经典光流法模型的烟雾识别方法
CN111260683A (zh) 一种三维点云数据的目标检测与跟踪方法及其装置
CN107133973B (zh) 一种桥梁防撞系统中的船舶检测方法
CN103903278A (zh) 运动目标检测与跟踪系统
CN112184759A (zh) 一种基于视频的运动目标检测与跟踪方法及系统
CN108876820B (zh) 一种基于均值漂移的遮挡条件下移动目标追踪方法
CN108052917A (zh) 一种基于新旧时相变化发现的违章建筑自动识别的方法
CN105809716B (zh) 融合超像素与三维自组织背景减除法的前景提取方法
CN109919053A (zh) 一种基于监控视频的深度学习车辆停车检测方法
CN106204594A (zh) 一种基于视频图像的弥散性运动物体的方向检测方法
CN110006444B (zh) 一种基于优化混合高斯模型的抗干扰视觉里程计构建方法
CN110555868A (zh) 一种复杂地面背景下运动小目标检测方法
Niu et al. A moving objects detection algorithm based on improved background subtraction
CN107871315B (zh) 一种视频图像运动检测方法和装置
CN106934819A (zh) 一种提高图像中运动物体检测精度的方法
CN113822352A (zh) 基于多特征融合的红外弱小目标检测方法
CN108038856B (zh) 基于改进多尺度分形增强的红外小目标检测方法
Iraei et al. Object tracking with occlusion handling using mean shift, Kalman filter and edge histogram
CN110717934A (zh) 一种基于strcf的抗遮挡目标跟踪方法
Stolkin et al. An EM/E-MRF algorithm for adaptive model based tracking in extremely poor visibility
CN107103301B (zh) 视频目标时空最大稳定性判别性颜色区域匹配方法和系统
CN111161308A (zh) 一种基于关键点匹配的双波段融合目标提取方法
CN113205494B (zh) 基于自适应尺度图像块加权差测量的红外小目标检测方法和系统
Roy et al. A comprehensive survey on computer vision based approaches for moving object detection
CN108765463B (zh) 一种结合区域提取与改进纹理特征的运动目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20230606

WW01 Invention patent application withdrawn after publication