CN113177467A - 火焰识别方法及系统、装置、介质 - Google Patents

火焰识别方法及系统、装置、介质 Download PDF

Info

Publication number
CN113177467A
CN113177467A CN202110460907.6A CN202110460907A CN113177467A CN 113177467 A CN113177467 A CN 113177467A CN 202110460907 A CN202110460907 A CN 202110460907A CN 113177467 A CN113177467 A CN 113177467A
Authority
CN
China
Prior art keywords
flame
image
static
dynamic
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110460907.6A
Other languages
English (en)
Inventor
林德银
吕朱华
王林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Yingjue Technology Co ltd
Shanghai Yingjue Technology Co ltd
Original Assignee
Anhui Yingjue Technology Co ltd
Shanghai Yingjue Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Yingjue Technology Co ltd, Shanghai Yingjue Technology Co ltd filed Critical Anhui Yingjue Technology Co ltd
Priority to CN202110460907.6A priority Critical patent/CN113177467A/zh
Publication of CN113177467A publication Critical patent/CN113177467A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种火焰识别方法，包括如下步骤：步骤S1：获取火焰静态或动态图像；步骤S2：对收集火焰静态或动态图像进行预处理；步骤S3：对预处理好的火焰静态或动态图像进行分割；步骤S4：对分割后的火焰图像或视频进行特征提取；步骤S5：对火焰静态或动态图像进行火焰识别。本发明啊还提供了一种火焰识别系统和装置。本发明通过对火焰进行多维度识别及分析，可对重点防火区域进行监控，解决了在复杂环境下火焰识别准确率低、误报率高的问题，提高对火焰快速处理等问题，在实际生产生活中有着广阔的使用前景。

Description

火焰识别方法及系统、装置、介质
技术领域
本发明涉及火灾探测技术领域，具体地，涉及一种火焰识别方法及系统、装置、介质。
背景技术
人类一直在与火灾的预防和检测进行斗争，随着人类社会的不断发展、防火重点监控区域不断的扩大，发生火灾所带来的损失也越来越大，火灾不仅给普通人的生活和工作带来巨大威胁，甚至威胁到国家安全，防火问题日渐突出，传统方式是采用人工巡视，需要大量的人力和财力。近些年来，随着边缘计算技术、数字通信技术、计算机技术、数字图像处理技术获得了广泛的应用。如何通过视频图像自动快速高效的发现火灾，预防火灾成为重点研究的问题。
经过检索，专利文献CN110298297A公开了一种火焰识别方法和装置，：对任一帧图像进行颜色检测和形态变化检测，获取所述任一帧图像的候选火焰区域；基于任一所述帧图像的候选火焰区域，对所述任一帧图像进行分割，获取所述任一帧图像的候选火焰块；将任一所述帧图像的任一候选火焰块输入至火焰特征分析模型，获取所述火焰特征分析模型输出的火焰识别标记，将所述火焰识别标记为存在火焰的所述候选火焰块作为优选火焰块；获取任一所述帧图像的任一所述优选火焰块的光流直方图，并获取所述光流直方图的熵；基于所述任一优选火焰块的熵，获取火焰识别结果。该现有技术的不足之处在于只是简单的对颜色和运动特征进行识别，并不能对火焰相近似颜色和运动特征的干扰项进行排除，使得误报率会很高。
专利文献CN110717419A公开了一种从视频图像中提取火焰特征的方法，从输入视频图像中提取火焰目标；将提取的连续多帧火焰图像进行合成；处理合成后的火焰图像，提取并输出火焰特征；利用模型对特征进行分类，判断是否发生火灾。该现有技术仅从现有的提取火焰图像来发现火灾，虽然可以去除噪点，但是仅从单一纬度进行检测并提取，但是仍然不能对火焰相近似颜色和运动特征的干扰项进行排除，使得误报率会很高。
因此，亟需研发设计一种能够多维度进行识别火焰，并且能排除相近似颜色和运动特征干扰项的火焰识别方法和系统。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种火焰识别方法及系统、装置、介质，解决了在复杂环境下火焰识别准确率低、误报率高的问题，在实际生产生活中有着广阔的使用前景。
根据本发明提供的一种火焰识别方法，包括如下步骤：
步骤S1：获取火焰静态或者动态图像；
步骤S2：对收集火焰静态或者动态图像进行预处理；
步骤S3：对预处理好的火焰静态或者动态图像进行分割；
步骤S4：对分割后的火焰静态或者动态图像进行特征提取；
步骤S5：对火焰静态或者动态图像进行火焰识别。
优选地，步骤S1中对火焰静态或动态图像在不同场景中进行背景差分、光流处理或者帧间差分对图像中动态火焰特性进行获取；背景差分是通过获取当前帧和参考帧的差进行运算，计算结果为0的区域为背景区，不为0的区域为目标区；光流处理是用来表示图像像素点灰度值运动的快慢，从基于梯度、基于匹配、基于能量、基于相位四个方面进行光流计算；帧间差分是通过求取相邻帧间的灰度差绝对值。
优选地，步骤S1包括：对获取到的火焰静态或者动态图像进行背景差分，筛选出算法中的火焰候选区域；对获取到的火焰静态或者动态图像进行光流处理，筛选出匹配灰度值运动的火焰候选区域；对获取到的火焰静态或者动态图像进行帧间差分，筛选出动态火焰区域。
优选地，步骤S2对获取火焰静态或者动态图像进行灰度化处理或者平滑滤波对疑似图像进行预处理。
优选地，步骤S3对预处理后的火焰静态或动态图像进行阈值分割、边缘检测和区域分割，分割出疑似区域后进行特征提取。
优选地，步骤S4对火焰静态或动态图像对疑似区域进行颜色特征、面积特征、形状特征、颜色边缘梯度特征、整体移动特征、频闪特征、运动方向特征进行提取。
优选地，步骤S5对获取到的图像或者视频图像样本和特征通过BP神经网络识别、SVM识别、多特征融合识别特点经过训练后得到能对火焰进行识别器，对后续要识别的图像或者视频图像用训练好的识别器进行火焰识别。
根据本发明提供的一种火焰识别系统，包括：
模块M1：获取火焰静态或动态图像；
模块M2：对收集火焰静态或动态图像进行预处理；
模块M3：对预处理好的火焰静态或动态图像进行分割；
模块M4：对分割后的火焰图像或视频进行特征提取；
模块M5：对火焰静态或动态图像进行火焰识别。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质，计算机程序被处理器执行时实现上述的方法的步骤。
根据本发明提供的一种火焰识别装置，包括上述的火焰识别系统或者上述的存储有计算机程序的计算机可读存储介质。
与现有技术相比，本发明具有如下的有益效果：
1、本发明通过多维度进行识别火焰，能够排除相近似颜色和运动特征干扰项。
2、本发明通过多特征融合、运动分割、颜色分割、烟雾分割、技术手段，解决了目前不能对颜色、闪屏、火焰尖角、面积增长、圆形度、整体移动、纹理、边缘轮廓质心变化等特征进行提取，导致无法识别比如飘动的红旗、穿红色衣服的行人、行驶中的红色汽车等技术问题，达到了采用单一特征无法完成对火焰判别的技术效果。
3、本发明通过火焰在LBP直方图上分布的特点，将其作为特征向量并用SVM进行分类识别，具有检测率较高，误检率低，速度快等特点。
4、本发明利用改进的Sobel算子来提取火焰的边缘梯度信息，并能有效的消除噪音干扰。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明中的火焰识别方法的流程图；
图2为本发明中的可见光和红外处理流程图；
图3为本发明中的火焰特征分类图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
如图1、图2所示，本发明提供了一种火焰识别方法，包括如下步骤：
步骤S1：获取火焰静态或者动态图像。
步骤S1.1：通过不同手段获取火焰静态或者动态图像
A.通过可见光获取火焰静态或动态图像；
B.通过红外获取火焰静态或动态图像；
C.通过热感应获取火焰静态或动态图像；
D.通过长波红外热感应获取火焰静态或动态图像；
E.通过带有拍摄功能的无人机获取火焰静态或动态图像；
F.从互联网上获取火焰视频图像对火焰图像进行补充。
步骤S1.2：对火焰静态或动态图像在不同场景中进行背景差分、光流处理或者帧间差分对图像中动态火焰特性进行获取。
背景差分是通过获取当前帧和参考帧的差进行运算，计算结果为0的区域为背景区，不为0的区域为目标区，差分计算公式为：
Δg(i，j)＝|gk(i，j)-B(i，j)|
Figure BDA0003042202380000041
式中Δg(i，j)表示背景差分结果，gk(i，j)表示当前帧，B(i，j)表示背景图像，D(i，j)表示获取运动目标，Th表示设置的阈值。
实际过程中背景受风吹、光照等的影响，所有需要实时更新背景模型，以每个像素为单位进行统计，公式如下：
Δg(i，j)＝|gk(i，j)-Bk-1(i，j)|
式中Bk-1(i，j)表示第k-1帧获取的背景图像。
光流处理是用来表示图像像素点灰度值运动的快慢来计算，主要从基于梯度、基于匹配、基于能量、基于相位四个方面进行光流计算，其中常用的办法是基于梯度，通过图像亮度值的梯度进行光流计算，计算过程如下：
设图像的某一点m＝(x，y)T在时刻t的灰度值为I(x，y，t)，经过dt时间间隔后，灰度为I(x+dx，y+dy，t+dt)，当dt-＞0时，可以认为两点的灰度值不变，此时计算公式如下：
I(x+dx，y+dy，t+dt)＝I(x，y，t)
假设图像灰度值随x，y，t是变化的，左则泰勒级数展开如下：
Figure BDA0003042202380000051
其中ε表示二阶无穷小项，当dt-＞0，ε忽略不计。
Figure BDA0003042202380000052
假设
Figure BDA0003042202380000053
代表x，y方向的光流，
Figure BDA0003042202380000054
分别代表图像灰度值相对于x，y，t的偏导，故算式为：
Ixu+Iyv+It＝0
该方程为光流场的基本方程，用向量形式表示为：
Figure BDA0003042202380000055
其中
Figure BDA0003042202380000056
表示图像在位置m处的梯度，vm(u，v)表示m点的光流。
帧间差分是通过求取相邻帧间的灰度差绝对值，火焰不是静止不动的，某一时刻发生变化时，相邻两帧位置对应的像素灰度值也会变化，因此把相邻两帧图像中相同位置处所对应的像素灰度值进行减法运算获得的图像，称之为差分图像。差分图像中某一位置处的像素值表征了该处的像素灰度值在前后相邻两帧图像中的变化情况，也就是突出了此位置处的运动信息。
帧间差分法是通过求取相邻帧间的灰度差绝对值实现的。计算公式如下所示：
|gk(i，j)-gk-1(i，j)|＞Th
式中gk(i，j)是第k帧亮度图像在位置(i，j)处的灰度值，Th是设定的灰度阈值。灰度差值大于Th则为运动，否则为静止。
帧间差分法中相邻两帧减操作过程中倘若存在运动缓慢的物体，容易造成目标漏检，并且背景噪声也时常存在，所以采用连续三帧图像间进行减法运算，即两帧图像减操作后进行与运算，基本步骤如下所示：
A.将相邻的两帧分辨率均为M×N的图像gk(i，j)与gk-1(i，j)在位置(i，j)处进行减
法运动，获得差分图像Δ1g(i，j)，计算如下所示：
Δ1g(i，j)＝|gk(i，j)-gk-1(i，j)|(0＜i＜N，0＜j＜M)
其中，
gk(i，j)＝bk(i，j)+mk(i，j)+nk(i，j)
gk(i，j)表示第k帧亮度图像，bk(i，j)表示静止背景，mk(i，j)表示运动目标，
nk(i，j)表示背景噪声。
B.计算第k+1和k帧的图像差值
Δ2g(i，j)＝|gk+1(i，j)-gk(i，j)|(0＜i＜N，0＜j＜M)
C.将Δ1g(i，j)和Δ2g(i，j)进行逻辑与运算并设置阈值，保留两者的公共运动区域，获取运动目标：
Figure BDA0003042202380000061
步骤S2：对收集火焰静态或者动态图像进行预处理。图像预处理是对图像采取一些技术手段，改善图像视觉效果，使图像更加清晰，去掉干扰因素，让图像能更好的被识别，主要对获取火焰静态或者动态图像进行灰度化处理或者平滑滤波对疑似图像进行预处理：
步骤S2.1：对获取火焰静态或动态图像进行灰度化处理，灰度化处理主要包括直接灰度化和基于直方图灰度化两种方式进行处理。
(1)直接灰度化是把感兴趣的灰度范围进行灰度拉伸变换提高输入图像灰度级的动态范围，从而改善视觉质量，分线段灰度变换是直接灰度变换最常用的办法，把感兴趣的灰度范围进行灰度拉伸变换，提高输入图像灰度级的动态范围，从而改善视觉质量。
(2)直方图灰度化是数字图像中每一个像素灰度级与之出现的频率统计，横坐标表示灰度级，纵坐标表示频率，基本原理是首先假定灰度级是连续变化的情况，推导直方图均衡化计算公式，其中令r代表灰度级，r值为[0，1]，p(r)代表概率密度函数。也就是需要寻找s＝T(r)，它能够平直化直方图，并且变换后的灰度仍保持在0-255级灰度区间。必须约束两个条件：
A.在0≤r≤1中，T(r)是单调递增函数，且0≤T(r)≤1；
B.反变换r＝T-1(s)，T-1(s)是单调递增函数，且0≤s≤1；
考虑到直方图均衡化也是灰度变换的一种，因此均衡化过程不会改变像素的位置分布，也不会影响像素数目。所以有
Figure BDA0003042202380000062
从而得出
Figure BDA0003042202380000063
也就是说变换函数是用原始图像灰度值的累积分布函数表示的，那么变换后的图像密度函数呈现均匀性的特点，灰度取值的动态范围被拉伸，视觉效果因此大大提高。假设一幅离散的灰度图像共有n个像素点，灰度级共计L个。直方图均衡化的步骤为：
①统计第k个灰度级出现的个数nk(k＝0，1，2，3…L-1)；
②计算第k个灰度级出现的概率：p(rk)＝nk/n；
③计算变换函数：
Figure BDA0003042202380000071
④通过变换函数获取映射后输出的灰度级sk＝255*sk；
⑤统计映射之后新的灰度级sk的像素个数nk；
⑥计算输出图像的直方图。
步骤22：对获取火焰静态或动态图像进行平滑滤波。图像的平滑滤波大致有均值滤波、中值滤波、高斯滤波、双边滤波。
(1)中值滤波可以有效消除图像中的随机噪声，而且不会使图像边缘变得模糊，能够有效保护原始信号，但是中值滤波需要使用排序找出中值，其计算时间复杂度高，因而不能满足海量、高分辨率图像实时滤波处理的需求。
(2)均值滤波运算简单，对高斯噪声具有良好的去噪能力，但是在抑制噪声的过程中会损失图像的边缘等细节信息从而导致整幅图像模糊的问题；
(3)高斯滤波图像处理中经常使用的高斯函数一般为零均值高斯函数，一维零均值高斯函数的数学表达式为：
Figure BDA0003042202380000072
其中，σ表征高斯尺度参数，高斯滤波器的宽度与图像的平滑度是通过该参数决定的。在数字图像处理中，二维空间零均值离散性高斯函数被作为一种常用的平滑滤波器，图像中的噪声得以平滑，并能对一些信息进行估计。对图像进行高斯滤波就是对原始图像中的(x，y)处的像素值计算法则是，通过(x，y)点的像素值与邻域内其他的像素灰度值进行加权求取平均值，二维离散化高斯函数进行采样然后归一化处理决定加权平均中权系数的数值，二维零均值离散高斯函数表达式为：
Figure BDA0003042202380000073
(4)双边滤波是一种既可以保护边缘又能去除噪声的滤波器。之所以可以达到这样的效果，是因为双边滤波器是由两个滤波器系数组成的：一个滤波器系数是由几何空间距离决定的，另一个滤波器系数是由像素灰度差决定的，其原理如下：
(m，n)像素点的灰度值取决于(m，n)点邻域内得其他像素值。比如高斯滤波和均值滤波：被看作为邻域像素进行加权求取平均，而中值滤波则采用邻域中像素灰度的中间值。双边滤波需要同时思考(m，n)邻域范围内各个像素点的灰度值，以及各个像素点与中心点的几何距离，双边滤波后(m，n)点的像素灰度值用下面公式如下：
hx(x)＝k-1∫∫f(ξ)c(ξ-x)s(f(ξ)-f(x))dξ
k(x)＝∫∫c(ξ-x)s(f(ξ)-f(x))dξ
其中k为归一化系数；x为滤波前像素灰度值；h为滤波后灰度值；c表示(m，n)中心点与其邻域内点的空间相似度，通过两者欧氏距离计算；s表示(m，n)中心点与其邻域内点的灰度相似度，通过两者绝对值计算。在具体实现步骤中，c和s函数分别选用高斯函数，即其定义如下：
Figure BDA0003042202380000081
Figure BDA0003042202380000082
通过上式可知，高斯滤波，是用空间相似度的权值系数核与图像进行卷积后，确定图像中心点的灰度值。如果与中心点的距离越小，那么它的权重系数就会越大。而双边滤波中又增加了灰度相似度的权重系数。如果在邻域内像素灰度值与中心点灰度值差异越小，它的权重系数就越大，反之，灰度值差异越大的点，它的权重系数就越小。
步骤S3：对预处理好的火焰静态或者动态图像进行分割，图像分割是其关键步骤，将火焰图像完整且准确的从复杂的背景中分割出来为后续的任务提供了保障，其分割的结果往往也决定了整个检测的结果。具体地，对预处理后的火焰静态或动态图像进行阈值分割、边缘检测和区域分割，分割出疑似区域后进行特征提取。
步骤S3.1：对预处理后的火焰静态或动态图像进行阈值分割；
阈值分割的基本思想就是根据某一阈值T将图像分为两部分：前景和背景。但是当图像的前景和背景区域的灰度值分布并不均匀时就需要用到多个阈值来提取目标；
(1)最大类间方差法是运用较多的阈值分割算法之一，该算法以目标类与背景类之间的方差最大化为准则，选取分割阈值，算法设计过程如下：
设一副灰度级为L的图像，选择一个阈值T，并根据阈值T把图像分成C0和C1两类，其中C0由图像中灰度值在[0，T]的所有像素组成，C1由灰度值在[T+1，L-1]的所有像素组成，C0和C1两类直接的类间方差
Figure BDA0003042202380000083
定义为：
Figure BDA0003042202380000084
通过对图像灰度值[0，L-1]进行遍历，找到图像最佳阈值T，该阈值使得图像C0和C1两类间的类间方差为最大：
Figure BDA0003042202380000085
式中ω0为图像中C0发生的总概率，ω1为图像中C1发生的总概率，μ0表示C0灰度均值，μ1表示C1灰度均值，μt表示整副图像的灰度均值。
(2)最大熵法的目的是将图像灰度直方图分成独立的类，使得各类熵之和达到最大值。对于灰度图像来说，信息熵越大则表示图像区域的灰度值分布越均匀。要使得信息总熵最大，就是使得阈值t最大。
设一副灰度级为n的图像，p1，p2，p3…pn为图像中灰度级的概率分布，将图像灰度级从s处划分为A，B两类，其中A由图像中灰度值在[0，s]的所有像素组成，B由灰度值在[s+1，n]的所有像素组成，令
Figure BDA0003042202380000091
表示从1到s的灰度级概率之和，
Figure BDA0003042202380000092
表示从s+1到n的灰度级概率之和，则A类各个灰度级像素在整个A类像素集里面的概率分布为：
Figure BDA0003042202380000093
B类各个灰度级像素在整个B类像素集里面的概率分布为：
Figure BDA0003042202380000094
A和B的信息熵计算如下：
Figure BDA0003042202380000095
Figure BDA0003042202380000096
其中H(A)为A类信息熵，H(B)为B类信息熵，则A，B信息熵之和为：
Figure BDA0003042202380000097
通过整个图像灰度级范围进行遍历，找到使
Figure BDA0003042202380000098
最大时的s，即为图像的最佳阈值。
步骤3.2：对预处理后的火焰静态或动态图像进行边缘检测；
边缘是不同区域的分界线，是灰度值导数较大或极大的地方。边缘检测的目的就是识别出灰度级变化明显的点。边缘检测通常选择一阶和二阶导数来检测边界，通过求导方法来检测灰度值的不连续效果。边缘检测也可以借助空域微分算子利用卷积实现，常用的微分算子有梯度算子和拉普拉斯算子等。利用边缘检测法分割火焰图像，就是要先检测出图像中的边缘点，然后按一定策略将这些边缘点连接成轮廓，从而构成分割区域。一阶导数的边缘检测算子包括Roberts算子、Sobel算子、Prewitt算子等，二阶导数的边缘算子包括拉普拉斯算子等，以及非微分边缘检测算子Canny算子。
步骤3.3：对预处理后的火焰静态或动态图像进行区域分割；区域分割就是将具有相似特征的像素连接起来构成一个区域，从而将整幅图像划分为几个不同的区域。
步骤S4：对分割后的火焰静态或者动态图像进行特征提取，对疑似区域进行颜色特征、面积特征、形状特征、颜色边缘梯度特征、整体移动特征、频闪特征、运动方向特征进行提取，如图3所示。
步骤4.1：对火焰静态或动态图像颜色特征进行提取；采用颜色矩来表征颜色特征，颜色矩分别利用火焰像素的一阶矩、二阶中心距、三阶中心距来描述火焰颜色特征，颜色矩的三个计算公式如下：
Figure BDA0003042202380000101
Figure BDA0003042202380000102
Figure BDA0003042202380000103
式中pi，j表示在彩色图像通道中i中像素值为j出现的概率；N表示图像的总像素。ui表示均值，反应图像明暗程度。
Figure BDA0003042202380000104
表示标准差，反应图像颜色分布范围，si表示方差，反应图像颜色分布对称性。
步骤4.2：对火焰静态或动态图像面积特征进行提取，采用连续几帧火焰区域面积的增长率来表征面积变化特征，计算如下：
γ＝(S(R)t-S(R)t0)/(t-t0)
式中γ为增长率，S(R)t表示t感兴趣火焰区域的面积；S(R)t0表示t0感兴趣火焰区域的面积；t-t0表示时间间隔。
根据火焰扩散面积变化特征除用面积增长率表示外，面积的重叠率也可以表示面积变化特征，计算如下：
Figure BDA0003042202380000105
式中Rs表示重叠率；SA，SB分别为连续的前后帧中火焰区域的面积。
步骤4.3：对火焰静态或动态图像形状特征进行提取，形状特征提取包括圆形度、矩形度、长宽比、重心高度系数、火焰尖角。
圆形度表示火焰边缘与圆的相似程度，矩形度表示火焰边缘与矩形的相似程度，是对火焰边缘轮廓复杂度表示的方法，火焰的边缘越复杂，圆形度的值越高，矩形度反应火焰对最小外接矩形的填充程度，利用圆形度和矩形度对进行火焰边缘的度量，利用长宽比和重心高度系数对火焰进行判别，利用火焰尖角来判别火焰边缘的颤抖。
圆形度：
C＝L2/4ΠS，L为火焰周长，S为火焰面积；
矩形度：
R＝S/SR，SR为火焰最小矩形面积；
长宽比：
RWL＝WR/LR，WR为火焰最小矩形的宽度，LR为火焰最小矩形的长度；
重心高度系数：
RC＝HC/H，HC为火焰质心高度，H为火焰中高度；
火焰尖角：
Z＝d1/d2，d1表示顶点左右邻域第25个点间距离，d2表示顶点左右邻域第50个点间距离。
步骤4.4：对火焰静态或动态图像纹理特征进行提取，纹理特征提取包括局部二值模式、完全鲁棒局部二值模式、灰度共生矩阵、局部极值共生模式。
局部二值模式是一种用来描述图像局部纹理特征的算子，具有旋转不变性和灰度不变性等显著优点；局部二值模式具有不变性，对于旋转被光照的影响可能性小，是纹理分析的常用方法。
完全鲁棒局部二值模式：完全鲁棒局部二值模式是在局部二值模式基础上扩展纹理描述符，它解决局部二值模式类型的遗失信息，以便获得更好的纹理分类性能；完全鲁棒局部二值模式对局部二值模式进行改进，解决不同结构具有相同编码问题，而且能够检测局部微变化，在不同光照下的检测结果稳定，鲁棒性好。
灰度共生矩阵：灰度共生矩阵指的是一种通过研究灰度的空间相关特性来描述纹理的常用方法；灰度共生矩阵同时反应火焰图像的像素强度分布情况，像素点空间相对位置信息以及幅度信息，火焰的纹理结构反应在灰度共生矩阵中与其他火焰的纹理信息具有直观的差别。
局部极值共生模式：局部极值共生模式指的是在离一个像素点半径不同的两个同心圆上分别均匀抽样相同点数的采样点，不同同心圆上采样点与中心像素点之间的夹角相互内插，分别独立计算每个同心圆上采样点的最大和最小灰度模式。局部极值共生模式是在局部二值模式基础上进行改进，同时结合灰度共生矩阵能够同时获得图像边缘的信息，空间信息，并结合颜色空间得到彩色的纹理信息。
步骤4.5：对火焰静态或动态图像颜色边缘梯度特征进行提取；颜色边缘梯度特征提取采用Sobel算子进行火焰判断，首先分别计算火焰RGB三通道的像素值，得出火焰边缘的像素变化非常明显且蓝色值相对很低，然后利用改进的Sobel算子来提取火焰的边缘梯度信息，并能有效的消除噪音干扰。
具体计算如下：
G＝|Gx|+|Gy|
式中：Gx，Gy分别为水平梯度方向和垂直梯度方向，计算的公式分别为：
Gx＝(z7+2z8+z9)-(z1+2z2+z3)
Gy＝(z3+2z6+z9)-(z1+2z4+z7)。
步骤4.6：对火焰静态或动态图像整体移动特征进行提取，采用计算火焰区域的质心来判断整体移动特征，计算如下：
xi＝∑(x，y)∈Sx/NS
yi＝∑(x，y)∈Sy/NS
式中S表示检测的感兴趣火焰区域；NS表示感兴趣火焰区域的像素点个数，(x，y)为质心坐标。
步骤4.7：对火焰静态或动态图像频闪特征进行提取，采用空间小波分解来分析火焰判动态频闪特征，计算如下：
Figure BDA0003042202380000121
式中，e表示空间小波能量；m×n表示感兴趣火焰区域的像素值；xLH垂直系数图像；xHL水平系数图像；xHH对角线系数图像。
步骤4.8：对火焰静态或动态图像运动方向特征进行提取；
采用SFIT进行火焰角点检测，并引进BoW进行火焰区域内部所有的运动方向的统计来进行火焰的检测，计算如下：
Figure BDA0003042202380000122
式中hk表示词袋中每个词所包含连续2帧角点夹角的数量；H表示直方图；当hm大于某一阈值τm时即为火焰。
另外可以采用连接帧之间火焰区域的质心，构造成方向向量，以计算火焰整体的运动区域：
θ＝arctan(fx-AB/fy-AB)
式中A表示前一帧火焰区域的质心，B表示后一帧区域的质心，fx，fy分别表示AB的水平和垂直分量，同时还可以利用AB来计算火焰移动的速度，公式如下：
v＝|AB|×Rf
式中Rf表示帧率。
步骤S5：对火焰静态或者动态图像进行火焰识别，火焰识别是火焰检测的最后一个环节，也是火焰检测前期处理工作的最终目的。通过火焰图像预处理，图像分割，特征提取等处理，最终火焰检测的效果通过火焰识别率来展现，通过BP神经网络识别、SVM识别、多特征融合识别特点经过训练后得到能对火焰进行识别器，对后续要识别的图像或者视频图像用训练好的识别器进行火焰识别。
步骤5.1：对火焰静态或动态图像BP神经网络识别；BP神经网络(Back-Propagation NeuralNetwork)以圆形度，颜色一阶矩，颜色二阶矩，面积增长等12个神经元构成输入层，通过25个节点的隐藏层来识别火焰信息，最终达到了良好的识别能力，弥补了传统火灾检测不足的效果。
步骤5.2：对火焰静态或动态图像SVM识别，SVM(Support Vector Machine)即支持向量机，力求在样本有限的条件下寻找最优分类结果。提出通过火焰在LBP直方图上分布的特点，将其作为特征向量并用SVM进行分类识别。该方法具有检测率较高，误检率低，速度快等特点。
步骤5.3：对火焰静态或动态图像多特征融合识别；通过单一特征来识别火焰容易忽视一些干扰因素，而多特征融合相互补充可以较好的规避一些干扰。根据综合运动特征检测，颜色分析和基于层次分析法的火焰多种动态特征融合的火焰检测方法，通过改进RGB空间火焰颜色特征公式，计算火焰LBP特征向量和火焰动态特征图然后将这4幅火焰特征图构成一个四元数得到火焰显著图，这些改进的多特征融合算法较之单一特征识别算法都具有准确率较高，误检率低，鲁棒性强的特点。以下是几种多元特征融合识别方法：
(1)串并行处理办法
串并行处理办法是多元特征融合识别最简单的方法，就是对多个特征进行与或非运算，对火焰的多种颜色进行或运算，然后对火焰的颜色特征和运动特征进行与运算，最终判断火焰是否存在。具体方法如下：
Rcolor＝RRGB∪RHSI∪RYUV
Rfire＝Rmotion∩Rcolor
(2)基于层次分析法
对火焰的特征依次与其他的特征做对比，按9分位比率排列各特征的重要程度构造出火焰特征重要性的评估判断矩阵A，如下：
Figure BDA0003042202380000131
式中aij表示特征i与特征j重要性对比结果，并且有如下关系：
aij＝1/aji
aij有9种取值，1/9，1/7，1/5，1/3，1/1，3/1，5/1，7/1，9/1分别表示特征i对于特征j的重要程度由轻到重，再用几何平均法计算各特征权限系数，首先计算矩阵A各行元素间的乘积，得到矩阵Bn*1，其次对矩阵B中各元素进行n次方根得到矩阵C，然后对C进行归一化处理，得到矩阵D，最后矩阵D即为火焰各特征的权重向量，从而计算火焰特征的得分IF，如下：
IF＝WaIa+WbIb+WcIc+WdId+…
(3)动态阈值法
动态阈值法将火焰视频序列中N帧图像作为一个检测周期，其中出现火焰的可能性表示为：
Figure BDA0003042202380000141
式中：Wi表示不同的火焰特征所占比重根据综合分析结果，ni表示在检测周期中被判别为是火焰帧数根据相应火焰特征。
本发明还提供了一种火焰识别系统，包括：
模块M1：获取火焰静态或动态图像；
模块M2：对收集火焰静态或动态图像进行预处理；
模块M3：对预处理好的火焰静态或动态图像进行分割；
模块M4：对分割后的火焰图像或视频进行特征提取；
模块M5：对火焰静态或动态图像进行火焰识别。
本发明也提供了一种存储有计算机程序的计算机可读存储介质，计算机程序被处理器执行时实现上述的方法的步骤。
本发明继续提供了一种火焰识别装置，包括上述的火焰识别系统或者上述的存储有计算机程序的计算机可读存储介质。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种火焰识别方法，其特征在于，包括如下步骤：
步骤S1：获取火焰静态或者动态图像；
步骤S2：对收集火焰静态或者动态图像进行预处理；
步骤S3：对预处理好的火焰静态或者动态图像进行分割；
步骤S4：对分割后的火焰静态或者动态图像进行特征提取；
步骤S5：对火焰静态或者动态图像进行火焰识别。
2.根据权利要求1所述的火焰识别方法，其特征在于，所述步骤S1中对火焰静态或动态图像在不同场景中进行背景差分、光流处理或者帧间差分对图像中动态火焰特性进行获取；
所述背景差分是通过获取当前帧和参考帧的差进行运算，计算结果为0的区域为背景区，不为0的区域为目标区；
所述光流处理是用来表示图像像素点灰度值运动的快慢，从基于梯度、基于匹配、基于能量、基于相位四个方面进行光流计算；
所述帧间差分是通过求取相邻帧间的灰度差绝对值。
3.根据权利要求2所述的火焰识别方法，其特征在于，所述步骤S1包括：
对获取到的火焰静态或者动态图像进行背景差分，筛选出算法中的火焰候选区域；
对获取到的火焰静态或者动态图像进行光流处理，筛选出匹配灰度值运动的火焰候选区域；
对获取到的火焰静态或者动态图像进行帧间差分，筛选出动态火焰区域。
4.根据权利要求1所述的火焰识别方法，其特征在于，所述步骤S2对获取火焰静态或者动态图像进行灰度化处理或者平滑滤波对疑似图像进行预处理。
5.根据权利要求1所述的火焰识别方法，其特征在于，所述步骤S3对预处理后的火焰静态或动态图像进行阈值分割、边缘检测和区域分割，分割出疑似区域后进行特征提取。
6.根据权利要求1所述的火焰识别方法，其特征在于，所述步骤S4对火焰静态或动态图像对疑似区域进行颜色特征、面积特征、形状特征、颜色边缘梯度特征、整体移动特征、频闪特征、运动方向特征进行提取。
7.根据权利要求1所述的火焰识别方法，其特征在于，所述步骤S5对获取到的图像或者视频图像样本和特征通过BP神经网络识别、SVM识别、多特征融合识别特点经过训练后得到能对火焰进行识别器，对后续要识别的图像或者视频图像用训练好的识别器进行火焰识别。
8.一种火焰识别系统，其特征在于，包括：
模块M1：获取火焰静态或动态图像；
模块M2：对收集火焰静态或动态图像进行预处理；
模块M3：对预处理好的火焰静态或动态图像进行分割；
模块M4：对分割后的火焰图像或视频进行特征提取；
模块M5：对火焰静态或动态图像进行火焰识别。
9.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
10.一种火焰识别装置，其特征在于，包括权利要求8所述的火焰识别系统或者权利要求9所述的存储有计算机程序的计算机可读存储介质。
CN202110460907.6A 2021-04-27 2021-04-27 火焰识别方法及系统、装置、介质 Pending CN113177467A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110460907.6A CN113177467A (zh) 2021-04-27 2021-04-27 火焰识别方法及系统、装置、介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110460907.6A CN113177467A (zh) 2021-04-27 2021-04-27 火焰识别方法及系统、装置、介质

Publications (1)

Publication Number Publication Date
CN113177467A true CN113177467A (zh) 2021-07-27

Family

ID=76926986

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110460907.6A Pending CN113177467A (zh) 2021-04-27 2021-04-27 火焰识别方法及系统、装置、介质

Country Status (1)

Country Link
CN (1) CN113177467A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113793470A (zh) * 2021-08-09 2021-12-14 上海腾盛智能安全科技股份有限公司 一种基于动态图像探测分析的探测装置
CN115311471A (zh) * 2022-09-29 2022-11-08 如东延峰钢结构有限公司 梭式窑烧结工况图像识别方法
CN115376232A (zh) * 2022-08-18 2022-11-22 宁波市盈芯微电子科技有限公司 一种门禁控制系统
CN116091959A (zh) * 2022-11-21 2023-05-09 武汉坤达安信息安全技术有限公司 基于全天候烟火的双光联动识别方法及装置
CN117152474A (zh) * 2023-07-25 2023-12-01 华能核能技术研究院有限公司 一种基于K-means聚类算法的高温气冷堆火焰识别方法
CN117309159A (zh) * 2023-09-04 2023-12-29 安徽中盛轨道交通产业有限公司 基于红外热成像的列车机柜火焰预警方法
CN118552880A (zh) * 2024-07-26 2024-08-27 江苏汇智智能数字科技有限公司 一种基于图像检测及模型分析的图片识别处理方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060193531A1 (en) * 2005-02-25 2006-08-31 William Roberts System for analyzing images of blazed phase grating samples
CN104853151A (zh) * 2015-04-17 2015-08-19 张家港江苏科技大学产业技术研究院 一种基于视频图像的大空间火灾监测系统
CN105678295A (zh) * 2016-01-04 2016-06-15 武汉科技大学 基于roi平均图像分析的燃气加热炉火焰实时监测方法
CN109478319A (zh) * 2016-07-11 2019-03-15 三菱电机株式会社 动态图像处理装置、动态图像处理方法及动态图像处理程序
CN110222644A (zh) * 2019-06-10 2019-09-10 哈尔滨理工大学 基于图像分割的森林火灾烟雾检测方法
CN110298297A (zh) * 2019-06-26 2019-10-01 湖北九感科技有限公司 火焰识别方法和装置
CN111368771A (zh) * 2020-03-11 2020-07-03 四川路桥建设集团交通工程有限公司 一种基于图像处理的隧道火灾预警方法、装置、计算机设备以及计算机可读存储介质
CN112133052A (zh) * 2020-09-22 2020-12-25 岭澳核电有限公司 核电厂图像火灾探测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060193531A1 (en) * 2005-02-25 2006-08-31 William Roberts System for analyzing images of blazed phase grating samples
CN104853151A (zh) * 2015-04-17 2015-08-19 张家港江苏科技大学产业技术研究院 一种基于视频图像的大空间火灾监测系统
CN105678295A (zh) * 2016-01-04 2016-06-15 武汉科技大学 基于roi平均图像分析的燃气加热炉火焰实时监测方法
CN109478319A (zh) * 2016-07-11 2019-03-15 三菱电机株式会社 动态图像处理装置、动态图像处理方法及动态图像处理程序
CN110222644A (zh) * 2019-06-10 2019-09-10 哈尔滨理工大学 基于图像分割的森林火灾烟雾检测方法
CN110298297A (zh) * 2019-06-26 2019-10-01 湖北九感科技有限公司 火焰识别方法和装置
CN111368771A (zh) * 2020-03-11 2020-07-03 四川路桥建设集团交通工程有限公司 一种基于图像处理的隧道火灾预警方法、装置、计算机设备以及计算机可读存储介质
CN112133052A (zh) * 2020-09-22 2020-12-25 岭澳核电有限公司 核电厂图像火灾探测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吴心筱等: "《视频中人的动作分析与识别》", 北京理工大学出版社, pages: 151 - 152 *
曹江涛等: "基于视频的火焰检测算法综述", 《数据采集与处理》, vol. 35, no. 1, pages 151 - 152 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113793470A (zh) * 2021-08-09 2021-12-14 上海腾盛智能安全科技股份有限公司 一种基于动态图像探测分析的探测装置
CN115376232A (zh) * 2022-08-18 2022-11-22 宁波市盈芯微电子科技有限公司 一种门禁控制系统
CN115311471A (zh) * 2022-09-29 2022-11-08 如东延峰钢结构有限公司 梭式窑烧结工况图像识别方法
CN115311471B (zh) * 2022-09-29 2022-12-27 如东延峰钢结构有限公司 梭式窑烧结工况图像识别方法
CN116091959A (zh) * 2022-11-21 2023-05-09 武汉坤达安信息安全技术有限公司 基于全天候烟火的双光联动识别方法及装置
CN116091959B (zh) * 2022-11-21 2024-03-22 武汉坤达安信息安全技术有限公司 基于全天候烟火的双光联动识别方法及装置
CN117152474A (zh) * 2023-07-25 2023-12-01 华能核能技术研究院有限公司 一种基于K-means聚类算法的高温气冷堆火焰识别方法
CN117309159A (zh) * 2023-09-04 2023-12-29 安徽中盛轨道交通产业有限公司 基于红外热成像的列车机柜火焰预警方法
CN118552880A (zh) * 2024-07-26 2024-08-27 江苏汇智智能数字科技有限公司 一种基于图像检测及模型分析的图片识别处理方法

Similar Documents

Publication Publication Date Title
CN113177467A (zh) 火焰识别方法及系统、装置、介质
CN109918971B (zh) 监控视频中人数检测方法及装置
WO2022099598A1 (zh) 一种基于图像像素相对统计特征的视频动态目标检测的方法
CN107016357B (zh) 一种基于时间域卷积神经网络的视频行人检测方法
CN108052917B (zh) 一种基于新旧时相变化发现的违章建筑自动识别的方法
CN105894701B (zh) 输电线路防外破大型施工车辆的识别报警方法
CN103942557B (zh) 一种煤矿井下图像预处理方法
CN102496016B (zh) 一种基于时空协同框架的红外目标检测方法
Tao et al. Smoke vehicle detection based on multi-feature fusion and hidden Markov model
Naufal et al. Preprocessed mask RCNN for parking space detection in smart parking systems
Shakeel et al. Automated multimodal background detection and shadow removal process using robust principal fuzzy gradient partial equation methods in intelligent transportation systems
Nosheen et al. Efficient Vehicle Detection and Tracking using Blob Detection and Kernelized Filter
Tao et al. Smoke vehicle detection based on robust codebook model and robust volume local binary count patterns
Chen et al. Attention-based hierarchical fusion of visible and infrared images
Zaidan et al. A new hybrid module for skin detector using fuzzy inference system structure and explicit rules
Aradhya Elegant and efficient algorithms for real time object detection, counting and classification for video surveillance applications from single fixed camera
Mohanty et al. An improved scheme for multifeature-based foreground detection using challenging conditions
CN114332644A (zh) 一种基于视频卫星数据的大视场交通密度获取方法
Xu et al. Shadow detection and removal in real images: A survey
Shafie et al. Smart objects identification system for robotic surveillance
CN115147450B (zh) 基于运动帧差图像的移动目标检测方法及检测装置
Zheng et al. Shadow removal for pedestrian detection and tracking in indoor environments
Revathi et al. An emerging trend of feature extraction method in video processing
El Baf et al. Fuzzy foreground detection for infrared videos
Jadav et al. Shadow Extraction and Elimination of Moving Vehicles for Tracking Vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210727