CN109165577B - 一种基于视频图像的早期森林火灾检测方法 - Google Patents

一种基于视频图像的早期森林火灾检测方法 Download PDF

Info

Publication number
CN109165577B
CN109165577B CN201810889753.0A CN201810889753A CN109165577B CN 109165577 B CN109165577 B CN 109165577B CN 201810889753 A CN201810889753 A CN 201810889753A CN 109165577 B CN109165577 B CN 109165577B
Authority
CN
China
Prior art keywords
image
flame
smoke
area
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810889753.0A
Other languages
English (en)
Other versions
CN109165577A (zh
Inventor
高同
井元伟
任涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeastern University China
Original Assignee
Northeastern University China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeastern University China filed Critical Northeastern University China
Priority to CN201810889753.0A priority Critical patent/CN109165577B/zh
Publication of CN109165577A publication Critical patent/CN109165577A/zh
Application granted granted Critical
Publication of CN109165577B publication Critical patent/CN109165577B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Fire-Detection Mechanisms (AREA)

Abstract

本发明提供一种基于视频图像的早期森林火灾检测方法，涉及视频远程监测火灾技术领域。该方法包括火焰检测和烟雾检测；火焰检测首先获得森林视频图像的疑似火焰区域；对疑似火焰区域提取火焰的有效静态特征和有效动态特征，并进行特征融合，然后用支持向量机进行分类，判断所采集到的森林图像是否有火焰存在；烟雾检测首先获得森林视频图像的疑似烟雾区域；对疑似烟雾区域提取烟雾的有效静态特征，并进行特征融合，然后用支持向量机进行分类，判断所采集到的森林图像是否有烟雾存在。本发明提供的基于视频图像的早期森林火灾检测方法，同时兼顾了烟雾和火焰的识别，并能实时检测视频中的火灾，排除森林环境中的干扰物影响，准确的发现早期火情。

Description

一种基于视频图像的早期森林火灾检测方法
技术领域
本发明涉及视频远程监测火灾技术领域，尤其涉及一种基于视频图像的早期森林火灾检测方法。
背景技术
森林在人类生存和发展中占有重要的地位，人类与森林相互依存，相互制约，共同繁荣与发展。森林火灾位居破坏森林的三大自然灾害之首，在给人类造成巨大的经济损失和人员伤亡之外，还会对森林资源、生态环境等造成巨大的危害。所以利用先进的科学知识研究出一套可靠的森林火灾检测方法可以极大的减少损失和灭火成本。
传统的检测方法主要利用人工瞭望，飞机航测，卫星检测等方法进行火险预警。但是，由于时效性不高、大火上方烟雾遮挡时检测效果差、经济成本费用等问题，上述方法效果并不乐观。针对于森林这种大空间、大面积、复杂环境的特点，传统的火灾探测技术(感烟、感温等传感器型火灾探测器)受到诸多限制。
发明内容
本发明要解决的技术问题是针对上述现有技术的不足，提供一种基于视频图像的早期森林火灾检测方法，实现对早期森林火灾的实时检测。
一种基于视频图像的早期森林火灾检测方法，包括火焰检测和烟雾检测；
所述火焰检测包括以下步骤：
步骤1-1：采用颜色模型和三帧差法相结合对采集到的森林视频图像进行火焰区域的检测，并通过数学形态学进行处理，获得森林视频图像的疑似火焰区域；
步骤1-2：对疑似火焰区域分析提取火焰的有效静态特征；所述火焰的有效静态特征包括火焰的颜色特征和纹理特征；所述纹理特征采用灰度共生矩阵法和MB-LBP法进行提取；
步骤1-3：对疑似火焰区域分析提取火焰的有效动态特征；所述火焰的有效动态特征包括火焰的面积变化率、形态规则度和形态重叠度；
步骤1-4：将火焰的有效静态特征和有效动态特征进行特征融合，并用支持向量机进行分类，判断所采集到的森林图像是否有火焰存在；
所述烟雾检测包括以下步骤：
步骤2-1：采用背景差分法和暗通道先验算法相结合对采集到的森林视频图像进行烟雾区域的检测，并通过数学形态学进行处理，获得森林视频图像的疑似烟雾区域；
步骤2-2：对疑似烟雾区域分析提取烟雾的有效静态特征；所述烟雾的有效静态特征包括烟雾的颜色特征、纹理特征以及HOG特征；
步骤2-3：将烟雾的有效静态特征进行特征融合，并用支持向量机进行分类，判断所采集到的森林图像是否有烟雾存在。
采用上述技术方案所产生的有益效果在于：本发明提供的一种基于视频图像的早期森林火灾检测方法，同时兼顾了烟雾和火焰的识别，算法简单，检测速度快，准确率较高。并能实时检测视频中的火灾，排除森林环境中的干扰物影响，能准确的发现早期火情。
附图说明
图1为本发明实施例提供的一种基于视频图像的早期森林火灾检测方法的流程图；
图2为本发明实施例提供的提取疑似火焰区域算法的流程图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
一种基于视频图像的早期森林火灾检测方法，如图1所示，包括火焰检测和烟雾检测；
所述火焰检测包括以下步骤：
步骤1-1：采用颜色模型和三帧差法相结合对采集到的森林视频图像进行火焰区域的检测，并通过数学形态学进行处理，获得森林视频图像的疑似火焰区域；
步骤1-1-1：检测森林视频图像的颜色像素，并将RGB颜色空间和HSV颜色空间相结合，得到判断火焰颜色特征需满足的规则，如下所示：
规则1：R＞G ≥B
规则2：R＞Tr
规则3：S＞Ts
其中，R、G、B分别为RGB颜色空间中红、绿、蓝三个颜色通道，Tr为R通道的阈值，S为像素的饱和度，Ts为S通道的阈值；
步骤1-1-2：利用三侦差法提取森林视频图像中的运动目标，具体方法为：
步骤1-1-2-1：对连续的视频图像进行预处理；
步骤1-1-2-2：对于连续的三帧图像：k-1、k和k+1，首先对前两帧图像第k帧、第k-1帧和后两帧图像第k帧、第k+1帧分别进行差分运算，根据阈值判断后得到二值差分图像对所得到的的二值差分图像，对所得到的的二值差分图像对所得到的的二值差分图像做“与”运算，得到三帧差的图像D(x，y)，如下公式所示：
Figure BDA0001756634660000021
其中，
Figure BDA0001756634660000031
Figure BDA0001756634660000032
T为根据经验设置的阈值，(x，y)为图像上的像素点，fk(x，y)和fk-1(x，y)分别为第k帧和第k-1帧图像；
步骤1-1-2-3：将同时满足火焰颜色规则和运动规则的图像区域定义为疑似火焰区域。
步骤1-2：对疑似火焰区域分析提取火焰的有效静态特征。火焰的有效静态特征包括火焰的颜色特征和纹理特征；纹理特征采用灰度共生矩阵法和MB-LBP法进行提取；
步骤1-2-1：采用灰度共生矩阵法提取图像中火焰的纹理特征，具体方法为：
在图像中任意取一像素点(x，y)，灰度值是i，它附近的另一像素点为(x+a，y+b)，灰度值是j，这两像素点形成一个像素点对，该像素点对的灰度值为(i，j)。固定a和b，使像素点(x，y)在整幅图像内移动，此时就会产生很多像素点对。若灰度值的级数为L，则灰度值i和j共有L2种组合。然后统计出整幅图像中每一种(i，j)发生的次数，并对其进行归一化处理得到方阵[Pij]，则该方阵即为灰度共生矩阵。在方阵[Pij]基础上获得二次统计量，识别火焰时能排除干扰物的特征参数为角二阶矩、熵、对比度、逆差矩。各计算公式如下所示：
特征参数角二阶矩(即能量)C1如下公式所示：
Figure BDA0001756634660000033
特征参数熵C2如下公式所示：
Figure BDA0001756634660000034
特征参数对比度(即惯性矩)C3如下公式所示：
Figure BDA0001756634660000035
特征参数逆差矩(即局部平稳性)C4如下公式所示：
Figure BDA0001756634660000036
步骤1-2-2：将图像分成一个个小块，每个小块再分为一个个的小区域，小区域内的灰度平均值作为当前小区域的灰度值，与周围小区域灰度进行比较形成LBP特征，生成的特征称为MB-LBP，计算公式如下：
Figure BDA0001756634660000041
其中，
Figure BDA0001756634660000042
分别为中心区域块和周围8个相邻区域块的平均灰度值，p为权重，通过中心区域块的平均灰度值与周围的进行比较标记，小于时为1，大于时为0，n为第几个邻域块。
步骤1-3：对疑似火焰区域分析提取火焰的有效动态特征；火焰的有效动态特征包括火焰的面积变化率、形态规则度和形态重叠度；
步骤1-3-1：计算视频图像中火焰的面积变化率；
视频图像中相隔很短的几帧之间面积变化也很明显，视频图像中火焰区域的面积变化率ΔArate如下所示：
Figure BDA0001756634660000043
其中，A为视频图像中火焰的面积，Ai′+k为第i′+k帧的火焰面积，Ai′为第i′帧的火焰面积，ti′+k为i′+k帧的的时刻，ti′为i′帧的的时刻；
为了提高计算速度，将计算火焰面积转化为像素点进行计算，如下公示所示：
Figure BDA0001756634660000044
其中，Pi′+k为第i′+k帧的火焰区域内像素点数，Pi′表示第i′帧的火焰区域内像素点数；
步骤1-3-2：计算视频图像中火焰的形态规则度；
物体边缘越趋近于圆形其形态规则度越大，越接近1，边缘越复杂越不规则其形态规则度越小，越接近0，通过计算区域轮廓的形态规则度来区分移向镜头的高亮发光源和火焰。
视频图像中火焰的形态规则度如下公式所示：
Figure BDA0001756634660000045
其中，Li′为视频图像中火焰区域边缘像素点数，Ri′为视频图像中火焰区域面积为P时的圆形的半径；
利用边缘算子检测算法提取疑似区域的轮廓，求出轮廓的周长和面积，然后计算规则度。
步骤1-3-3：计算视频图像中火焰的形态重叠度；
对图像的亮度、色彩或者目标的面积、形态结构这些特征值进行提取分析，通过对比得出两帧视频两者重叠的比例；
所以视频图像中火焰的形态重叠度如下公式所示：
Figure BDA0001756634660000051
其中，fbh(xi′，yi′)和fbh(xi′+k，yi′+k)分别为疑似火焰目标提取得到的第i′帧和第i′+k帧图像中的点，Ωi′为第i′帧所有的像素点的合集所表示的该帧中的火焰区域，Ωi′+k为第i′+k帧所有的像素点的合集所表示的该帧中的火焰区域。
算法实现方式：对两幅提取的前景图像进行与运算和或运算后，用非0像素点的个数表面积求比值。
步骤1-4：将火焰的有效静态特征和有效动态特征进行特征融合，并用支持向量机进行分类，判断所采集到的森林视频图像是否有火焰存在，具体方法为：
使用支持向量机SVM做分类识别，训练支持向量机，选择核函数和惩罚因子C，训练集由两类样本组成，一个是有火的输入向量，另一个是没有火的输入向量。测试集的输入向量带入，预测时识别后的输出值如果是1，则说明从视频中隔帧采集的图像是有火的，如果是2，则说明从视频中隔帧采集的图像是无火的。再统计所有1所占比例，最终这个比例就是火焰样本所占所有样本的比例。
惩罚因子C的最佳值范围在最近的训练集和超平面之间的距离的最大值和分类误差的最小值两者之间。
本实施例根据多次实验选取惩罚因子C，选取RBF核函数来对火焰进行识别。
所述烟雾检测包括以下步骤：
步骤2-1：采用背景差分法和暗通道先验算法相结合对采集到的森林视频图像进行烟雾区域的检测，并通过数学形态学进行处理，获得森林视频图像的疑似烟雾区域；
步骤2-1-1：利用背景差分法将视频流中相对背景运动的物体分割出来，得到疑似烟雾区域。即利用视频序列中当前帧图像与背景图像的差分来检测是否有新物体出现。定义Fi′为视频中的第i′帧图像，B为预先设定的背景图像，Fi′中(x，y)位置的像素Fi′(x，y)为前景像素，当且仅当Fi′(x，y)满足|Fi′(x，y)-B(x，y)|＞Th时，前景像素所在区域疑似烟雾区域，其中，Th为判断像素是否为前景像素的阈值，凭经验设置。
步骤2-1-2：结合暗通道先验算法准确分割采集的森林图像中的烟雾区域。
步骤2-1-2-1：求取步骤2-1-1中分割的疑似烟雾区域的暗通道图像。
将采集的森林图像的暗通道定义为：
Figure BDA0001756634660000061
其中，JC表示图像J某一个颜色通道，ω(x)为以点x为中心的一个领域，Jdark为图像J的暗通道。
将图像在RGB空间进行分解，求得R、G、B三个分量中的最小值，得到一幅灰度图像，然后对这一幅灰度图像在某一局部块内取最小值，即可得到这幅图像的暗通道图像。
步骤2-1-2-2：基于暗通道进行图像的烟雾检测，区分出图像中的烟雾和其他运动目标。
已知烟雾成像模型中的透射率t和暗通道的关系，如下公式所示：
Figure BDA0001756634660000062
其中，
Figure BDA0001756634660000063
为归一化有烟雾图像
Figure BDA0001756634660000064
的暗通道。
定义烟雾的浓度Ds为烟雾图像暗通道的亮度，用如下公式表示：
Figure BDA0001756634660000065
其中，Is为暗通道图像各个像素点的亮度。
设置一个亮度的阈值Ih，将亮度大于阈值的区域判定为有烟雾，低于阈值的区域置零，判定为其他运动目标或者背景区域。
本实施例中，选取的阈值的大小为0.325，实际应用时可以根据环境不同改变阈值。
步骤2-2：对疑似烟雾区域分析提取烟雾的有效静态特征；所述烟雾的有效静态特征包括烟雾的颜色特征、纹理特征以及HOG特征；
步骤2-2-1：提取烟雾的颜色特征；
在RGB颜色空间和HSV颜色空间下，烟雾的颜色特征的判断条件如三个规则所示：
规则1：|Cmax-Cmin|＜T1
规则2：T2＜V＜T3
规则3：如果Cmax＝B，则|Cmax-Cmin|＜T4
其中，Cmax＝max(R，G，B)为RGB颜色空间中红、绿、蓝三个颜色通道的最大值，Cmin＝min(R，G，B)为RGB颜色空间中红、绿、蓝三个颜色通道的最小值，V＝(R+G+B)/3，T1…T4为根据经验设定的阈值。
步骤2-2-2：提取烟雾的HOG特征；计算图像的梯度，统计梯度的方向，直方图归一化后生成梯度向量。
步骤2-2-3：提取烟雾的纹理特征；
以领域内中心像素点gc的灰度值为阈值，与其邻域内周围像素点gp的灰度值比较，得到一个二进制值，再按一定规则对像素点不同位置加权求和，得到的十进制值即为该像素点的LBP值，其计算公式如下公式所示：
Figure BDA0001756634660000071
旋转不变模式LBP：描述为顺时针旋转领域得到一系列初始定义的LBP值，
取其最小值当作该邻域的LBP值，该模式实现了当图像发生旋转时，LBP值保持不变。
步骤2-3：将烟雾的有效静态特征进行特征融合，并用支持向量机进行分类，判断所采集到的森林视频图像是否有烟雾存在；
使用支持向量机SVM做分类识别，训练支持向量机，选择核函数和惩罚因子C，训练集由两类样本组成，一个是有烟雾的输入向量，另一个是没有烟雾的输入向量。测试集的输入向量带入预测时识别的输出值如果是1，则说明采集的视频图像中有烟雾，如果是2，则说明采集的视频图像中没有烟雾的。再统计所有1所占比例，最终这个比例就是烟雾样本占所有样本的比例。
本实施例中，采用本发明方法对四组不同的待测视频集进行火灾识别。
第一组待测视频集包括三个视频，每个视频场景均为含有火焰的情况，如表1所示：
表1含有火焰的视频集
视频 内容描述
视频1 火焰面积占视频视角的1/8
视频2 火焰面积占视频视角的1/16
视频3 火焰面积占视频视角的1/64
对第一组待测视频集进行火灾识别的结果如表2所示：
表2对含有火焰的视频集进行火灾识别的结果
视频 第几秒有火焰 检测到火焰的时间 误差时间
视频1 第1秒 第2秒 1秒
视频2 第3秒 第4秒 1秒
视频3 第7秒 第8秒 1秒
第二组待测视频集包括三个视频，每个视频场景均为含有稀薄烟雾的情况，如表3所示：
表3含有稀薄烟雾的视频集
视频 内容描述
视频1 点燃干草时产生的烟雾，无风
视频2 点燃塑料，废纸时产生的烟雾，无风
视频3 雨天，点燃废纸产生的稀薄烟雾，有风
对第二组待测视频集进行火灾识别的结果如表4所示：
表4对含有稀薄烟雾的视频集进行火灾识别的结果
视频 第几秒有烟雾 检测到烟雾的时间 误差时间
视频1 第2秒 第3秒 1秒
视频2 第7秒 第8秒 1秒
视频3 第10秒 第11秒 1秒
第三组待测视频集包括三个视频，每个视频场景均为含有疑似火焰干扰物的情况，如表5所示：
表5含有疑似火焰干扰物的视频集
视频 内容描述
视频1 以红黄为主要颜色的闪烁的LED灯
视频2 小汽车在黑暗中行驶并且开着闪灯
视频3 昏暗环境下点燃的蜡烛
对第三组待测视频集进行火灾识别的结果如表6所示：
表6对含有疑似火焰干扰物的视频集进行火灾识别的结果
视频 第几秒有火焰 检测到火焰的时间 误差时间
视频1 无火焰 未检测到
视频2 无火焰 未检测到
视频3 无火焰 未检测到
第四组待测视频集包括三个视频，每个视频场景均为含有疑似烟雾干扰物的情况，如表7所示：
表7含有疑似烟雾干扰物的视频集
视频 内容描述
视频1 学校操场穿白色衣服的男子做投篮动作
视频2 浓厚的晨雾
视频3 视频中大部分是天空和灰白色的胡泊水
对第四组待测视频集进行火灾识别的结果如表8所示：
表8对含有疑似烟雾干扰物的视频集进行火灾识别的结果
视频 第几秒有烟雾 检测到烟雾的时间 误差时间
视频1 无烟雾 未检测到
视频2 无烟雾 未检测到
视频3 无烟雾 未检测到
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (1)

1.一种基于视频图像的早期森林火灾检测方法，包括火焰检测和烟雾检测，其特征在于：所述火焰检测包括以下步骤：
步骤1.1、采用颜色模型和三帧差法相结合对采集到的森林视频图像进行火焰区域的检测，并通过数学形态学进行处理，获得森林视频图像的疑似火焰区域；
步骤1-1-1：检测森林视频图像的颜色像素，并将RGB颜色空间和HSV颜色空间相结合，得到判断火焰颜色特征需满足的规则，如下所示：
规则1：R>G≥B
规则2：R>Tr
规则3：S>Ts
其中，R、G、B分别为RGB颜色空间中红、绿、蓝三个颜色通道，Tr为R通道的阈值，S为像素的饱和度，Ts为S通道的阈值；
步骤1-1-2：利用三帧差法提取森林视频图像中的运动目标，具体方法为：
步骤1-1-2-1：对连续的视频图像进行预处理；
步骤1-1-2-2：对于连续的三帧图像:k-1、k和k+1,首先对前两帧图像第k帧、第k-1帧和后两帧图像第k帧、第k+1帧分别进行差分运算，根据阈值判断后得到二值差分图像，对所得到的的二值差分图像做“与”运算，得到三帧差的图像D(x,y)，如下公式所示：
Figure FDA0003302030500000011
其中，
Figure FDA0003302030500000012
Figure FDA0003302030500000013
T为设置的阈值，(x,y)为图像上的像素点，fk(x,y)和fk-1(x,y)分别为第k帧和第k-1帧图像；
步骤1-1-2-3：将同时满足火焰颜色规则和运动规则的图像区域定义为疑似火焰区域；
步骤1.2、对疑似火焰区域分析提取火焰的有效静态特征；所述火焰的有效静态特征包括火焰的颜色特征和纹理特征；所述纹理特征采用灰度共生矩阵法和MB-LBP法进行提取；
步骤1-2-1：采用灰度共生矩阵法提取图像中火焰的纹理特征，具体方法为：
在图像中任意取一像素点(x,y)，灰度值是i，它附近的另一像素点为(x+a,y+b)，灰度值是j，这两像素点形成一个像素点对，该像素点对的灰度值为(i,j)；固定a和b，使像素点(x,y)在整幅图像内移动，产生多个像素点对；若灰度值的级数为L，则灰度值i和j共有L2种组合；然后统计出整幅图像中每一种(i,j)发生的次数，并对其进行归一化处理得到方阵[Pij]，则该方阵即为灰度共生矩阵；在方阵[Pij]基础上获得二次统计量，识别火焰时能排除干扰物的特征参数为角二阶矩、熵、对比度、逆差矩；各计算公式如下所示：
特征参数角二阶矩C1如下公式所示：
Figure FDA0003302030500000021
特征参数熵C2如下公式所示：
Figure FDA0003302030500000022
特征参数对比度C3如下公式所示：
Figure FDA0003302030500000023
特征参数逆差矩C4如下公式所示：
Figure FDA0003302030500000024
步骤1-2-2：将图像分成一个个小块，每个小块再分为一个个的小区域，小区域内的灰度平均值作为当前小区域的灰度值，与周围小区域灰度进行比较形成LBP特征，生成的特征称为MB-LBP，计算公式如下：
Figure FDA0003302030500000025
其中，
Figure FDA0003302030500000026
分别为中心区域块和周围8个相邻区域块的平均灰度值，p为权重，通过中心区域块的平均灰度值与周围的进行比较标记，小于时为1，大于时为0，n为第几个邻域块；
步骤1.3、对疑似火焰区域分析提取火焰的有效动态特征；所述火焰的有效动态特征包括火焰的面积变化率、形态规则度和形态重叠度；
步骤1-3-1：计算视频图像中火焰的面积变化率；
视频图像中火焰区域的面积变化率△Arate如下所示：
Figure FDA0003302030500000031
其中，A为视频图像中火焰的面积,Ai′+k为第i′+k帧的火焰面积,Ai′为第i′帧的火焰面积，ti′+k为i′+k帧的的时刻，ti′为i′帧的的时刻；
将计算火焰面积转化为像素点进行计算，如下公示所示：
Figure FDA0003302030500000032
其中，Pi′+k为第i′+k帧的火焰区域内像素点数，Pi′表示第i′帧的火焰区域内像素点数；
步骤1-3-2：计算视频图像中火焰的形态规则度；
视频图像中火焰的形态规则度如下公式所示：
Figure FDA0003302030500000033
其中，Li′为视频图像中火焰区域边缘像素点数，Rd为视频图像中火焰区域面积为Pi′时的圆形的半径；
步骤1-3-3：计算视频图像中火焰的形态重叠度；
对图像的亮度、色彩或者目标的面积、形态结构这些特征值进行提取分析，通过对比得出两帧视频两者重叠的比例；
所以视频图像中火焰的形态重叠度如下公式所示：
Figure FDA0003302030500000034
其中，fbh(xi′,yi′)和fbh(xi′+k,yi′+k)分别为疑似火焰目标提取得到的第i′帧和第i′+k帧图像中的点，Ωi′为第i′帧所有的像素点的合集所表示的该帧中的火焰区域,Ωi′+k为第i′+k帧所有的像素点的合集所表示的该帧中的火焰区域；
步骤1.4、将火焰的有效静态特征和有效动态特征进行特征融合，并用支持向量机进行分类，判断所采集到的森林视频图像是否有火焰存在；
所述烟雾检测包括以下步骤：
步骤2.1、采用背景差分法和暗通道先验算法相结合对采集到的森林视频图像进行烟雾区域的检测，并通过数学形态学进行处理，获得森林视频图像的疑似烟雾区域；
步骤2-1-1：利用背景差分法将视频流中相对背景运动的物体分割出来，得到疑似烟雾区域；即利用视频序列中当前帧图像与背景图像的差分来检测是否有新物体出现；定义Fi′为视频中的第i′帧图像，B为预先设定的背景图像，Fi′中(x,y)位置的像素Fi′(x,y)为前景像素，当且仅当Fi′(x,y)满足|Fi′(x,y)-B(x,y)|>Th时，前景像素所在区域疑似烟雾区域，其中，Th为判断像素是否为前景像素的阈值；
步骤2-1-2：结合暗通道先验算法准确分割采集的森林图像中的烟雾区域；
步骤2-1-2-1：求取步骤2-1-1中分割的疑似烟雾区域的暗通道图像；
将采集的森林图像的暗通道定义为：
Figure FDA0003302030500000041
其中，JC表示图像J某一个颜色通道，ω(x)为以点x为中心的一个领域，Jdark为图像J的暗通道；
将图像在RGB空间进行分解，求得R、G、B三个分量中的最小值，得到一幅灰度图像，然后对这一幅灰度图像在某一局部块内取最小值，即可得到这幅图像的暗通道图像；
步骤2-1-2-2：基于暗通道进行图像的烟雾检测，区分出图像中的烟雾和其他运动目标；
已知烟雾成像模型中的透射率t和暗通道的关系，如下公式所示：
Figure FDA0003302030500000042
其中，
Figure FDA0003302030500000051
为归一化有烟雾图像
Figure FDA0003302030500000052
的暗通道；
定义烟雾的浓度Ds为烟雾图像暗通道的亮度，用如下公式表示：
Figure FDA0003302030500000053
其中，Is为暗通道图像各个像素点的亮度；
设置一个亮度的阈值Ih，将亮度大于阈值的区域判定为有烟雾，低于阈值的区域置零，判定为其他运动目标或者背景区域；
步骤2.2、对疑似烟雾区域分析提取烟雾的有效静态特征；所述烟雾的有效静态特征包括烟雾的颜色特征、纹理特征以及HOG特征；
步骤2-2-1：提取烟雾的颜色特征；
在RGB颜色空间和HSV颜色空间下，烟雾的颜色特征的判断条件如三个规则所示：
规则1：|Cmax-Cmin|＜T1
规则2：T2＜V＜T3
规则3：如果Cmax＝B，则|Cmax-Cmin|＜T4
其中，Cmax＝max(R,G,B)为RGB颜色空间中红、绿、蓝三个颜色通道的最大值，Cmin＝min(R,G,B)为RGB颜色空间中红、绿、蓝三个颜色通道的最小值，V＝(R+G+B)/3，T1…T4为设定的阈值；
步骤2-2-2：提取烟雾的HOG特征；计算图像的梯度，统计梯度的方向，直方图归一化后生成梯度向量；
步骤2-2-3：提取烟雾的纹理特征；
以领域内中心像素点gc的灰度值为阈值，与其邻域内周围像素点gp的灰度值比较，得到一个二进制值，再按一定规则对像素点不同位置加权求和，得到的十进制值即为该像素点的LBP值，其计算公式如下公式所示：
Figure FDA0003302030500000061
旋转不变模式LBP：描述为顺时针旋转领域得到一系列初始定义的LBP值，取其最小值当作该邻域的LBP值，该模式实现了当图像发生旋转时，LBP值保持不变；
步骤2.3、将烟雾的有效静态特征进行特征融合，并用支持向量机进行分类，判断所采集到的森林视频图像是否有烟雾存在。
CN201810889753.0A 2018-08-07 2018-08-07 一种基于视频图像的早期森林火灾检测方法 Expired - Fee Related CN109165577B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810889753.0A CN109165577B (zh) 2018-08-07 2018-08-07 一种基于视频图像的早期森林火灾检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810889753.0A CN109165577B (zh) 2018-08-07 2018-08-07 一种基于视频图像的早期森林火灾检测方法

Publications (2)

Publication Number Publication Date
CN109165577A CN109165577A (zh) 2019-01-08
CN109165577B true CN109165577B (zh) 2022-03-25

Family

ID=64895280

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810889753.0A Expired - Fee Related CN109165577B (zh) 2018-08-07 2018-08-07 一种基于视频图像的早期森林火灾检测方法

Country Status (1)

Country Link
CN (1) CN109165577B (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109671240A (zh) * 2019-01-23 2019-04-23 中国计量大学 一种基于气化炉火灾视频图像检测装置和方法
CN109978896A (zh) * 2019-04-04 2019-07-05 辽宁鼎汉奇辉电子系统工程有限公司 一种基于图像处理技术的铁路货车车厢烟火监测方法
CN110895701B (zh) * 2019-06-12 2023-03-24 河南理工大学 基于cn和fhog的森林火灾在线识别方法及装置
CN110427825B (zh) * 2019-07-01 2023-05-12 上海宝钢工业技术服务有限公司 基于关键帧与快速支持向量机融合的视频火焰识别方法
CN110503034A (zh) * 2019-08-21 2019-11-26 湖北泰龙互联通信股份有限公司 一种烟火图像精准识别方法及装置
CN110874592B (zh) * 2019-10-21 2023-05-16 南京信息职业技术学院 一种基于总有界变分的森林火灾烟雾图像检测方法
CN110991243A (zh) * 2019-11-01 2020-04-10 武汉纺织大学 一种基于颜色通道hsv结合卷积神经网络的秸秆燃烧识别方法
CN111145222A (zh) * 2019-12-30 2020-05-12 浙江中创天成科技有限公司 一种结合烟雾运动趋势和纹理特征的火灾检测方法
CN111310566A (zh) * 2020-01-16 2020-06-19 国网山西省电力公司电力科学研究院 一种静动态多特征融合的山火检测方法及系统
CN111553214B (zh) * 2020-04-20 2023-01-03 哈尔滨工程大学 一种驾驶员吸烟行为检测方法及系统
CN111666834A (zh) * 2020-05-20 2020-09-15 哈尔滨理工大学 一种基于图像识别技术的森林火灾自动监测识别系统及方法
CN111832392A (zh) * 2020-05-27 2020-10-27 湖北九感科技有限公司 火焰烟雾检测方法及装置
CN112132870B (zh) * 2020-09-27 2024-01-26 上海应用技术大学 森林火灾早期烟雾检测方法
CN112215182B (zh) * 2020-10-21 2023-12-08 中国人民解放军火箭军工程大学 一种适用于森林火灾的烟雾识别方法
CN112396121B (zh) * 2020-11-30 2024-02-02 北京华正明天信息技术股份有限公司 基于神经网络的烟雾图像分类方法
CN112132124A (zh) * 2020-11-30 2020-12-25 江苏久智环境科技服务有限公司 一种面向园林监控的vr视频实时检测方法
CN112861737A (zh) * 2021-02-11 2021-05-28 西北工业大学 一种基于图像暗通道与YoLov3的森林火灾烟雾检测方法
CN112972972B (zh) * 2021-03-31 2021-12-21 湖南现代德雷工程有限公司 一种用于建筑安全施工场地的智慧消防方法及系统
CN113298048B (zh) * 2021-07-08 2021-11-02 环球数科集团有限公司 一种基于计算机视觉的森林火灾检测及预警系统
CN114446002B (zh) * 2022-01-17 2023-10-31 厦门理工学院 火灾在线监测方法、装置、介质及系统
CN114842380B (zh) * 2022-04-27 2024-05-14 安徽工业大学科技园有限公司 一种火灾监测方法、装置、系统、存储器和处理器
CN115564971B (zh) * 2022-07-18 2023-06-16 广东柏奴斯股份有限公司 一种基于灰度共生矩阵的织带阻燃性能测试方法
CN115331383A (zh) * 2022-10-11 2022-11-11 杭州浩联智能科技有限公司 一种施工现场安全风险识别方法及系统
CN116092261A (zh) * 2023-01-13 2023-05-09 安徽辉联信息科技有限公司 一种区域智能化安防监控快速识别分析系统
CN116977327B (zh) * 2023-09-14 2023-12-15 山东拓新电气有限公司 一种滚筒驱动带式输送机烟雾检测方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101625789A (zh) * 2008-07-07 2010-01-13 北京东方泰坦科技有限公司 基于烟火智能识别的森林火灾实时监测方法
CN102867386A (zh) * 2012-09-10 2013-01-09 南京恩博科技有限公司 一种基于智能视频分析的森林烟火探测方法及其专用装置
CN104794486A (zh) * 2015-04-10 2015-07-22 电子科技大学 基于多特征融合的视频烟雾检测方法
CN106897720A (zh) * 2017-01-11 2017-06-27 济南中维世纪科技有限公司 一种基于视频分析的烟火检测方法及装置
CN107067007A (zh) * 2016-12-22 2017-08-18 河海大学 一种基于图像特征提取的多特征融合秸秆焚烧火灾检测方法
CN107316012A (zh) * 2017-06-14 2017-11-03 华南理工大学 小型无人直升机的火灾检测与跟踪方法
CN108038510A (zh) * 2017-12-22 2018-05-15 湖南源信光电科技股份有限公司 一种基于疑似火焰区域特征的检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101625789A (zh) * 2008-07-07 2010-01-13 北京东方泰坦科技有限公司 基于烟火智能识别的森林火灾实时监测方法
CN102867386A (zh) * 2012-09-10 2013-01-09 南京恩博科技有限公司 一种基于智能视频分析的森林烟火探测方法及其专用装置
CN104794486A (zh) * 2015-04-10 2015-07-22 电子科技大学 基于多特征融合的视频烟雾检测方法
CN107067007A (zh) * 2016-12-22 2017-08-18 河海大学 一种基于图像特征提取的多特征融合秸秆焚烧火灾检测方法
CN106897720A (zh) * 2017-01-11 2017-06-27 济南中维世纪科技有限公司 一种基于视频分析的烟火检测方法及装置
CN107316012A (zh) * 2017-06-14 2017-11-03 华南理工大学 小型无人直升机的火灾检测与跟踪方法
CN108038510A (zh) * 2017-12-22 2018-05-15 湖南源信光电科技股份有限公司 一种基于疑似火焰区域特征的检测方法

Also Published As

Publication number Publication date
CN109165577A (zh) 2019-01-08

Similar Documents

Publication Publication Date Title
CN109165577B (zh) 一种基于视频图像的早期森林火灾检测方法
Rachmadi et al. Vehicle color recognition using convolutional neural network
Hung et al. Multi-class predictive template for tree crown detection
Guo et al. Single-image shadow detection and removal using paired regions
Zhao et al. SVM based forest fire detection using static and dynamic features
Barnes et al. Visual detection of blemishes in potatoes using minimalist boosted classifiers
Ajmal et al. A comparison of RGB and HSV colour spaces for visual attention models
CN109918971B (zh) 监控视频中人数检测方法及装置
Wspanialy et al. Early powdery mildew detection system for application in greenhouse automation
CN110717896A (zh) 基于显著性标签信息传播模型的板带钢表面缺陷检测方法
Xiong et al. Early smoke detection of forest fires based on SVM image segmentation
CN106909883A (zh) 一种基于ros的模块化手部区域检测方法和装置
Zhang et al. Saliency detection and region of interest extraction based on multi-image common saliency analysis in satellite images
Ghahremannezhad et al. A new online approach for moving cast shadow suppression in traffic videos
CN107038690A (zh) 一种基于多特征融合的运动阴影去除方法
Fang et al. Detection of building shadow in remote sensing imagery of urban areas with fine spatial resolution based on saturation and near-infrared information
Du et al. Vision-based traffic light detection for intelligent vehicles
Wang et al. Extracting vegetation information from high dynamic range images with shadows: A comparison between deep learning and threshold methods
Castelo-Quispe et al. Optimization of brazil-nuts classification process through automation using colour spaces in computer vision
Jin et al. Vision-based forest fire detection using machine learning
Maheen et al. Machine learning algorithm for fire detection using color correlogram
CN110084160B (zh) 一种基于运动和亮度显著性特征的视频森林烟火检测方法
Munshi Fire detection methods based on various color spaces and gaussian mixture models
Hoseop et al. Image Database Generation and Management System for the Small-pixelized Airborne Target Recognition
CN108830834A (zh) 一种爬索机器人视频缺陷信息自动提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220325