CN110135269A - 一种基于混合颜色模型与神经网络的火灾图像检测方法 - Google Patents

一种基于混合颜色模型与神经网络的火灾图像检测方法 Download PDF

Info

Publication number
CN110135269A
CN110135269A CN201910313133.7A CN201910313133A CN110135269A CN 110135269 A CN110135269 A CN 110135269A CN 201910313133 A CN201910313133 A CN 201910313133A CN 110135269 A CN110135269 A CN 110135269A
Authority
CN
China
Prior art keywords
image
region
layer
flame
color model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910313133.7A
Other languages
English (en)
Other versions
CN110135269B (zh
Inventor
何志伟
吴凡
高明煜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201910313133.7A priority Critical patent/CN110135269B/zh
Publication of CN110135269A publication Critical patent/CN110135269A/zh
Application granted granted Critical
Publication of CN110135269B publication Critical patent/CN110135269B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
    • G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于混合颜色模型与神经网络的火灾图像检测方法。本发明方法首先对监控视频图像进行帧间差分法获得运动前景区域；接着通过混合颜色模型提取符合火焰颜色特征的区域，同时进行二次颜色区域扩展得到颜色模型过滤出的候选区域；将运动前景区域与颜色候选区域取并集得到疑似火焰区域；最后，构建密集连接卷积神经网络，通过训练好的网络模型与二次混合颜色模型综合判断疑似火焰区域是否出现火情。本发明方法通过运动检测和混合颜色模型获得了精度较高的火焰候选区域，检测速度快，深度神经网络则保证了火焰检测准确率以及泛化能力，可以广泛部署于实际的智能安防系统中，预警火情减少火灾带来的损失。

Description

一种基于混合颜色模型与神经网络的火灾图像检测方法
技术领域
本发明属于图像处理和目标检测技术领域，具体涉及一种基于混合颜色模型与神经网络的火灾图像检测方法。
背景技术
现代社会中，火灾事故的频发威胁了人们的生命财产安全，如何实时准确的检测到火灾的发生一直是智能监控安防工程关注的重点领域，也是图像识别领域的一个重要课题。随着计算机视觉技术的不断进步，对于火灾这一具有显著视觉信息的灾害事故，通过监控视频实时检测到火灾的发生已成为可能。
现有的火灾检测技术分为传统火灾识别传感器检测以及基于视频图像的火灾检测，其中传统火灾探测器有感光器型探测器、气体型探测器、感温型传感器以及感烟型传感器，他们大多利用火灾发生时的物理变化特性来识别是否出现火焰，但其都或多或少存在检测范围小、易受外界干扰、检测速度慢等缺点，尤其是检测范围的限制导致其只能部署在狭小室内，无法覆盖大片区域。而基于视频图像的火灾检测又分为基于颜色、形态等人工定义特征的方法与基于深度学习目标检测的方法，对于利用人工选定特征的火灾检测方法，其优点是检测速度快，但由于其特征不完善存在易误检、泛化能力差等缺点，对于颜色或形态相近的物体难以与火焰严格区分。随着深度学习技术的不断发展，采用卷积神经网络检测火焰的方法在检测精度方面得到了较大的提升，卷积神经网络通过已有标签的训练图像，在迭代学习的过程中自动获得火焰的图像的特征，且合理利用正则化和drop out方法，神经网络的提取特征的泛化能力大大优于手工提取的特征。但对于火灾检测工程而言，难以获得大型目标检测网络所需的带标签的训练样本，且由于这些算法的运算量很大，难以保证可以在监控环境下进行实时检测。
发明内容
本发明的目的是针对现有技术不能很好的应用于实际工程中，提供一种基于混合颜色模型与神经网络的火灾图像检测方法，混合颜色模型能快速的识别出并精确定位可能存在火焰的区域，过滤视频帧中大量非火焰信息，在通过卷积神经网络精确地判断出是否出现火灾。
本发明方法的具体步骤如下：
步骤(1).利用帧间差分法获得监控视频帧的运动前景目标：
(1-1).通过对比视频中前后两帧图像的差异度，来识别是否存在运动物体，运动前景的前景掩膜的表达式为：
其中，fmask(x,y)为前后帧图像的差分图像，即运动前景掩膜，255表示将运动目标在灰度图上设置为白色，0代表非运动区域设置为黑色，It和It-1分别表示原图像在t和t-1时刻的图像，T表示设定的阈值，即当差分出来的图像中非0点个数大于T时，则获取运动区域将差分图像二值化，二值化后的白色区域即表示运动区域；
(1-2).取得前景后，对其进行形态学操作以过滤细微抖动带来的噪声；
(1-3).将每n帧的前景掩膜累加，构成一个融合n帧运动信息的掩膜。
步骤(2).每隔n帧对图像采用混合颜色模型提取火焰的候选区域：
(2-1).为了实现监控视频实时检测的功能，加快程序运行效率，每n帧进行混合颜色模型提取火焰候选区域；将源监控视频RGB图像生成备份，并转换成HSV颜色空间，对两个颜色空间添加相应颜色模型约束，获取初步颜色候选区域，得到疑似火焰区域对应的掩膜cmask，具体约束条件如下：
Hmin＜H＜Hmax，
(S1min＜S＜S1max)∪(S2min＜S＜S2max)，
Vmin＜V＜Vmax，
R＞RT，
R≥G＞B，
S≥((255-R)×ST/RT)，
(abs(R-G)＞T1)∪(abs(G-B)＞T2)，
abs(R-B)+abs(G-B)＞15；
其中H、S、V分别为像素的色调、饱和度、明度，R、G、B分别为像素的红色、绿色、蓝色分量，Hmin和Hmax为色调分量的区间阈值，S1min和S1max为饱和度分量的一组区间阈值，S2min和S2max为饱和度分量的另一组区间阈值，Vmin和Vmax是明度的区间阈值，RT为红色分量阈值，ST为饱和度自适应阈值，T1和T2为RGB空间经验阈值；
(2-2).对颜色掩膜cmask进行二次区域扩展，补全疑似火焰区域的中心空洞：
首先将源监控图像分成10×10等尺寸区域，统计每个区域的掩膜像素平均明度VA：
然后获取每个区域的扩展颜色掩膜，当区域内像素的明度大于VA时，将该像素加入扩展颜色掩膜csup：
最终的颜色掩膜cmask为：cmask＝cmask∪csup。
步骤(3).通过运动候选区域fmask与颜色候选区域cmask得到候选火焰区域：
将得到颜色候选区域cmask与运动前景区域fmask进行对比得到火焰候选区域掩膜Mask：Mask＝fmask∩cmask；
对掩膜Mask进行形态学操作，并获取其最小外接矩形，从源监控图像中截取出来构成候选火焰图像集Frpn。
步骤(4).准备训练神经网络所需的训练图片集以及测试图片集：
准备的训练数据包括带火焰图像的正样本和非火焰图像的负样本；正样本的构成包括人工截取的火焰图像和通过上述混合颜色模型获取的视频帧图像共同构成，数量大于10000张；通过设置在路口和室内的监控，获取真实应用场景下的视频，将不存在火焰的视频帧构成负样本；正负样本张数比例为1:0.8～1.2。
步骤(5).通过密集连接卷积神经网络对候选火焰图像进行分类：
(5-1).构建密集连接卷积神经网络：
密集连接卷积神经网络是一种深度神经网络。网络层数共有121层，包括前置的1个卷积层和最大池化操作，接着交替进行4个密集连接块与3个过渡层的操作，后进行全局平均池化，最后接1层全连接层与激活函数softmax进行分类操作，具体网络构成如下：
将训练集中的图像大小固定为224×224尺寸，作为输入层。
第1层为卷积层，卷积核大小3×3，步长为2；进行批归一化后，采用Relu函数激活，最后进行最大池化操作，核函数大小为3×3，步长为2；最大池化将特征图不重叠地分割成多个同样大小的小块，每个小块只取最大的数字，舍弃小块中其他节点，保持原有的平面结构，起到降采样的作用；
第2层到第13层为第一个密集连接块，该密集连接块由6个卷积结构组成，每个卷积结构由批归一化加上Relu激活函数再加上卷积核大小为1×1，步长为1的卷积层，接上一组批归一化加上Relu激活函数加上卷积核大小为3×3，步长为1的卷积层的复合结构构成；由于采用密集连接的方式，每个卷积结构的输入由之前所有卷积结构的输出组合而成；
第14层为过渡层，由批归一化操作、Relu激活函数以及1个卷积核大小1×1，步长为1的卷积层构成，然后进行平均池化操作，核函数大小为2×2，步长为2；
第15层到第38层为第二个密集连接块，该密集连接块由12个卷积结构组成。第39层为过渡层；
第40层到第87层为第三个密集连接块，该密集连接块由24个卷积结构组成；
第88层为过渡层；
第89层到第120层为第四个密集连接块，该密集连接块由16个卷积结构组成；
第121层为全连接层，先进行2维自适应平均池化，核函数大小为1×1，即将之前的特征张量转换成全连接层所需的一维神经元；然后进行一层全连接层操作，输出的神经元个数为分类器类别的个数2，即火焰或非火焰；最后进行softmax操作，获得类别概率；
为了防止过拟合，在每个密集连接块之间添加了drop out操作来增加模型的泛化能力；
(5-2).通过训练集对网络进行训练：
采用的损失函数为交叉熵损失函数：
优化器设置为随机梯度下降，并在每m次迭代后学习率衰减0.1，m＜10，保存训练的网络以及最优参数；
(5-3).对将步骤(3)获取的Frpn图像进行分类：将Frpn中每张图像输入到网络中，计算类别以及类别概率，若分类结果为火焰且类别概率大于类别阈值c，则保存该图像在源监控视频帧中的空间位置信息(x,y,w,h)；x、y为该图像的原点在源视频帧中的坐标，w、h为该图像的宽和高；保存下来的图像集标为Fc。
步骤(6).对Fc进行二次混合颜色判断：将Fc中的图像再一次进行步骤(3)中的混合颜色判断，计算符合混合颜色模型的像素占该区域图像总像素值的百分比，若百分比高于阈值则认定该图像中确实出现火焰，在源视频帧中将该区域所在位置用矩形框框选出来报警。
本发明具有以下有益效果：
(1)本发明采用运动特征与混合颜色特征结合的候选区域选择机制，能有效的排除大部分监控视频帧非火焰区域，并采用每n帧进行混合颜色模型检查的方法，可以达到实时检测的效果，在720p的监控视频流中可以保持25帧每秒的稳定检测速度。
(2)本发明采用的混合颜色模型预选疑似火焰区域加明度模型扩展预选区域的操作，使得预选区域掩膜空洞更少，连通程度更好，在计算外包矩形的时能更完整精确地框选处疑似火焰的区域。
(3)本发明采用的密集连接卷积神经网络层数更深，但在加深层数的情况下因采用了密集连接，参数数量并没有增加，检测速度快且检测精度更高，能在训练数据不充分的情况下训练出更好的权重模型。
(4)由于深度神经网络分类器能很好的识别出正样本，本发明采用的二次混合颜色模型判断可以在不增加大量时间成本的情况下进一步减少误判。
(5)通过本发明设计的基于混合颜色模型与神经网络的火灾图像检测方法，可以在如森林、厂房内部、交通枢纽等不同场景下已布置的监控视频流实现火焰检测，在不增加额外的部署成本的同时实现火警智能安防。
附图说明
图1是本发明方法的总体流程图。
具体实施方式
以下将结合附图和具体实施例对本发明进一步详细说明。
参照图1所示的流程图，本发明提出的一种基于混合颜色模型与神经网络的火灾图像检测方法，具体包括以下步骤：
步骤(1).利用帧间差分法获得监控视频帧的运动前景目标：
(1-1).通过对比视频中前后两帧图像的差异度，来识别是否存在运动物体，运动前景的前景掩膜的表达式为：
其中，fmask(x,y)为前后帧图像的差分图像，即运动前景掩膜，255表示将运动目标在灰度图上设置为白色，0代表非运动区域设置为黑色，It和It-1分别表示原图像在t和t-1时刻的图像，T表示设定的阈值，即当差分出来的图像中非0点个数大于T时，则获取运动区域将差分图像二值化，二值化后的白色区域即表示运动区域；
(1-2).取得前景后，对其进行形态学操作以过滤细微抖动带来的噪声；
(1-3).将每n帧的前景掩膜累加，构成一个融合n帧运动信息的掩膜。
步骤(2).每隔n帧对图像采用混合颜色模型提取火焰的候选区域：
(2-1).为了实现监控视频实时检测的功能，加快程序运行效率，每n帧进行混合颜色模型提取火焰候选区域；将源监控视频RGB图像生成备份，并转换成HSV颜色空间，对两个颜色空间添加相应颜色模型约束，获取初步颜色候选区域，得到疑似火焰区域对应的掩膜cmask，具体约束条件如下：
Hmin＜H＜Hmax，
(S1min＜S＜S1max)∪(S2min＜S＜S2max)，
Vmin＜V＜Vmax，
R＞RT，
R≥G＞B，
S≥((255-R)×ST/RT)，
(abs(R-G)＞T1)∪(abs(G-B)＞T2)，
abs(R-B)+abs(G-B)＞15；
其中H、S、V分别为像素的色调、饱和度、明度，R、G、B分别为像素的红色、绿色、蓝色分量，Hmin和Hmax为色调分量的区间阈值，S1min和S1max为饱和度分量的一组区间阈值，S2min和S2max为饱和度分量的另一组区间阈值，Vmin和Vmax是明度的区间阈值，RT为红色分量阈值，ST为饱和度自适应阈值，T1和T2为RGB空间经验阈值；
(2-2).对颜色掩膜cmask进行二次区域扩展，补全疑似火焰区域的中心空洞：
首先将源监控图像分成10×10等尺寸区域，统计每个区域的掩膜像素平均明度VA：
然后获取每个区域的扩展颜色掩膜，当区域内像素的明度大于VA时，将该像素加入扩展颜色掩膜csup：
最终的颜色掩膜cmask为：cmask＝cmask∪csup。
步骤(3).通过运动候选区域fmask与颜色候选区域cmask得到候选火焰区域：
将得到颜色候选区域cmask与运动前景区域fmask进行对比得到火焰候选区域掩膜Mask：Mask＝fmask∩cmask；
对掩膜Mask进行形态学操作，并获取其最小外接矩形，从源监控图像中截取出来构成候选火焰图像集Frpn。
步骤(4).准备训练神经网络所需的训练图片集以及测试图片集：
准备的训练数据包括带火焰图像的正样本和非火焰图像的负样本；正样本的构成包括人工截取的火焰图像和通过上述混合颜色模型获取的视频帧图像共同构成，数量大于10000张；通过设置在路口和室内的监控，获取真实应用场景下的视频，将不存在火焰的视频帧构成负样本；正负样本张数比例大致为1:1。
(5-1).构建密集连接卷积神经网络：
密集连接卷积神经网络是一种深度神经网络。网络层数共有121层，包括前置的1个卷积层和最大池化操作，接着交替进行4个密集连接块与3个过渡层的操作，后进行全局平均池化，最后接1层全连接层与激活函数softmax进行分类操作，具体网络构成如下：
将训练集中的图像大小固定为224×224尺寸，作为输入层。
第1层为卷积层，卷积核大小3×3，步长为2；进行批归一化后，采用Relu函数激活，最后进行最大池化操作，核函数大小为3×3，步长为2；最大池化将特征图不重叠地分割成多个同样大小的小块，每个小块只取最大的数字，舍弃小块中其他节点，保持原有的平面结构，起到降采样的作用；
第2层到第13层为第一个密集连接块，该密集连接块由6个卷积结构组成，每个卷积结构由批归一化加上Relu激活函数再加上卷积核大小为1×1，步长为1的卷积层，接上一组批归一化加上Relu激活函数加上卷积核大小为3×3，步长为1的卷积层的复合结构构成；由于采用密集连接的方式，每个卷积结构的输入由之前所有卷积结构的输出组合而成；
第14层为过渡层，由批归一化操作、Relu激活函数以及1个卷积核大小1×1，步长为1的卷积层构成，然后进行平均池化操作，核函数大小为2×2，步长为2；
第15层到第38层为第二个密集连接块，该密集连接块由12个卷积结构组成。第39层为过渡层；
第40层到第87层为第三个密集连接块，该密集连接块由24个卷积结构组成；
第88层为过渡层；
第89层到第120层为第四个密集连接块，该密集连接块由16个卷积结构组成；
第121层为全连接层，先进行2维自适应平均池化，核函数大小为1×1，即将之前的特征张量转换成全连接层所需的一维神经元；然后进行一层全连接层操作，输出的神经元个数为分类器类别的个数2，即火焰或非火焰；最后进行softmax操作，获得类别概率；
为了防止过拟合，在每个密集连接块之间添加了drop out操作来增加模型的泛化能力；
(5-2).通过训练集对网络进行训练：
采用的损失函数为交叉熵损失函数：
优化器设置为随机梯度下降，并在每m次迭代后学习率衰减0.1，m＜10，保存训练的网络以及最优参数；
(5-3).对将步骤(3)获取的Frpn图像进行分类：将Frpn中每张图像输入到网络中，计算类别以及类别概率，若分类结果为火焰且类别概率大于类别阈值c，则保存该图像在源监控视频帧中的空间位置信息(x,y,w,h)；x、y为该图像的原点在源视频帧中的坐标，w、h为该图像的宽和高；保存下来的图像集标为Fc。
步骤(6).对Fc进行二次混合颜色判断：将Fc中的图像再一次进行步骤(3)中的混合颜色判断，计算符合混合颜色模型的像素占该区域图像总像素值的百分比，若百分比高于阈值则认定该图像中确实出现火焰，在源视频帧中将该区域所在位置用矩形框框选出来报警。
以上步骤即为基于混合颜色模型与神经网络的火灾图像检测方法的全过程。

Claims (6)

1.一种基于混合颜色模型与神经网络的火灾图像检测方法，其特征在于，该方法的具体步骤如下：
步骤(1).利用帧间差分法获得监控视频帧的运动前景目标：
(1-1).通过对比视频中前后两帧图像的差异度，来识别是否存在运动物体，运动前景的前景掩膜的表达式为：
其中，fmask(x,y)为前后帧图像的差分图像，即运动前景掩膜，255表示将运动目标在灰度图上设置为白色，0代表非运动区域设置为黑色，It和It-1分别表示原图像在t和t-1时刻的图像，T表示设定的阈值，即当差分出来的图像中非0点个数大于T时，则获取运动区域将差分图像二值化，二值化后的白色区域即表示运动区域；
(1-2).取得前景后，对其进行形态学操作以过滤细微抖动带来的噪声；
(1-3).将每n帧的前景掩膜累加，构成一个融合n帧运动信息的掩膜；
步骤(2).每隔n帧对图像采用混合颜色模型提取火焰的候选区域：
(2-1).每n帧进行混合颜色模型提取火焰候选区域；将源监控视频RGB图像生成备份，并转换成HSV颜色空间，对两个颜色空间添加相应颜色模型约束，获取初步颜色候选区域，得到疑似火焰区域对应的掩膜cmask，具体约束条件如下：
Hmin＜H＜Hmax，
(S1min＜S＜S1max)∪(S2min＜S＜S2max)，
Vmin＜V＜Vmax，
R＞RT，
R≥G＞B，
S≥((255-R)×ST/RT)，
(abs(R-G)＞T1)∪(abs(G-B)＞T2)，
abs(R-B)+abs(G-B)＞15；
其中H、S、V分别为像素的色调、饱和度、明度，R、G、B分别为像素的红色、绿色、蓝色分量，Hmin和Hmax为色调分量的区间阈值，S1min和S1max为饱和度分量的一组区间阈值，S2min和S2max为饱和度分量的另一组区间阈值，Vmin和Vmax是明度的区间阈值，RT为红色分量阈值，ST为饱和度自适应阈值，T1和T2为RGB空间经验阈值；
(2-2).对颜色掩膜cmask进行二次区域扩展，补全疑似火焰区域的中心空洞：
首先将源监控图像分成10×10等尺寸区域，统计每个区域的掩膜像素平均明度VA：
然后获取每个区域的扩展颜色掩膜，当区域内像素的明度大于VA时，将该像素加入扩展颜色掩膜csup：
最终的颜色掩膜cmask为：cmask＝cmask∪csup；
步骤(3).通过运动候选区域fmask与颜色候选区域cmask得到候选火焰区域：
将得到颜色候选区域cmask与运动前景区域fmask进行对比得到火焰候选区域掩膜Mask：Mask＝fmask∩cmask；
对掩膜Mask进行形态学操作，并获取其最小外接矩形，从源监控图像中截取出来构成候选火焰图像集Frpn；
步骤(4).准备训练神经网络所需的训练图片集以及测试图片集：
准备的训练数据包括带火焰图像的正样本和非火焰图像的负样本；正样本的构成包括人工截取的火焰图像和通过上述混合颜色模型获取的视频帧图像共同构成；通过设置在路口和室内的监控，获取真实应用场景下的视频，将不存在火焰的视频帧构成负样本；
步骤(5).通过密集连接卷积神经网络对候选火焰图像进行分类：
(5-1).构建密集连接卷积神经网络：
密集连接卷积神经网络是一种深度神经网络；网络层数共有121层，包括前置的1个卷积层和最大池化操作，接着交替进行4个密集连接块与3个过渡层的操作，后进行全局平均池化，最后接1层全连接层与激活函数softmax进行分类操作；
(5-2).通过训练集对网络进行训练：
采用的损失函数为交叉熵损失函数：
优化器设置为随机梯度下降，并在每m次迭代后学习率衰减0.1，保存训练的网络以及最优参数；
(5-3).对将步骤(3)获取的Frpn图像进行分类：将Frpn中每张图像输入到网络中，计算类别以及类别概率，若分类结果为火焰且类别概率大于类别阈值c，则保存该图像在源监控视频帧中的空间位置信息(x,y,w,h)；x、y为该图像的原点在源视频帧中的坐标，w、h为该图像的宽和高；保存下来的图像集标为Fc；
步骤(6).对Fc进行二次混合颜色判断：将Fc中的图像再一次进行步骤(3)中的混合颜色判断，计算符合混合颜色模型的像素占该区域图像总像素值的百分比，若百分比高于阈值则认定该图像中确实出现火焰，在源视频帧中将该区域所在位置用矩形框框选出来报警。
2.如权利要求1所述的一种基于混合颜色模型与神经网络的火灾图像检测方法，其特征在于：步骤(4)中所述的正样本的数量大于10000张。
3.如权利要求1所述的一种基于混合颜色模型与神经网络的火灾图像检测方法，其特征在于：步骤(4)中正负样本张数比例为1:0.8～1.2。
4.如权利要求1所述的一种基于混合颜色模型与神经网络的火灾图像检测方法，其特征在于：步骤(5)中m＜10。
5.如权利要求1所述的一种基于混合颜色模型与神经网络的火灾图像检测方法，其特征在于：步骤(5)所述的密集连接卷积神经网络具体网络构成如下：
将训练集中的图像大小固定为224×224尺寸，作为输入层；
第1层为卷积层，卷积核大小3×3，步长为2；进行批归一化后，采用Relu函数激活，最后进行最大池化操作，核函数大小为3×3，步长为2；最大池化将特征图不重叠地分割成多个同样大小的小块，每个小块只取最大的数字，舍弃小块中其他节点，保持原有的平面结构，起到降采样的作用；
第2层到第13层为第一个密集连接块，该密集连接块由6个卷积结构组成，每个卷积结构由批归一化加上Relu激活函数再加上卷积核大小为1×1，步长为1的卷积层，接上一组批归一化加上Relu激活函数加上卷积核大小为3×3，步长为1的卷积层的复合结构构成；每个卷积结构的输入由之前所有卷积结构的输出组合而成；
第14层为过渡层，由批归一化操作、Relu激活函数以及1个卷积核大小1×1，步长为1的卷积层构成，然后进行平均池化操作，核函数大小为2×2，步长为2；
第15层到第38层为第二个密集连接块，该密集连接块由12个卷积结构组成；第39层为过渡层；
第40层到第87层为第三个密集连接块，该密集连接块由24个卷积结构组成；
第88层为过渡层；
第89层到第120层为第四个密集连接块，该密集连接块由16个卷积结构组成；
第121层为全连接层，先进行2维自适应平均池化，核函数大小为1×1，即将之前的特征张量转换成全连接层所需的一维神经元；然后进行一层全连接层操作，输出的神经元个数为分类器类别的个数2，即火焰或非火焰；最后进行softmax操作，获得类别概率。
6.如权利要求5所述的一种基于混合颜色模型与神经网络的火灾图像检测方法，其特征在于：在所述的每个密集连接块之间添加了drop out操作来增加模型的泛化能力。
CN201910313133.7A 2019-04-18 2019-04-18 一种基于混合颜色模型与神经网络的火灾图像检测方法 Active CN110135269B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910313133.7A CN110135269B (zh) 2019-04-18 2019-04-18 一种基于混合颜色模型与神经网络的火灾图像检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910313133.7A CN110135269B (zh) 2019-04-18 2019-04-18 一种基于混合颜色模型与神经网络的火灾图像检测方法

Publications (2)

Publication Number Publication Date
CN110135269A true CN110135269A (zh) 2019-08-16
CN110135269B CN110135269B (zh) 2020-12-08

Family

ID=67570211

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910313133.7A Active CN110135269B (zh) 2019-04-18 2019-04-18 一种基于混合颜色模型与神经网络的火灾图像检测方法

Country Status (1)

Country Link
CN (1) CN110135269B (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110765858A (zh) * 2019-09-14 2020-02-07 杭州拓深科技有限公司 一种基于卷积神经网络的非入侵式故障电弧监测方法
CN110941988A (zh) * 2019-10-11 2020-03-31 国网安徽省电力有限公司检修分公司 火焰识别方法、系统以及用于识别火焰的神经网络
CN111127433A (zh) * 2019-12-24 2020-05-08 深圳集智数字科技有限公司 一种检测火焰的方法及装置
CN111126293A (zh) * 2019-12-25 2020-05-08 国网智能科技股份有限公司 一种火焰和烟雾异常情况检测方法及系统
CN111523528A (zh) * 2020-07-03 2020-08-11 平安国际智慧城市科技股份有限公司 基于规模识别模型的策略发送方法、装置和计算机设备
CN111613037A (zh) * 2020-04-30 2020-09-01 杭州拓深科技有限公司 一种基于智能算法的降低复合烟感误报的方法
CN111814617A (zh) * 2020-06-28 2020-10-23 智慧眼科技股份有限公司 基于视频的火灾判定方法、装置、计算机设备及存储介质
CN111814638A (zh) * 2020-06-30 2020-10-23 成都睿沿科技有限公司 基于深度学习的安防场景火焰检测方法
CN111814725A (zh) * 2020-07-20 2020-10-23 北京华正明天信息技术股份有限公司 一种基于cnn+lstm+mlp组合神经网络判断监控视频着火的预警方法
CN112396026A (zh) * 2020-11-30 2021-02-23 北京华正明天信息技术股份有限公司 基于特征聚合与密集连接的火灾图像特征提取方法
CN113112502A (zh) * 2021-05-11 2021-07-13 上海非夕机器人科技有限公司 线缆检测方法、机器人和具有存储功能的装置
CN113450301A (zh) * 2020-03-24 2021-09-28 富华科精密工业（深圳）有限公司 小火焰检测方法及计算机装置
CN113537204A (zh) * 2020-04-20 2021-10-22 富华科精密工业（深圳）有限公司 基于红外特征、机器学习的小火焰检测方法及计算机装置
CN113657250A (zh) * 2021-08-16 2021-11-16 南京图菱视频科技有限公司 一种基于监控视频的火焰检测方法及系统
CN113688748A (zh) * 2021-08-27 2021-11-23 武汉大千信息技术有限公司 一种火灾检测的模型及方法
CN114155457A (zh) * 2021-11-16 2022-03-08 华南师范大学 基于火焰动态识别的控制方法及控制装置
CN114283367A (zh) * 2021-12-26 2022-04-05 特斯联科技集团有限公司 用于园区火灾预警的人工智能明火探测方法及系统
CN115272169A (zh) * 2022-05-26 2022-11-01 国网江苏省电力有限公司常州供电分公司 基于智能机器人的绝缘子检测方法和系统
CN116092261A (zh) * 2023-01-13 2023-05-09 安徽辉联信息科技有限公司 一种区域智能化安防监控快速识别分析系统
CN117853935A (zh) * 2024-03-07 2024-04-09 河南胜华电缆集团有限公司 一种基于视觉分析的电缆火焰蔓延检测方法、装置和服务平台

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202472841U (zh) * 2011-12-19 2012-10-03 南京农业大学 基于物联网的森林火灾监测预警系统
CN104933728A (zh) * 2015-07-13 2015-09-23 天津理工大学 一种混合运动目标检测方法
CN106845443A (zh) * 2017-02-15 2017-06-13 福建船政交通职业学院 基于多特征融合的视频火焰检测方法
CN107657619A (zh) * 2017-10-13 2018-02-02 西安科技大学 一种低照度林火图像分割方法
CN107749067A (zh) * 2017-09-13 2018-03-02 华侨大学 基于运动特性和卷积神经网络的火灾烟雾检测方法
US20180211107A1 (en) * 2015-06-22 2018-07-26 Photomyne Ltd. System and Method for Detecting Objects in an Image
CN108765335A (zh) * 2018-05-25 2018-11-06 电子科技大学 一种基于遥感图像的森林火灾检测方法
CN108876856A (zh) * 2018-06-29 2018-11-23 北京航空航天大学 一种大型建筑火灾火源识别定位方法及系统
CN109376747A (zh) * 2018-12-11 2019-02-22 北京工业大学 一种基于双流卷积神经网络的视频火焰检测方法
CN109409256A (zh) * 2018-10-10 2019-03-01 东南大学 一种基于3d卷积神经网络的森林烟火检测方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202472841U (zh) * 2011-12-19 2012-10-03 南京农业大学 基于物联网的森林火灾监测预警系统
US20180211107A1 (en) * 2015-06-22 2018-07-26 Photomyne Ltd. System and Method for Detecting Objects in an Image
CN104933728A (zh) * 2015-07-13 2015-09-23 天津理工大学 一种混合运动目标检测方法
CN106845443A (zh) * 2017-02-15 2017-06-13 福建船政交通职业学院 基于多特征融合的视频火焰检测方法
CN107749067A (zh) * 2017-09-13 2018-03-02 华侨大学 基于运动特性和卷积神经网络的火灾烟雾检测方法
CN107657619A (zh) * 2017-10-13 2018-02-02 西安科技大学 一种低照度林火图像分割方法
CN108765335A (zh) * 2018-05-25 2018-11-06 电子科技大学 一种基于遥感图像的森林火灾检测方法
CN108876856A (zh) * 2018-06-29 2018-11-23 北京航空航天大学 一种大型建筑火灾火源识别定位方法及系统
CN109409256A (zh) * 2018-10-10 2019-03-01 东南大学 一种基于3d卷积神经网络的森林烟火检测方法
CN109376747A (zh) * 2018-12-11 2019-02-22 北京工业大学 一种基于双流卷积神经网络的视频火焰检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
DAVINIA FONT ET AL: "Vineyard Yield Estimation Based on the Analysis of High", 《SENSORS》 *
GAO HUANG ET AL: "Densely Connected Convolutional Networks", 《ARXIV:1608.06993V5》 *
HAIDAR R SHAKIR ET AL: "Single Face Detection Based on Skin Color and Edge Detection", 《INTERNATIONAL JOURNAL OF COMPUTER SCIENCE AND MOBILE COMPUTING》 *
阳婷: "基于视频监控的火灾探测系统的研究与实现", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110765858B (zh) * 2019-09-14 2022-07-05 杭州拓深科技有限公司 一种基于卷积神经网络的非入侵式故障电弧监测方法
CN110765858A (zh) * 2019-09-14 2020-02-07 杭州拓深科技有限公司 一种基于卷积神经网络的非入侵式故障电弧监测方法
CN110941988A (zh) * 2019-10-11 2020-03-31 国网安徽省电力有限公司检修分公司 火焰识别方法、系统以及用于识别火焰的神经网络
CN110941988B (zh) * 2019-10-11 2023-06-13 国网安徽省电力有限公司超高压分公司 火焰识别方法、系统以及用于识别火焰的神经网络
CN111127433A (zh) * 2019-12-24 2020-05-08 深圳集智数字科技有限公司 一种检测火焰的方法及装置
CN111127433B (zh) * 2019-12-24 2020-09-25 深圳集智数字科技有限公司 一种检测火焰的方法及装置
CN111126293A (zh) * 2019-12-25 2020-05-08 国网智能科技股份有限公司 一种火焰和烟雾异常情况检测方法及系统
CN113450301A (zh) * 2020-03-24 2021-09-28 富华科精密工业（深圳）有限公司 小火焰检测方法及计算机装置
CN113537204A (zh) * 2020-04-20 2021-10-22 富华科精密工业（深圳）有限公司 基于红外特征、机器学习的小火焰检测方法及计算机装置
CN111613037A (zh) * 2020-04-30 2020-09-01 杭州拓深科技有限公司 一种基于智能算法的降低复合烟感误报的方法
CN111814617A (zh) * 2020-06-28 2020-10-23 智慧眼科技股份有限公司 基于视频的火灾判定方法、装置、计算机设备及存储介质
CN111814617B (zh) * 2020-06-28 2023-01-31 智慧眼科技股份有限公司 基于视频的火灾判定方法、装置、计算机设备及存储介质
CN111814638A (zh) * 2020-06-30 2020-10-23 成都睿沿科技有限公司 基于深度学习的安防场景火焰检测方法
CN111814638B (zh) * 2020-06-30 2024-04-30 成都睿沿科技有限公司 基于深度学习的安防场景火焰检测方法
CN111523528B (zh) * 2020-07-03 2020-10-20 平安国际智慧城市科技股份有限公司 基于规模识别模型的策略发送方法、装置和计算机设备
CN111523528A (zh) * 2020-07-03 2020-08-11 平安国际智慧城市科技股份有限公司 基于规模识别模型的策略发送方法、装置和计算机设备
CN111814725A (zh) * 2020-07-20 2020-10-23 北京华正明天信息技术股份有限公司 一种基于cnn+lstm+mlp组合神经网络判断监控视频着火的预警方法
CN112396026B (zh) * 2020-11-30 2024-06-07 北京华正明天信息技术股份有限公司 基于特征聚合与密集连接的火灾图像特征提取方法
CN112396026A (zh) * 2020-11-30 2021-02-23 北京华正明天信息技术股份有限公司 基于特征聚合与密集连接的火灾图像特征提取方法
CN113112502A (zh) * 2021-05-11 2021-07-13 上海非夕机器人科技有限公司 线缆检测方法、机器人和具有存储功能的装置
CN113112502B (zh) * 2021-05-11 2023-10-20 上海非夕机器人科技有限公司 线缆检测方法、机器人和具有存储功能的装置
CN113657250A (zh) * 2021-08-16 2021-11-16 南京图菱视频科技有限公司 一种基于监控视频的火焰检测方法及系统
CN113688748B (zh) * 2021-08-27 2023-08-18 武汉大千信息技术有限公司 一种火灾检测的模型及方法
CN113688748A (zh) * 2021-08-27 2021-11-23 武汉大千信息技术有限公司 一种火灾检测的模型及方法
CN114155457A (zh) * 2021-11-16 2022-03-08 华南师范大学 基于火焰动态识别的控制方法及控制装置
CN114283367B (zh) * 2021-12-26 2022-09-06 特斯联科技集团有限公司 用于园区火灾预警的人工智能明火探测方法及系统
CN114283367A (zh) * 2021-12-26 2022-04-05 特斯联科技集团有限公司 用于园区火灾预警的人工智能明火探测方法及系统
CN115272169A (zh) * 2022-05-26 2022-11-01 国网江苏省电力有限公司常州供电分公司 基于智能机器人的绝缘子检测方法和系统
CN115272169B (zh) * 2022-05-26 2023-08-11 国网江苏省电力有限公司常州供电分公司 基于智能机器人的绝缘子检测方法和系统
CN116092261A (zh) * 2023-01-13 2023-05-09 安徽辉联信息科技有限公司 一种区域智能化安防监控快速识别分析系统
CN117853935A (zh) * 2024-03-07 2024-04-09 河南胜华电缆集团有限公司 一种基于视觉分析的电缆火焰蔓延检测方法、装置和服务平台
CN117853935B (zh) * 2024-03-07 2024-06-11 河南胜华电缆集团有限公司 一种基于视觉分析的电缆火焰蔓延检测方法、装置和服务平台

Also Published As

Publication number Publication date
CN110135269B (zh) 2020-12-08

Similar Documents

Publication Publication Date Title
CN110135269A (zh) 一种基于混合颜色模型与神经网络的火灾图像检测方法
CN106650584B (zh) 火焰检测方法和系统
Khalil et al. Fire detection using multi color space and background modeling
CN103714325B (zh) 基于嵌入式系统的遗留物和遗失物实时检测方法
US9652863B2 (en) Multi-mode video event indexing
CN110569772B (zh) 一种泳池内人员状态检测方法
US20060170769A1 (en) Human and object recognition in digital video
CN111241959A (zh) 一种通过工地视频流检测未佩戴安全帽人员的方法
CN109711322A (zh) 一种基于rfcn的人车分离方法
CN105184258A (zh) 目标跟踪方法及系统、人员行为分析方法及系统
CN101908142A (zh) 一种基于特征分析的视频火焰检测方法
CN105678811A (zh) 一种基于运动检测的人体异常行为检测方法
CN104408745A (zh) 一种基于视频图像的实时烟雾场景检测方法
CN105141885A (zh) 进行视频监控的方法及装置
CN105761261A (zh) 一种检测摄像头遭人为恶意破坏的方法
CN108985169A (zh) 基于深度学习目标检测与动态背景建模的商店跨门经营检测方法
CN105608479A (zh) 结合深度数据的异常行为检测方法及系统
CN113516076A (zh) 一种基于注意力机制改进的轻量化YOLO v4安全防护检测方法
CN111860160A (zh) 一种室内检测口罩佩戴的方法
CN105844245A (zh) 一种伪装人脸检测方法及系统
CN102034110B (zh) 一种火焰检测方法
CN108038510A (zh) 一种基于疑似火焰区域特征的检测方法
CN109377713A (zh) 一种火灾预警方法及系统
CN103456123B (zh) 一种基于流动和扩散特征的视频烟气探测方法
Tao et al. Smoky vehicle detection based on range filtering on three orthogonal planes and motion orientation histogram

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant