CN114155457A - 基于火焰动态识别的控制方法及控制装置 - Google Patents

基于火焰动态识别的控制方法及控制装置 Download PDF

Info

Publication number
CN114155457A
CN114155457A CN202111355429.9A CN202111355429A CN114155457A CN 114155457 A CN114155457 A CN 114155457A CN 202111355429 A CN202111355429 A CN 202111355429A CN 114155457 A CN114155457 A CN 114155457A
Authority
CN
China
Prior art keywords
flame
target
dynamic
model
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111355429.9A
Other languages
English (en)
Inventor
熊爱民
肖捷
罗旭松
赖文杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Developing Network Technology Co ltd
South China Normal University
Original Assignee
Guangzhou Developing Network Technology Co ltd
South China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Developing Network Technology Co ltd, South China Normal University filed Critical Guangzhou Developing Network Technology Co ltd
Priority to CN202111355429.9A priority Critical patent/CN114155457A/zh
Publication of CN114155457A publication Critical patent/CN114155457A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于火焰动态识别的控制方法及控制装置,其中,包括:获取视频流,并基于所述视频流筛选出动态目标;定格所述动态目标中与预设像素点相似的目标区域;将所述目标区域输入至火焰识别模型,并检测出目前区域中火焰的位置;获取所述火焰的位置的实际环境图像;基于所述实际环境图像再次确认火焰,并储存实际环境图像。

Description

基于火焰动态识别的控制方法及控制装置
技术领域
本发明涉及火焰识别技术领域,尤其涉及一种基于火焰动态识别的控制方法及控制装置。
背景技术
目前,火灾已经成为威胁生命财产和自然环境的一项重大威胁。有效地检测火灾发生情况,对相关人员及时救火抢险,消灭威胁,减小损失有这积极的意义。
在现有技术中,通过传感器检测烟雾或者温度的上升实现火灾的显示,可是,烟雾或者温度的上升可以可以由多种情况引起,并不一定会是火焰,因此,目前的火灾识别方案的识别准确度较低,甚至会产生误报。
发明内容
本发明的目的在于克服现有技术的不足,本发明提供了一种基于火焰动态识别的控制方法及控制装置,获取视频流,并基于所述视频流筛选出动态目标;定格所述动态目标中与预设像素点相似的目标区域;将所述目标区域输入至火焰识别模型,并检测出目前区域中火焰的位置;获取所述火焰的位置的实际环境图像;基于所述实际环境图像再次确认火焰,并储存实际环境图像,其中,通过对动态目标的筛选,便于基于动态目标中进行火焰识别,并且在像素对比和火焰识别模型的识别下进行双重火焰位置的确认,提高火焰识别的准确度,并且所述火焰的位置在与对应的实际环境图像是进行再次确认,避免火焰在自动识别的失误。
为了解决上述技术问题,本发明实施例提供了一种基于火焰动态识别的控制方法,包括:获取视频流,并基于所述视频流筛选出动态目标;定格所述动态目标中与预设像素点相似的目标区域;将所述目标区域输入至火焰识别模型,并检测出目前区域中火焰的位置;获取所述火焰的位置的实际环境图像;基于所述实际环境图像再次确认火焰,并储存实际环境图像。
可选的,所述获取视频流,并基于所述视频流筛选出动态目标,包括:获取视频流;基于帧差法对所述视频流进行动态确认;将视频流的当前视频帧与视频流的相邻背景帧做差,判断图像中是否存在运动目标,以确认视频流中动态目标,并过滤掉视频流中静态参照物。
可选的,所述定格所述动态目标中与预设像素点相似的目标区域,包括:对所述动态目标输入至YCbCr颜色模型;在所述YCbCr颜色模型中对所述动态目标进行像素点筛选,以确定所述动态目标中与预设像素点相似的目标区域,其中,根据所述动态目标在YCbCr颜色模型中的三个分量值进行筛选。
可选的,所述定格所述动态目标中与预设像素点相似的目标区域,还包括:提取视频帧中的动态目标;采用混合高斯模型建模方法对获取的现场视频帧进行背景建模;更新混合高斯模型中参数,获得背景图像;将现场视频帧与获得的背景图像相减,提取到现场视频帧中的动态目标,以获得目前区域中火焰的位置。
可选的,所述将所述目标区域输入至火焰识别模型,并检测出目前区域中火焰的位置,包括:建立火焰图像样本库,火焰图像样本库来自于网络爬取下来的图片以及进行燃烧实验获取的图片;基于所述火焰图像样本库进行火焰识别模型的测试和建立;根据所述火焰图像样本库进行算法模型训练,并得到适用于火焰识别定位的目标检测算法的火焰识别模型;将所述目标区域输入至火焰识别模型,并检测出目前区域中火焰的位置。
可选的,所述火焰识别模型,包括:基于深度卷积神经网络的目标检测算法对所述目标区域进行目标火焰的检测;根据圆角度、面积增长率、火焰的频闪特性火焰的活性识别,并排出那些颜色形状与火焰相近的物体,以保留实际火焰的信息。
可选的,所述基于火焰动态识别的控制方法,包括:
基于高斯模型进行背景图像的识别,
假设图像中像素i在时刻t的像素值为xit,则它的概率密度函数为:
Figure BDA0003357362650000031
其中Wjt表示的是第i个像素在t时刻的第j个高斯模型的权值,W的值越大说明该高斯模型与当前图像的像素值越接近,k表示的是采用的高斯模型的个数,并且有
Figure BDA0003357362650000032
即用于模拟一个像素的所有高斯模型的权值之和为1;
Figure BDA0003357362650000033
表示的是用于描述第i个像素点在t时刻的第j个高斯模型,
Figure BDA0003357362650000034
表示的是单个高斯模型。
另外,本发明实施例还提供了一种基于火焰动态识别的控制装置,基于火焰动态识别的控制装置包括:第一获取模块:用于获取视频流,并基于所述视频流筛选出动态目标;定格模块:用于定格所述动态目标中与预设像素点相似的目标区域;检测模块:用于将所述目标区域输入至火焰识别模型,并检测出目前区域中火焰的位置;第二获取模块:用于获取所述火焰的位置的实际环境图像;储存模块:用于基于所述实际环境图像再次确认火焰,并储存实际环境图像。
在本发明实施例中,通过本发明实施例中的方法,获取视频流,并基于所述视频流筛选出动态目标;定格所述动态目标中与预设像素点相似的目标区域;将所述目标区域输入至火焰识别模型,并检测出目前区域中火焰的位置;获取所述火焰的位置的实际环境图像;基于所述实际环境图像再次确认火焰,并储存实际环境图像,其中,通过对动态目标的筛选,便于基于动态目标中进行火焰识别,并且在像素对比和火焰识别模型的识别下进行双重火焰位置的确认,提高火焰识别的准确度,并且所述火焰的位置在与对应的实际环境图像是进行再次确认,避免火焰在自动识别的失误。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见的,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是本发明实施例中的基于火焰动态识别的控制方法的流程示意图;
图2是本发明实施例中的基于火焰动态识别的控制装置的结构组成示意图;
图3是根据一示例性实施例示出的一种电子装置的硬件图;
图4是本发明实施例中的基于火焰动态识别的控制方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
实施例
请参阅图1-图4,一种基于火焰动态识别的控制方法,所述方法包括:
S11:获取视频流,并基于所述视频流筛选出动态目标;
在本发明具体实施过程中,具体的步骤可以为:获取视频流;基于帧差法对所述视频流进行动态确认;将视频流的当前视频帧与视频流的相邻背景帧做差,判断图像中是否存在运动目标,以确认视频流中动态目标,并过滤掉视频流中静态参照物。
其中,基于帧差法对所述视频流进行动态确认,并且将视频流的当前视频帧与视频流的相邻背景帧做差,判断图像中是否存在运动目标,以确认视频流中动态目标,从而滤掉视频流中静态参照物,以便后续对火焰进行识别定位。
还有的是,从现场视频帧中提取运动目标,其中,其中第一类为差分法,具体为背景差分法及帧间差分法,这两种方法都是对不同的两帧现场视频帧进行相减,把差分后的现场视频帧作为运动目标,不同的是帧间差分法是对相邻现场视频帧进行差分,而背景差分法是把当前现场视频帧与背景图像进行差分,由此可见背景图像的建立直接影响到运动目标的提取。背景图像的建立有总体上分为两大类,第一类是把背景图像固定不变,把当前现场视频帧与背景图像差分得到运动目标,这种方法一般都是把现场视频帧的第一帧作为背景图像。但是实际中背景图像通常都是会变化的,比如运动目标就是本来背景图像里面的物体,如果背景图像一直不变,就会把运动目标作为背景处理了,导致提取出来的运动目标不理想,又比如在现实生活中受自然因素(比如光照亮度,自然风等)的影响,背景会发生缓慢的变化,背景图像自然会跟随变化,如果背景图像一直不变的话,跟实际中的背景图像误差会慢慢的变大,这样对提取出来的运动目标也会造成很大的误差。
第二类建立背景的方法是背景图像可以随着环境的变化而发生缓慢的变化,这样就可以跟实际中的背景环境保持较小的误差。为了得到具有自适应能力的背景图像,通常采用背景建模算法,常用建模算法大致上也可以分为两种,一种是需要存储当前时刻之前的现场视频帧,然后对存储的这些现场视频帧中新出现的数据作为样本,再把这些样本按照一定的规则添加到背景图像当中,比如中值背景建模法和平均值背景建模法,中值背景建模法是对存储的各现场视频帧中相应位置的像素值求中值,把这个中值作为此时背景图像对应位置的像素值,而平均值背景建模法是对各现场视频帧中相应位置的像素值求平均值,并且把这个平均值作为当前现场视频帧的背景,这种方法效果比较理想,但是因为要根据存储一段时间的现场视频帧作为样本,增加了服务器内存的负担,增大了数据的计算量,对硬件要求比较高。平均值背景建模法克服了这些缺点,并不需要对现场视频帧进行存储作为样本,而是通过回归的方式根据当前现场视频帧来改变原来的背景图像,比如卡乐曼滤波器模型,单高斯模型和混合高斯模型。经过实验的反复对比,本例采用了混合高斯模型,以下详细介绍如何采用混合高斯模型方式进行运动目标区域的提取,以获取准火焰区域
S12:定格所述动态目标中与预设像素点相似的目标区域;
在本发明具体实施过程中,具体的步骤可以为:对所述动态目标输入至YCbCr颜色模型;在所述YCbCr颜色模型中对所述动态目标进行像素点筛选,以确定所述动态目标中与预设像素点相似的目标区域,其中,根据所述动态目标在YCbCr颜色模型中的三个分量值进行筛选。
其中,将通过动态检测的图像送入YCbCr颜色模型中判断模型中是否存在火焰颜色相近的像素点,以便于实现火焰的筛选。另外,提取视频帧中的动态目标;采用混合高斯模型建模方法对获取的现场视频帧进行背景建模;更新混合高斯模型中参数,获得背景图像;将现场视频帧与获得的背景图像相减,提取到现场视频帧中的动态目标,以获得目前区域中火焰的位置。
其中,高斯分布中若随机变量X服从一个数学期望为μ、方差为σ^2的高斯分布,记为N(μ,σ^2),其概率密度函数为正态分布的期望值μ决定了其位置,其标准差σ决定了其分布的幅度。我们通常所说的标准正态分布是μ=0,σ=1的正态分布。。
当环境中不存在运动目标的情况,对不同时刻里同一位置的像素值进行统计,可以发现这些值是呈单高斯分布的,但是实际的环境当中通常会受到光照及风吹等外在因素的影响,单一的高斯分布已经满足不了像素值的分布,由此可以用几个高斯分布通过不同的权值组合起来描述一个位置像素值的统计情况,也就是本例中提到的混合高斯模型。高斯模型的个数越多可以描述出来的背景就越复杂,准确性就越高,但是换来的代价就是数据的运算量就越大。为了达到满意的效果而且又考虑到对计算机硬件的要求,一般工程上高斯模型的个数取3到5个为宜。
假设图像中像素i在时刻t的像素值为xit,则它的概率密度函数为:
Figure BDA0003357362650000061
其中Wjt表示的是第i个像素在t时刻的第j个高斯模型的权值,W的值越大说明该高斯模型与当前图像的像素值越接近,k表示的是采用的高斯模型的个数,并且有
Figure BDA0003357362650000062
即用于模拟一个像素的所有高斯模型的权值之和为1。
Figure BDA0003357362650000063
表示的是用于描述第i个像素点在t时刻的第j个高斯模型,
Figure BDA0003357362650000064
表示的是单个高斯模型。而uit表示的是该高斯模型的均值,
Figure BDA0003357362650000065
表示的是该高斯模型的方差,在混合高斯模型的建模算法中,主要是通过调整均值和方差的值来达到需要的效果,在混合高斯模型的建模算法中,高斯模型的均值以及方差这两个参数的更新方法非常的重要,具体的更新方法后续会介绍。利用混合高斯模型进行背景建模的时候需要根据高斯模型与当前像素之间的相似程序对用于描述同一个像素点的k个单高斯模型进行排序,权值W越大就表示该模型与当前像素的相似度比较高,而
Figure BDA0003357362650000071
越小就表示该组像素点的变化比较小,比较平稳。所以可以根据
Figure BDA0003357362650000072
的值来描述这种相似度,
Figure BDA0003357362650000073
的值越大就表示相似度越高,越有可能是属于背景图像的像素点。把各个高斯模型按照
Figure BDA0003357362650000074
值从大到小排好序,通常来说运动目标与高斯模型的相似程度都比较小,而背景像素点因为变化小,相似程度比较大。因此可以定义一个阈值T,如果前d个高斯模型的权值之和刚好大于或者等于T,则前d个高斯模型用作背景子集,而剩下的k-d个高斯模型作为前景运动子集。T的取值会直接影响到提取运动前景的效果,当T的取值较小时,则d的值就越小,用于描述背景图像的子集也就越单一,所以一般T的值取0.75。
接下来将详细介绍混合高斯模型各参数的更新方法,以便根据更新能够准确识别背景图像。在更新各参数之前必需要判断该像素与哪个高斯模型最相似,一般是如果像素点xit满足|Xit-uit|<λσit 2就认为该像素与该模型相匹配(为匹配阈值,一般取2.5)。如果Xit与第i个高斯模型匹配,那么该高斯模型的参数就要被更新,更新的方程如下:
Wi,t+1=(1-α)wi,t+αMit
pit=αN(xit,uit,σ2)
ui,t+1=(1-pit)uit+pituit
Figure BDA0003357362650000075
除了该高斯模型的参数需要被更新以外,其他的高斯模型保持不变。混合高斯模型虽然复杂,计算量也比较大,但是提取出来的运动目标效果比较好,因此被广泛地利用。根据混合高斯背景建模的方法对样本现场视频帧进行背景建模,并且利用当前现场视频帧与当前的背景图像相减,得到运动目标前景。也即将现场视频帧与获得的背景图像相减,即可提取到现场视频帧中的运动目标,获得准火焰区域。获得现场视频帧后,根据混合高斯模型建模,获得背景图像,利用现场视频帧与背景图像相减,即获得当前现场视频帧中运动目标。
获得准火焰区域后,需要对准火灾区域进行颜色模型筛选,判断准火焰区域中是否含有火焰或与火焰相似的颜色分量,针对上述通过运动目标提取算法筛选出来的准火焰区域进行二次确认。确认后的视频帧输入深度学习目标检测算法识别定位火焰,本例中采用改进的YOLOv5算法进行确认。经过对准火焰区域的确认可以得到当前现场视频帧是否存在火焰信息,并进行定位。根据检测分别输出火焰置信度;根据火焰置信度判断是否存在火焰信息。以下详细说明如何采用YOLOv5算法进行火焰确认。
基于改进的YOLOv5算法的目标检测,YOLOv5算法属于基于深度卷积神经网络的目标检测算法,经过大量的实验可知,YOLOv5算法对火焰目标比较敏感。
完成火焰信息的确认后,为了防止漏报误报,还需要对视频帧进行再确认,采用YCbCr颜色模型加RGB颜色模型结合筛选过滤目标检测算法识别定位出的火焰,排除误报;再加上圆角度、面积增长率、火焰的频闪特性等特征排除那些颜色形状与火焰相近的物体。
YCbCr判别火焰颜色模型
Figure BDA0003357362650000081
τ取40。YCbCr模型中YCbCr颜色模型,Y表示亮度分量(展示亮度信息),Cb表示蓝色分量差,Cr表示红色分量差。YCbCr可以通过线性变换从RGB图转换,计算简单。由于目标检测算法会给出预测火焰的位置框,可以通过框内通过颜色模型的像素点数量来进行再次确认。
请参阅图1-图4,S13:定格所述动态目标中与预设像素点相似的目标区域;在本发明具体实施过程中,具体的步骤可以为:建立火焰图像样本库,火焰图像样本库来自于网络爬取下来的图片以及进行燃烧实验获取的图片;基于所述火焰图像样本库进行火焰识别模型的测试和建立;根据所述火焰图像样本库进行算法模型训练,并得到适用于火焰识别定位的目标检测算法的火焰识别模型;将所述目标区域输入至火焰识别模型,并检测出目前区域中火焰的位置。
其中,所述火焰识别模型包括:基于深度卷积神经网络的目标检测算法对所述目标区域进行目标火焰的检测;根据圆角度、面积增长率、火焰的频闪特性火焰的活性识别,并排出那些颜色形状与火焰相近的物体,以保留实际火焰的信息,从而从多个方面的参数进行火焰的确认,提高火焰的检测准确率。
在进行火焰识别之前,首先收集经过人工标注的火焰视频和图像数据,建立火焰样本库,以便改进的YOLOv5算法对火焰样本库中的图片进行训练和测试,得到YOLOv5算法模型。在构建火焰样本库时,为了使得火焰信息的确认更加准确,本例中采用网络虚拟图片及真实生活火焰图片相结合的方式建立火焰样本库,这样使得建立的火焰样本库既有来源于通过爬取网络上的网络火焰图片,同样还有来源于真实生活中通过燃烧实验获得的燃烧实验图片。对于网络火焰图片以及燃烧实验图片,则分别通过网络以及人工两种方式进行采集,火焰样本库中图片的总量至少为10万张。其中,网络火焰图片通过爬虫对百度及谷歌两个搜索引擎进行爬取,以及从国际开源数据库中下载并且筛选1万张,网络火焰图片的获取尽量丰富化,包括不同场景中获得的火焰图片,一共构成5万张的网络图片。在获得燃烧实验图片时,为了使得火灾样本库中图片更全面、丰富及真实,结合不同场景如室内和室外、不同材质燃烧如榉木、塑料、废纸、面料和天然气,不同干扰如阳光、白炽灯、蚊香、香烟及黄色/红色物体,在考虑场景时充分结合现实生活中常见场景,并且通过大量的燃烧实验,收集了5万张的真实场景样本图片,形成燃烧实验图片,以使获得的燃烧实验图片真实化。网络火焰图片以及燃烧实验图片共同组成不少于10万张的火焰样本库。
完成火焰样本库的建设及火焰样本库中图片的测试、标注和训练,得到YOLOv5算法模型后,开始进行火焰信息识别。当视频采集端采集现场视频帧,并传输至算法盒子,算法盒子获取对应的现场视频帧,并完成现场视频帧中运动目标的确定和颜色模型筛选。要对现场视频帧中的火焰信息进行识别定位,就必需要确认视频帧中含有火焰信息。火灾发生后,由于随着火灾的发展以及环境气流的作用,火灾区域以及背景图像都会不断的运动,因此,要进行火焰信息的识别定位,获取现场视频帧后首先需要运动目标的确定,又因为视频帧中除了发生火灾的区域外同时还存在大量非火灾移动目标,要进行火焰信息的准确确认,还需要进行颜色模型筛选,即可进行火焰确认,进而判断视频帧中是否存在火焰信息。本例中,之所以先把现场视频帧中的运动目标提取出来,再进行火焰确认主要基于以下两方面的考虑:1、在火灾发展的过程中,火灾区域以及部分背景区域都必然处于运动的状态,假设现场视频帧中提取出来的运动目标组成的准火灾区域为M,准火灾区域必然包括真实的火灾区域为N以及运动的部分背景区域,那么M包含N,即
Figure BDA0003357362650000091
经过运动目标的提取,可以筛选出准火灾区域,便于对准火灾区域进行二次确认,将运动状态中的部分背景区域剔除以获得真实的火灾区域。2、从现场视频帧中提取准火灾区域后,将该视频帧进行颜色模型筛选,一旦没有通过,将不会进入深度学习目标检测算法,从而减少了运算量,对提升算法的性能有很大的作用。
S14:获取所述火焰的位置的实际环境图像;
S15:基于所述实际环境图像再次确认火焰,并储存实际环境图像;
在本发明实施例中,通过本发明实施例中的方法,获取视频流,并基于所述视频流筛选出动态目标;定格所述动态目标中与预设像素点相似的目标区域;将所述目标区域输入至火焰识别模型,并检测出目前区域中火焰的位置;获取所述火焰的位置的实际环境图像;基于所述实际环境图像再次确认火焰,并储存实际环境图像,其中,通过对动态目标的筛选,便于基于动态目标中进行火焰识别,并且在像素对比和火焰识别模型的识别下进行双重火焰位置的确认,提高火焰识别的准确度,并且所述火焰的位置在与对应的实际环境图像是进行再次确认,避免火焰在自动识别的失误。
其中,采用YOLOv5算法进行火灾信息识别时,训练集的火焰样本库中图片数量达到10万张级别,图片既有网络图片,又有实验室燃烧实验图片,真实场景数据占70%,图片多样且丰富。目前现有方案使用的火灾图片样本库通常只为互联网进行爬取,网络上爬取的火灾图像样本场景比较单一,大部分为严重的火灾现场,火焰面积大且火势凶猛,缺乏火焰起火阶段或者阴燃阶段的样本数据。本申请针对的是火焰刚起火阶段的火焰识别,故大面积火灾图片并不适用于本申请的深度学习算法模型训练。并且图片库的数量规模比较小,这对算法模型的识别或者火灾特征的研究是不够全面的,造成算法的鲁棒性以及迁移能力比较弱,可能造成在测试集中的表现非常好,但是真实场景的识别率偏低。而本申请通过从互联网、开源库以及燃烧实验三个渠道进行图片收集,建设一个数量巨大,覆盖生活常见场景的理想训练集,为算法的训练效果提供了重要的保障。
结合传统方法的YOLOv5算法,形成多因子决策方案,共同判决火焰信息,抗干扰能力强,鲁棒性强。目前主流方案使用传统数字图像处理方案,特征工程过程中人工设定的特征维度难以表征所有火灾的特点,比如火焰的扩散特征在火灾不同的发展阶段扩散率差别都比较大,造成算法抗干扰能力比较弱,容易受强光、弱光、特别是晚上灯光的影响。而本申请的火焰识别方案,极大的提高了火焰识别的抗干扰能力,准确率也得到了极大的保障,实验证明准确率可稳定在99.5%。
本申请算法复杂度低,减少消耗计算资源,适应在终端平台运行。深度学习火灾检测算法的准确率相比传统数字图像处理算法有较大的进步,
将两者相结合能将准确率进行巨大的提升。本申请首先对现场视频帧进行筛选,确定含有运动目标以及通过颜色模型在进入深度学习目标检测算法,获得准火烟区域,并得到置信度;后处理再进一步筛选以防产生误报的情况。另外本申请对算法可进行嵌入式平台的布置,可进一步降低硬件成本。
实施例
请参阅图2,图2是本发明实施例中的基于火焰动态识别的控制装置的结构组成示意图。
如图2所示,一种基于火焰动态识别的控制装置,所述基于火焰动态识别的控制装置包括:
第一获取模块21:用于获取视频流,并基于所述视频流筛选出动态目标;
定格模块22:用于定格所述动态目标中与预设像素点相似的目标区域;
检测模块23:用于将所述目标区域输入至火焰识别模型,并检测出目前区域中火焰的位置;
第二获取模块24:用于获取所述火焰的位置的实际环境图像;
储存模块25:用于基于所述实际环境图像再次确认火焰,并储存实际环境图像。
实施例
请参阅图3,下面参照图3来描述根据本发明的这种实施方式的电子设备40。图3显示的电子设备40仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图3所示,电子设备40以通用计算设备的形式表现。电子设备40的组件可以包括但不限于:上述至少一个处理单元41、上述至少一个存储单元42、连接不同系统组件(包括存储单元42和处理单元41)的总线43。
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元41执行,使得所述处理单元41执行本说明书上述“实施例方法”部分中描述的根据本发明各种示例性实施方式的步骤。
存储单元42可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)421和/或高速缓存存储单元422,还可以进一步包括只读存储单元(ROM)423。
存储单元42还可以包括具有一组(至少一个)程序模块425的程序/实用工具424,这样的程序模块425包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线43可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备40也可以与一个或多个外部设备(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备40交互的设备通信,和/或与使得该电子设备40能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口45进行。并且,电子设备40还可以通过网络适配器46与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图3所示,网络适配器46通过总线43与电子设备40的其它模块通信。应当明白,尽管图3中未示出,可以结合电子设备40使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(ROM,ReadOnly Memory)、随机存取存储器(RAM,Random AccessMemory)、磁盘或光盘等。并且,其存储有计算机程序指令,当所述计算机程序指令被计算机执行时,使计算机执行根据上述的方法。
另外,以上对本发明实施例所提供的基于火焰动态识别的控制方法、装置进行了详细介绍,本文中应采用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种基于火焰动态识别的控制方法,其特征在于,包括:
获取视频流,并基于所述视频流筛选出动态目标;
定格所述动态目标中与预设像素点相似的目标区域;
将所述目标区域输入至火焰识别模型,并检测出目前区域中火焰的位置;
获取所述火焰的位置的实际环境图像;
基于所述实际环境图像再次确认火焰,并储存实际环境图像。
2.根据权利要求1所述的基于火焰动态识别的控制方法,其特征在于,所述获取视频流,并基于所述视频流筛选出动态目标,包括:
获取视频流;
基于帧差法对所述视频流进行动态确认;
将视频流的当前视频帧与视频流的相邻背景帧做差,判断图像中是否存在运动目标,以确认视频流中动态目标,并过滤掉视频流中静态参照物。
3.根据权利要求2所述的基于火焰动态识别的控制方法,其特征在于,所述定格所述动态目标中与预设像素点相似的目标区域,包括:
对所述动态目标输入至YCbCr颜色模型;
在所述YCbCr颜色模型中对所述动态目标进行像素点筛选,以确定所述动态目标中与预设像素点相似的目标区域,其中,根据所述动态目标在YCbCr颜色模型中的三个分量值进行筛选。
4.根据权利要求3所述的基于火焰动态识别的控制方法,其特征在于,所述定格所述动态目标中与预设像素点相似的目标区域,还包括:
提取视频帧中的动态目标;
采用混合高斯模型建模方法对获取的现场视频帧进行背景建模;
更新混合高斯模型中参数,获得背景图像;
将现场视频帧与获得的背景图像相减,提取到现场视频帧中的动态目标,以获得目前区域中火焰的位置。
5.根据权利要求4所述的基于火焰动态识别的控制方法,其特征在于,所述将所述目标区域输入至火焰识别模型,并检测出目前区域中火焰的位置,包括:
建立火焰图像样本库,火焰图像样本库来自于网络爬取下来的图片以及进行燃烧实验获取的图片;
基于所述火焰图像样本库进行火焰识别模型的测试和建立;
根据所述火焰图像样本库进行算法模型训练,并得到适用于火焰识别定位的目标检测算法的火焰识别模型;
将所述目标区域输入至火焰识别模型,并检测出目前区域中火焰的位置。
6.根据权利要求5所述的基于火焰动态识别的控制方法,其特征在于,所述火焰识别模型,包括:
基于深度卷积神经网络的目标检测算法对所述目标区域进行目标火焰的检测;
根据圆角度、面积增长率、火焰的频闪特性火焰的活性识别,并排出那些颜色形状与火焰相近的物体,以保留实际火焰的信息。
7.根据权利要求1所述的基于火焰动态识别的控制方法,其特征在于,所述基于火焰动态识别的控制方法,包括:
基于高斯模型进行背景图像的识别,
假设图像中像素i在时刻t的像素值为xit,则它的概率密度函数为:
Figure FDA0003357362640000021
其中Wjt表示的是第i个像素在t时刻的第j个高斯模型的权值,W的值越大说明该高斯模型与当前图像的像素值越接近,k表示的是采用的高斯模型的个数,并且有
Figure FDA0003357362640000031
即用于模拟一个像素的所有高斯模型的权值之和为1;
Figure FDA0003357362640000032
表示的是用于描述第i个像素点在t时刻的第j个高斯模型,
Figure FDA0003357362640000033
表示的是单个高斯模型。
8.一种基于火焰动态识别的控制装置,其特征在于,所述基于火焰动态识别的控制装置包括:
第一获取模块:用于获取视频流,并基于所述视频流筛选出动态目标;
定格模块:用于定格所述动态目标中与预设像素点相似的目标区域;
检测模块:用于将所述目标区域输入至火焰识别模型,并检测出目前区域中火焰的位置;
第二获取模块:用于获取所述火焰的位置的实际环境图像;
储存模块:用于基于所述实际环境图像再次确认火焰,并储存实际环境图像。
CN202111355429.9A 2021-11-16 2021-11-16 基于火焰动态识别的控制方法及控制装置 Pending CN114155457A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111355429.9A CN114155457A (zh) 2021-11-16 2021-11-16 基于火焰动态识别的控制方法及控制装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111355429.9A CN114155457A (zh) 2021-11-16 2021-11-16 基于火焰动态识别的控制方法及控制装置

Publications (1)

Publication Number Publication Date
CN114155457A true CN114155457A (zh) 2022-03-08

Family

ID=80456525

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111355429.9A Pending CN114155457A (zh) 2021-11-16 2021-11-16 基于火焰动态识别的控制方法及控制装置

Country Status (1)

Country Link
CN (1) CN114155457A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115114466A (zh) * 2022-08-30 2022-09-27 成都实时技术股份有限公司 一种打靶信息图像的查找方法、系统、介质及电子设备
CN115700757A (zh) * 2022-11-08 2023-02-07 中信重工开诚智能装备有限公司 消防水炮的控制方法、装置及电子设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115114466A (zh) * 2022-08-30 2022-09-27 成都实时技术股份有限公司 一种打靶信息图像的查找方法、系统、介质及电子设备
CN115114466B (zh) * 2022-08-30 2022-12-13 成都实时技术股份有限公司 一种打靶信息图像的查找方法、系统、介质及电子设备
CN115700757A (zh) * 2022-11-08 2023-02-07 中信重工开诚智能装备有限公司 消防水炮的控制方法、装置及电子设备
CN115700757B (zh) * 2022-11-08 2024-05-17 中信重工开诚智能装备有限公司 消防水炮的控制方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN110648490B (zh) 适用于嵌入式平台的多因子火焰识别方法
CN109522819B (zh) 一种基于深度学习的火灾图像识别方法
Zhang et al. Wildland forest fire smoke detection based on faster R-CNN using synthetic smoke images
US11308335B2 (en) Intelligent video surveillance system and method
CN107609470B (zh) 野外火灾早期烟雾视频检测的方法
CN111626188B (zh) 一种室内不可控明火监测方法及系统
CN103632158B (zh) 森林防火监控方法及森林防火监控系统
CN114155457A (zh) 基于火焰动态识别的控制方法及控制装置
CN109389185B (zh) 使用三维卷积神经网络的视频烟雾识别方法
CN109598700A (zh) 采用卷积神经网络的早期火灾检测方法
CN107067412A (zh) 一种多信息融合的视频火焰烟雾检测方法
CN103208126A (zh) 一种自然环境下运动物体监测方法
CN109902018A (zh) 一种智能驾驶系统测试案例的获取方法
CN108389359A (zh) 一种基于深度学习的城市火灾报警方法
CN110633675A (zh) 一种基于卷积神经网络的视频中火灾识别系统及方法
Zhang et al. Application research of YOLO v2 combined with color identification
CN110503021A (zh) 基于时间压缩轨迹特征识别的火灾烟雾检测方法
CN111723656B (zh) 一种基于YOLO v3与自优化的烟雾检测方法及装置
CN108363992B (zh) 一种基于机器学习监测视频图像烟雾的火情预警方法
CN114078218A (zh) 一种自适应融合的森林烟火识别数据增广方法
CN110503092B (zh) 基于领域适应的改进ssd监控视频目标检测方法
CN112347874A (zh) 一种火灾检测方法、装置、设备及存储介质
CN110717495B (zh) 基于多尺度颜色矩特征和随机森林的固废焚烧工况识别方法
CN105095906A (zh) 目标特征模型数据库建立的方法、装置及系统
CN115909196A (zh) 一种视频火焰检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination